Documentation

Ce guide aide à transférer les convertisseurs existants vers les nouveaux convertisseurs introduits dans SKOOR-9.

Types de convertisseurs

Les types de convertisseurs suivants sont désormais pris en charge (Python, Talend, Custom/Shell).

Informations générales

Ces changements/notes sont valables pour tous les types de convertisseurs.

1. Les variables d'environnement peuvent être sauvegardées dans un fichier .env à la racine.

2. Le téléchargement d'un fichier source n'est plus nécessaire pour démarrer un job.

3. Si un fichier est transmis au script, il sera transmis en tant que variable d'environnement SKOOR_SOURCE_FILE.

# Replace source_file = getArg("sourceFile") with the following 

#IN PYTHON
source_file = os.environ.get('SKOOR_SOURCE_FILE')

#IN SHELL 
source_file="$SKOOR_SOURCE_FILE"

Convertisseurs Python

1. Pour les convertisseurs Python, il n'est plus nécessaire d'envelopper le python main.py avec un script shell <converters_name>_run.sh.

2. Le point d'entrée doit être main.py de préférence à la racine.

3. Les dépendances requises doivent être définies dans un fichier pyproject.toml

L'exemple suivant peut être utilisé pour créer les convertisseurs pyproject.toml

[tool.poetry]
name = "PROJECT_NAME"
version = "0.1.0"
description = ""
authors = ["SKOOR GmbH <info@skoor.com>"]
package-mode = false

[tool.poetry.dependencies]
python = "^3.9"
et-xmlfile= "^2.0.0"
greenlet= "^3.1.1"
numpy= "^2.0.2"
openpyxl= "^3.1.5"
pandas= "^2.2.3"
psycopg2-binary= "^2.9.10"
python-dateutil= "^2.9.0.post0"
python-dotenv= "^1.0.1"
pytz= "^2024.2"
six= "^1.16.0"
sqlalchemy= "^2.0.36"
typing-extensions= "^4.12.2"
tzdata= "^2024.2"
requests= "^2.32.3"
cachetools= "^5.5.0"
jsonschema= "^4.23.0"
multicorn= "^0.1.0"

[build-system]
requires = ["poetry-core"]
build-backend = "poetry.core.masonry.api"

convertisseurs Talend

Aucun changement de migration n'est nécessaire pour les convertisseurs Talend.