Dokumentation

Dieser Leitfaden hilft bei der Übertragung bestehender Konverter auf die in SKOOR-9 neu eingeführten Konverter

Arten von Konvertern

Die folgenden Arten von Konvertern werden jetzt unterstützt (Python, Talend, Custom/Shell).

Allgemeine Informationen

Diese Änderungen/Hinweise sind für alle Konvertertypen gültig.

1. Umgebungsvariablen können in einer .env Datei im Root gespeichert werden.

2. Das Hochladen einer Quelldatei ist nicht mehr notwendig, um einen Job zu starten.

3. Wenn eine Datei an das Skript übergeben wird, wird sie als Umgebungsvariable SKOOR_SOURCE_FILE übergeben.

# Replace source_file = getArg("sourceFile") with the following 

#IN PYTHON
source_file = os.environ.get('SKOOR_SOURCE_FILE')

#IN SHELL 
source_file="$SKOOR_SOURCE_FILE"

Python-Konverter

1. Bei Python-Konvertern ist es nicht mehr notwendig, das Python-Skript main.py mit einem Shell-Skript <converters_name>_run.sh zu verpacken.

2. Der Einstiegspunkt sollte main.py vorzugsweise in root sein.

3. Erforderliche Abhängigkeiten sollten in einer Datei definiert werden. pyproject.toml

Das folgende Beispiel könnte für die Erstellung des pyproject.toml

[tool.poetry]
name = "PROJECT_NAME"
version = "0.1.0"
description = ""
authors = ["SKOOR GmbH <info@skoor.com>"]
package-mode = false

[tool.poetry.dependencies]
python = "^3.9"
et-xmlfile= "^2.0.0"
greenlet= "^3.1.1"
numpy= "^2.0.2"
openpyxl= "^3.1.5"
pandas= "^2.2.3"
psycopg2-binary= "^2.9.10"
python-dateutil= "^2.9.0.post0"
python-dotenv= "^1.0.1"
pytz= "^2024.2"
six= "^1.16.0"
sqlalchemy= "^2.0.36"
typing-extensions= "^4.12.2"
tzdata= "^2024.2"
requests= "^2.32.3"
cachetools= "^5.5.0"
jsonschema= "^4.23.0"
multicorn= "^0.1.0"

[build-system]
requires = ["poetry-core"]
build-backend = "poetry.core.masonry.api"

Talend Konverter

Keine Migrationsänderungen an den Talend-Konvertern erforderlich.