Skripte / Legacy-Datenimport

Skripte ist SKOORs umfassende Lösung zum Erstellen, Bearbeiten und Ausführen von Skripten mit einer Vielzahl von Optionen, um sie anzupassen.

Skripte sind in 3 Haupttypen unterteilt: Python, Talend und benutzerdefiniert.

Skripte Seite

Die Seite ist in drei Hauptbereiche unterteilt:

Einstellungen

Dieser Abschnitt enthält die allgemeinen Einstellungen eines Skripts, wie z.B.:

Name und Beschreibung.
Standard-Timeout (in Sekunden)
Webhook-Token kopieren oder zurücksetzen (nur für ADMINS verfügbar)
Zeitplan-Konfigurationen: Ermöglicht mehrere Zeitpläne mit eigenen Ausführungskonfigurationen.
Ausführungskonfigurationen: Ermöglicht die Anpassung von Timeout und Umgebungsvariablen.

Dateien

Dieser Abschnitt bietet eine vollständige Dateiverwaltungslösung für das Skript, einschließlich eines modernen Editors für textbasierte Daten.

Ein Download-Link wird angezeigt, wenn die Daten binär sind (nicht in Textform editierbar).

Ausführen

Dieser Bereich ist für die Ausführung und Überwachung der Skript-Läufe zuständig. Er bietet eine kleine Drop-Zone, um bei Bedarf Quelldateien hochzuladen.

Erstellen eines Skripts

Skripte können entweder manuell erstellt oder als Zip-Datei hochgeladen werden (siehe unten):

Eckpfeiler eines Skripts

Skript ausführen

Die Hauptdatei enthält die Logik des Skripts. Sie entscheidet über den Typ des Skripts:

Für Python Skript: es ist eine main.py Datei.
Für Talend Skript: es ist eine <scriptName>_run.sh Datei.
Für ein benutzerdefiniertes Skript: eine run.sh Datei.

Bitte beachten Sie, dass der Typ des Skripts nach der Erstellung nicht mehr geändert werden kann. Dies kann nur durch die Erstellung eines neuen Skripts geschehen.

.env

Es handelt sich um eine einfache Textdatei, die Umgebungsvariablen enthält. Auf diese Weise können Variablen, die in einem Skript verwendet werden, an den jeweiligen Anwendungsfall angepasst werden.
Die folgende .env Datei würde die gezeigten Umgebungsvariablen liefern, so dass diese in benutzerdefinierten Laufkonfigurationen angepasst werden können.

Vorgegebene Umgebungsvariablen

Einige Details über die Ausführung des Skripts werden als EnvironmentVariables an die Skript-Umgebung übergeben, und zwar

UserId als SKOOR_USER_ID
Benutzername als SKOOR_USER_USERNAME
Fullname des Benutzers als SKOOR_USER_FULLNAME

Die folgenden Screenshots zeigen, wie diese in einem Python-Beispiel zusammen mit der Ausgabe im Skript abgerufen werden können:

import os

source_file = os.environ.get('SKOOR_SOURCE_FILE')
user_id = os.environ.get('SKOOR_USER_ID')
username = os.environ.get('SKOOR_USER_USERNAME')
userFullname = os.environ.get('SKOOR_USER_FULLNAME')

print("sourceFile: ", source_file)
print("User ID: ", user_id)
print("Username: ", username)
print("Fullname: ", userFullname)

Beispiel mit .env

Das folgende Skript liest die Variable foo in .env und gibt sie auf der Konsole aus. Unten sehen Sie die Screenshots von .env und die entsprechenden Laufkonfigurationen.

QuellDateien

Skripte können so gestaltet werden, dass sie externe Dateien (Quelldateien) akzeptieren und diese als Teil der Skriptlogik verarbeiten.

Die Quelldateien können im Skript über die Umgebungsvariable SKOOR_SOURCE_FILE referenziert werden, wie im folgenden Codeschnipsel zu sehen ist:

# IN PYTHON
import os

source_file = os.environ.get('SKOOR_SOURCE_FILE')
print(source_file)

#IN SHELL

echo $SKOOR_SOURCE_FILE

QuickRun

Diese Option bietet eine Schaltfläche QuickRun, die das Skript ohne eine Quelldatei und mit den Standardwerten der Umgebungsvariablen ausführt.
Sie ermöglicht die schnelle Ausführung eines Skripts während der Entwicklung oder Fehlersuche und die Schaltfläche Latest Job Overview zeigt die Konsolenausgabe an.

Aufbau des Zip-Skripts

Die hochgeladene Zip-Datei sollte nur einen einzigen Ordner im Stammverzeichnis haben, der den gleichen Namen wie die Zip-Archivdatei trägt.

Das Skript zum Ausführen sollte sich vorzugsweise im Stammverzeichnis des Skripts befinden, ebenso wie die .env-Datei.

Ausführen von

Starten Sie einen Lauf

Wählen Sie im Abschnitt "Ausführen" die gewünschte Konfiguration aus (und laden Sie bei Bedarf eine Quelldatei hoch) und klicken Sie dann auf "Skript ausführen".

Abbrechen eines Laufs

Sowohl laufende als auch wartende Läufe können abgebrochen werden, indem Sie auf das Symbol "Job abbrechen" im Abschnitt "Verlauf" klicken.

Auftragsübersicht

Um die vollständigen Details eines Auftrags anzuzeigen, klicken Sie auf einen Eintrag in der Liste "Verlauf", wie unten gezeigt:

Laufverlauf

Der Abschnitt "Verlauf" zeigt eine Liste aller Skript-Läufe. Details zu jedem Lauf finden Sie, wenn Sie auf ihn klicken.

Ein spezieller Abschnitt zeigt den detaillierten Verlauf des letzten Skriptlaufs (überspringt wartende/abgebrochene Läufe)

Verwendung von Webhook-Tokens zur Ausführung eines Konverters

Diese Option ermöglicht die Ausführung des Skripts, ohne dass eine Anmeldung erforderlich ist, und ist die bevorzugte Option für technische Benutzer.
Jedes Skript hat sein eigenes Webhook-Token und die URL wird in die Zwischenablage kopiert, indem Sie auf Copy Webhook Token klicken.

Beispiel für die Verwendung von Webhook-Tokens

Kopieren Sie das Webhook-Token von der Skript-Seite, indem Sie auf Copy Webhook Token klicken. In diesem Beispiel sieht die Webhook-URL wie folgt aus:

http://localhost:8090/scripts/8925cfd4-2063-4b07-9d56-956f2b754b47/run?token=6ae51c9f-d292-4d55-b512-4537121b37f5

Verwenden Sie die URL, um eine Anfrage an POST zu senden:

Mit einer API-Software wie POSTMAN

Eine Antwort von 200 mit der anfänglichen Job-Entität zeigt an, dass der Lauf ausgelöst wurde, wie in der folgenden Abbildung dargestellt:

Verwendung von cURL im Terminal

curl -X POST http://localhost:8090/scripts/8925cfd4-2063-4b07-9d56-956f2b754b47/run?token=6ae51c9f-d292-4d55-b512-4537121b37f5

Die Antwort würde wie folgt aussehen

Dieser Lauf kann im SKOOR-Dashboard beobachtet werden und der Lauf wird in der Historie als von Token-User erstellt angezeigt.

Löschen von

Klicken Sie auf das Mülleimersymbol, um das Skript zu löschen. Das Symbol erscheint, wenn Sie mit dem Mauszeiger über den Namen des Skripts fahren.

Skript als Zip exportieren

Klicken Sie auf das Archivsymbol, um das Skript zu exportieren. Das Symbol erscheint, wenn Sie mit dem Mauszeiger über den Namen des Skripts fahren.