Dokumentation

Skripte / Legacy-Datenimport

„Scripts“ ist die umfassende Lösung von SKOOR zum Erstellen, Bearbeiten und Ausführen von Skripten mit zahlreichen Anpassungsmöglichkeiten.

Seite „Skripte“

Die Seite ist in drei Hauptbereiche unterteilt:

Einstellungen

Dieser Abschnitt enthält die allgemeinen Einstellungen eines Skripts, wie zum Beispiel:

  • Name und Beschreibung.

  • Standard-Timeout (in Sekunden)

  • Webhook-Token kopieren oder zurücksetzen (nur für ADMINS verfügbar)

  • Zeitplan-Konfigurationen: Ermöglicht mehrere Zeitpläne mit dedizierten Ausführungskonfigurationen.

  • Ausführungskonfigurationen: Ermöglicht die Anpassung von Zeitlimit und Umgebungsvariablen.

image-20250423-062736.png

Dateien

Dieser Abschnitt bietet eine umfassende Dateiverwaltungslösung für das Skript, einschließlich eines hochmodernen Editors für textbasierte Daten.

Ein Download-Link wird angezeigt, wenn die Daten binär sind (nicht in Textform bearbeitbar).

image-20250214-093009.png

Ausführung

Dieser Abschnitt ist für die Ausführung und Überwachung der Läufe eines Skripts zuständig. Er bietet einen kleinen Drop-Bereich zum Hochladen von Quelldateien, falls erforderlich.

image-20250214-093849.png

Erstellen eines Skripts

Skripte können entweder manuell erstellt oder wie unten gezeigt über ZIP-Dateien hochgeladen werden:

image-20250423-061036.png
image-20250423-061102.png

Skript über ZIP-Datei importieren

Beim Importieren der ZIP-Datei des Skripts wird eine Analyse durchgeführt, woraufhin vor dem eigentlichen Import verschiedene Markierungen angezeigt werden.
Diese Markierungen sind:

image-20250715-111604.png

Überschreiben bestätigen

Dies weist darauf hin, dass bereits ein Skript mit demselben Namen vorhanden ist.
Wenn Sie dieses Kontrollkästchen aktivieren, wird das Skript überschrieben.

Metadaten des Skripts einbeziehen

Dies weist darauf hin, dass die ZIP-Datei eine „script_metadata.json“-Datei enthält:

Diese Datei enthält die Standard-Timeout-Einstellung, die Beschreibung sowie die Ausführungs- und Zeitplan-Konfiguration des Skripts.

Grundpfeiler eines Skripts

Ausführungsskript

Die Hauptdatei enthält die Logik des Skripts. Diese bestimmt den Runner-Typ für das Skript:

  • Der Python-Runner erwartet eine Datei „main.py“.

  • Der Talend-Runner erwartet eine „<scriptName>_run.sh“-Datei.

  • Der Shell-Runner erwartet eine Datei „run.sh“.

Platzieren Sie Ihr Hauptskript eine Ebene unterhalb des Stammverzeichnisses (oder höher), da der Breitensuche-Scan immer das flachste Skript verwendet, das er findet.

Die folgende Meldung wird angezeigt, wenn versucht wird, ein Skript ohne Haupt-Runner-Skript auszuführen.

image-20250423-061703.png

.env

Es handelt sich um eine einfache Textdatei, die Umgebungsvariablen enthält. Auf diese Weise können Variablen, die in einem Skript verwendet werden, je nach Anwendungsfall angepasst werden.

Die Datei „.env“ sollte sich im selben Ordner wie das Runner-Skript befinden (main.py, run.sh … usw.)

Die folgende `.env`-Datei würde die gezeigten Umgebungsvariablen liefern, die in benutzerdefinierten Ausführungskonfigurationen angepasst werden können.

image-20250214-094006.pngimage-20250214-094332.png

Vordefinierte Umgebungsvariablen

Einige Details zur Ausführung des Skripts werden als Umgebungsvariablen an die Skriptumgebung übergeben. Dies sind:

  • Benutzer-ID als SKOOR_USER_ID

  • Benutzername als „SKOOR_USER_USERNAME“

  • Vollständiger Name des Benutzers als „SKOOR_USER_FULLNAME“

Die folgenden Screenshots zeigen, wie diese in einem Python-Beispiel abgerufen werden können, zusammen mit der Ausgabe im Skript:

import os

source_file = os.environ.get('SKOOR_SOURCE_FILE')
user_id = os.environ.get('SKOOR_USER_ID')
username = os.environ.get('SKOOR_USER_USERNAME')
userFullname = os.environ.get('SKOOR_USER_FULLNAME')
userGroup_id = os.environ.get('SKOOR_USER_USERGROUP_IDS')
userGroup_names = os.environ.get('SKOOR_USER_USERGROUP_NAMES')


print("sourceFile: ", source_file)
print("User ID: ", user_id)
print("Username: ", username)
print("Fullname: ", userFullname)
print("UserGroup ID: ", userGroup_id)
print("UserGroup name: ", userGroup_names)
image-20251201-084654.png

Beispiel mit .env

Das folgende Skript liest die Variable „foo“ in „.env“ ein und gibt sie auf der Konsole aus. Unten finden Sie die Screenshots dieser Datei „.env“ und der entsprechenden Ausführungskonfigurationen.

image-20250214-094929.pngimage-20250214-094943.png

image-20250214-094911.png

image-20250214-095049.pngimage-20250214-095128.png

Quelldateien

Skripte können so gestaltet werden, dass sie externe Dateien (Quelldateien) akzeptieren und diese als Teil der Skriptlogik verarbeiten.

Die Quelldateien können im Skript mithilfe der Umgebungsvariablen `SKOOR_SOURCE_FILE` referenziert werden, wie im folgenden Codeausschnitt zu sehen ist: 

# IN PYTHON
import os

source_file = os.environ.get('SKOOR_SOURCE_FILE')
print(source_file)
#IN SHELL

echo $SKOOR_SOURCE_FILE

Die folgenden Dateitypen werden unterstützt:

  • (Strukturierter) Text

    • text/plain

    • text/csv

    • text/tab-separated-values

    • text/tsv

    • text/markdown

    • text/vtt

    • application/json

    • application/x-ndjson

    • application/jsonl

    • application/xml

    • text/xml

    • application/yaml

    • text/yaml

    • application/x-yaml

    • application/sql

    • text/sql

  • Dokumente

    • application/pdf

    • application/msword

    • application/vnd.openxmlformats-officedocument.wordprocessingml.document

    • application/vnd.ms-excel

    • application/vnd.openxmlformats-officedocument.spreadsheetml.sheet

    • application/vnd.ms-powerpoint

    • application/vnd.openxmlformats-officedocument.presentationml.presentation

    • application/vnd.oasis.opendocument.text

    • application/vnd.oasis.opendocument.spreadsheet

    • application/vnd.oasis.opendocument.presentation

    • application/rtf

    • application/epub+zip

  • Archive

    • application/parquet

    • application/x-parquet

    • application/avro

    • application/x-avro

    • application/vnd.apache.arrow.file

    • application/vnd.apache.arrow.stream

    • application/orc

    • application/x-orc

    • application/zip

    • application/x-zip-compressed

    • application/gzip

    • application/x-gzip

    • application/x-bzip2

    • application/x-xz

    • application/zstd

    • application/x-zstd

    • application/x-tar

    • application/x-7z-compressed

Ausführen von Unter-Skripten

Falls Skripte benötigt werden, sollten diese in einem Ordner „bin“ abgelegt werden. Da diese dann ausgeführt werden können.

Achten Sie darauf, die Skripte immer in einem Ordner „bin“ abzulegen.

Das folgende Beispiel zeigt die Ausführung in der Shell:

image-20250423-063721.png

Die Ausgabe dieses Skripts „run.sh“ lautet:

image-20250423-063801.png

image-20250423-063907.png

Die Ausgabe dieses „run.sh“ lautet:

image-20250423-063955.png

QuickRun

Diese Option bietet eine Schaltfläche „QuickRun“, die das Skript ohne Quelldatei und mit den Standardwerten der Umgebungsvariablen ausführt.
Damit lässt sich ein Skript während der Entwicklung oder Fehlerbehebung schnell ausführen, und die Schaltfläche „Latest Job Overview“ zeigt die Konsolenausgabe an.

image-20250214-095256.png

Ausführen

Ausführen

Wählen Sie im Abschnitt „Ausführen“ die gewünschte Konfiguration aus (und laden Sie bei Bedarf eine Quelldatei hoch) und klicken Sie dann auf „Skript ausführen“

image-20250214-095342.png

Ausführung abbrechen

Sowohl laufende als auch wartende Ausführungen können durch Klicken auf das Symbol „Auftrag abbrechen“ im Abschnitt „Verlauf“ abgebrochen werden.

image-20250214-095439.png

Poetry deaktivieren

Poetry ist ein leistungsstarkes Tool für das Abhängigkeitsmanagement und die Verwaltung virtueller Umgebungen in Python. Dies geschieht durch die Definition einer `pyproject.toml`-Datei im selben Ordner wie das Runner-Skript (main.py, run.sh usw.).

Durch das Entfernen oder Umbenennen der Datei „pyproject.toml“ wird die Verwendung von Poetry automatisch deaktiviert und stattdessen „skoor-python“ verwendet.

Job-Übersicht

Um die vollständigen Details eines Jobs anzuzeigen, klicken Sie auf einen Eintrag in der Verlaufsliste, wie unten gezeigt:

image-20250214-095601.png

image-20250214-095612.png

Ausführungsverlauf

Der Abschnitt „Verlauf“ zeigt eine Liste aller Skript-Ausführungen an. Details zu jeder Ausführung finden Sie, indem Sie darauf klicken.

image-20250214-095715.png

Ein eigener Abschnitt zeigt den detaillierten Verlauf des letzten Skriptlaufs an (überspringt wartende/abgebrochene Läufe)

image-20250214-095752.png

Verwendung von Webhook-Tokens zum Ausführen eines Konverters

Diese Option ermöglicht es, das Skript auszuführen, ohne sich anmelden zu müssen, und ist die bevorzugte Option für technisch versierte Benutzer.
Jedes Skript verfügt über ein eindeutiges Webhook-Token, und die URL wird durch Klicken auf „Copy Webhook Token“ in die Zwischenablage kopiert.

Beispiel für die Verwendung von Webhook-Tokens

Kopieren Sie das Webhook-Token von der Skriptseite, indem Sie auf „Copy Webhook Token“ klicken. In diesem Beispiel sieht die Webhook-URL wie folgt aus:

http://localhost:8090/scripts/8925cfd4-2063-4b07-9d56-956f2b754b47/run?token=6ae51c9f-d292-4d55-b512-4537121b37f5

Verwenden Sie die URL, um eine POST-Anfrage zu senden:

Verwenden Sie eine API-Software wie POSTMAN

image-20250213-145831.png

Eine „200“-Antwort mit der anfänglichen Job-Entität zeigt an, dass der Lauf ausgelöst wurde, wie im folgenden Screenshot dargestellt:

image-20250213-145952.png

Verwendung von cURL im Terminal

curl -X POST http://localhost:8090/scripts/8925cfd4-2063-4b07-9d56-956f2b754b47/run?token=6ae51c9f-d292-4d55-b512-4537121b37f5

Die Antwort würde wie folgt aussehen


image-20250213-151347.png

Dieser Lauf kann im SKOOR Dashboard beobachtet werden, und der Lauf wird im Verlauf als von Token-User erstellt angezeigt.

image-20250214-095924.png

image-20250214-095945.png

Löschen

Klicken Sie auf das Papierkorb-Symbol, um das Skript zu löschen. Das Symbol erscheint, wenn Sie mit dem Mauszeiger über den Namen des Skripts fahren.

image-20250226-085215.png

Skript als ZIP exportieren

Klicken Sie auf das Archivsymbol, um das Skript zu exportieren. Das Symbol erscheint, wenn Sie mit dem Mauszeiger über den Namen des Skripts fahren.

In der exportierten ZIP-Datei befindet sich eine „script_metadata.json“-Datei, die die Beschreibung, das Standard-Timeout, die Laufkonfiguration und die Zeitplan-Konfiguration des Skripts enthält.

In Safari: Deaktivieren Sie unter „Einstellungen“ → „Allgemein“ → „Sichere Dateien nach dem Herunterladen öffnen“, um zu verhindern, dass ZIP-Dateien automatisch entpackt werden.

image-20250226-085236.png

Zurück
StableNet-Abfragen
Weiter
Anleitung zur Migration auf Skripte in Skoor-8.1