Run Unix Shell

Das Modul startet ein Unix Shell Commando, wartet auf das Ergebnis der Ausführung und schreibt bei Bedarf das STDOUT ins datasqill Log. Falls bei der Ausführung des Commandos ein Fehler Auftritt, dann läuft das Modul auf Fehler und zeigt das Ergebnis aus dem STDERR. Die STDOUT und STDERR können in dem Run nachgesehen werden. Das Commando wird mit dem datasqill Unix User gestartet.

Das Modul kann zum Ausführen von Shell Commandos als auch für Steuerung von externen Tools verwendet werden. Das Modul unterstützt Apache freemarker Logik und kann auch datasqill Variablen in der Action Body verwenden.

Attribute

Variablen

Folgende Variablen stellt das Modul immer zur Verfügung:

Wenn es eine loopquery gibt, dann werden alle Ergebnisspalten der loop Query auch noch als Variablen zur Verfügung gestellt.

Der Datentyp ObjectDs leitet sich direkt aus der Tabelle vv_sqts_object in der Repositorydatenbank ab:

Ausgabe auf STDOUT

Die Ausgabe des shell sripts kann nach Bedarf in den Ablaufdaten gespeichert werden, sodas die Ausgabe in der datasqill GUI angezeigt werden kann.

Zusätzlich kann man auch Ausgaben erzeugen, die in die Logs geschrieben werden sollen oder statistische Informationen zu der Anzahl der verarbeiten Datensätze speichern sollen.

Dazu kann man den Modus der Ausgabe auf Kanäle umschalten. Dazu gibt es die folgenden Befehle die als ganze Zeile gesendet werden können:

#datasqill stdout#
#datasqill log#
#datasqill stat#

Mit einem dieser Befehle schaltet man in den gewünschten Ausgabemodus (Kanal). Standardmäßig ist der Kanal stdout ausgewählt.

Kanal stdout

Die normale Ausgabe des shell sripts kann nach Bedarf in den Ablaufdaten gespeichert werden, sodas die Ausgabe in der datasqill GUI angezeigt werden kann.

Kanal log

Auf diesem Kanal wird ein JSON erwartet. Das Json hat folgendes Format:

{
  "level" : "SEVERE/WARNING/INFO/CONFIG/FINE/FINER/FINEST",
  "message" : "Your log message here"
}

• Die Groß- und Kleinscheibung beim level ist beliebig.
• Wird kein valides Json geschickt, dann wird die Nachricht ignoriert
• Diese Log Meldungen werden an das bestehende Logging System von datasqill gesendet

Kanal stat

Auf diesem Kanal wird ein JSON erwartet. Das Json hat folgendes Format:

[
    { "serverId" : 1, "name": "stat 1", "value": 34 },
    { "serverId" : 1, "name": "stat 2", "value": 15 },
    { ... },
    { "serverId" : 1, "name": "stat n", "value": 5 }
]

• serverId gibt die Connection nummer an für die die Werte gelten
• die Groß- und Kleinscheibung bei name ist beliebig
• Es werden bei serverId und value numerische Werte erwartet
• Wird kein valides Json geschickt, dann wird die Nachricht ignoriert
• Es wird derzeit die letzte Statistik angezeigt, falls mehrere empfangen wurden

Beispiele

Die Beispiele zeigen den Code der Action Body.

Einfache Shell Commandos starten

sleep 5
echo "I am awake"

Shell Commandos mit Verwendung von freemarker direkt in der Action Body.

sleep 5
echo "I am awake at ${.now?string.iso}"

Shell Script starten

~/my_script.sh ${batch_instance_id}

Starten eines externen Python-Scripts parametrisiert mit dem Datum

python3 script.py '${schedule_date?string[0..9]}'

Shell Commandos bei der Verwendung von freemarker den Interpreter ausschalten

# Der Interpreter ist an. Somit ersetzt freemarker die Variable
# Ist die Variable im freemarker nicht gesetzt, meldet freemarker einen Fehler
echo ${free_marker_variable}

[#noparse]
# Der Interpreter ist aus. Somit ersetzt freemarker nichts mehr
echo ${bash_variable}

[/#noparse]
# Der Interpreter ist an. Somit ersetzt freemarker die Variable
# Ist die Variable free_marker_variable_2 im freemarker nicht gesetzt, dann wird der text "ansonsten" genommen
echo ${free_marker_variable_2!ansonsten}
# Ist die Variable free_marker_variable_3 im freemarker nicht gesetzt, dann ist der Text leer
echo ${free_marker_variable_3!}

# Gibt die Konkatination von einer freemarker und einer Bash Variablen aus
echo ${free_marker_variable}[#noparse]${bash_variable}[/#noparse]

Ausgabe von Logs und Statistiken

echo "Dieses ist eine normale Meldung"
echo "#datasqill log#"
echo '{ "level": "fine", "message": "Log-Meldung sddssdsdsd" }'
echo '{ "level": "info", "message": "Info-Meldung1" }'
echo '{ "level": "xxx", "message": "Info-Meldung2" }'
echo "#datasqill log#"
echo '{ "level": "xxx", "message": "Info-Meldung3" }'
echo "#datasqill stdout#"
echo "Dieses ist wieder eine normale Meldung"
echo "#datasqill stat#"
cat << EOF
[
    { "serverId" : 10, "name": "rows_processed", "value": 34 },
    { "serverId" : 10, "name": "rows_ins", "value": 15 },
    { "serverId" : 10, "name": "rows_upd_versioned", "value": 14 },
    { "serverId" : 10, "name": "rows_del", "value": 5 }
]
EOF
echo "#datasqill stdout#"
echo "Und wieder eine normale Meldung"
echo "#datasqill log#"
sleep 1
echo '{ "level": "warning", "message": "Test warning" }'
echo "#datasqill stdout#"
echo ${request_id}

Dazu die stdtout-Ausgabe:

Dieses ist eine normale Meldung
Dieses ist wieder eine normale Meldung
Und wieder eine normale Meldung
95420

Und das Logging (Auszug):

2025.11.13 18:49:58.561 [DsModRunShell runInLoop] [#include "dsmod_runshell.ftl"]
${interpret(action)}
2025.11.13 18:49:58.687 [          Shell fine] Log-Meldung sddssdsdsd
2025.11.13 18:49:58.687 [          Shell info] Info-Meldung1
2025.11.13 18:49:58.693 [           Shell xxx] Info-Meldung2
2025.11.13 18:49:58.693 [           Shell xxx] Info-Meldung3
2025.11.13 18:49:59.682 [       Shell warning] Test warning
2025.11.13 18:49:59.683 [DsModRunShell runInLoop] Loop Query end

Man beachte, dass die Log-Ausgaben live sind. So erscheint die Log Ausgabe "Test warning" eine Sekunde nach der vorherigen.

Und hier die Statistiken: