Docs

Allgemeine Informationen zum EEM-Projekt

Das EEM-Projekt-Plugin ist für die Verwendung auf einem Gerät vom Typ PC (EEM Robot) konzipiert. EEM-Geräte (Enduser Experience Monitor) sind Robotergeräte, die End-to-End-Tests von Software und Diensten unter Verwendung des Open-Source-Projekts SikuliX oder der TestComplete/TestExecute-Testtools von SmartBear durchführen. Das Plugin wurde entwickelt, um die Konfiguration und Verwaltung von End-to-End-Testläufen von einem SKOOR Engine Server aus zu optimieren. Tests können so programmiert werden, dass sie funktionale End-to-End-Tests von Websites, Webdiensten, UI-Anwendungen oder mobilen Apps durchführen.

Die Kommunikation zwischen dem EEM-Roboter und SKOOR Engine erfolgt über die Anwendung SKOOR Engine WinAgent. Der WinAgent muss konfiguriert werden, um die Ausführung von SikuliX- oder TestComplete/TestExecute-Binärdateien und das Abrufen der generierten Ausgabedateien zu ermöglichen. Darüber hinaus muss WinAgent als Anwendung und nicht als Dienst ausgeführt werden.

Das EEM-Projekt-Plugin besteht aus der EEM-Projektkonfiguration selbst und einer beliebigen Anzahl angehängter EEM-Timer-Jobs, die darunter hinzugefügt werden können.

EEM-Robotergerät

Stellen Sie vor dem Erstellen eines EEM-Projektjobs sicher, dass Sie das Gerät, zu dem der Job gehört, als Gerät vom Typ PC (EEM Robot) konfigurieren. Beim Erstellen eines solchen Geräts wird der folgende Konfigurationsoptionsbildschirm angezeigt:

Der Abschnitt EEM-Projektinfos dient als Referenz für die konfigurierten Standardwerte der Eigenschaften, die zum Ausführen eines EEM-Projekts verwendet werden. Abgesehen davon ist ein PC (EEM Robot) -Gerät funktional identisch mit anderen Gerätetypen. Überschreiben Sie Eigenschaften, indem Sie eine oder mehrere Eigenschaften im Abschnitt Eigenschaften manuell festlegen.

Beispiel einer SikuliX-Gerätekonfiguration

Im folgenden Beispiel wurden die Parameter für ein Gerät für SikuliX-Tests eingestellt, wie im Abschnitt EEM-Projektinfos beschrieben:

Auftragsdetails des EEM-Projekts

SikuliX-Projekteinstellungen:

TestComplete/TestExecute-Projekteinstellungen:

EEM-Projektparameter

Der Abschnitt Verknüpfte EEM-Timer-Jobs zeigt, welche EEM-Timer zu diesem EEM-Projekt-Job hinzugefügt wurden. In der obigen Abbildung wurden noch keine Timer-Jobs hinzugefügt.

RDP-Parameter

Variablen- und Passwortparameter für SikuliX-Skripte

Konfigurieren Sie Variablen und Passwörter in SikuliX-Projektjobs, die als Skriptargumente auf den Robotermaschinen verwendet werden. Dazu stehen die Auftragsparameter EEM: Passwort und EEM: Variable zur Verfügung. Eine Variable ist als spaltengetrenntes Schlüssel/Wert-Paar definiert. Der Schlüssel wird später im SikuliX-Skript verwendet, um den Wert auszulesen. Passwörter werden mit einem Schlüssel namens passwd definiert.

Die Eigenschaften können im SikuliX-Skript wie im folgenden Beispiel verwendet werden:

username = SkoorUtils.variable("username")
password = SkoorUtils.variable("passwd")

EEM-Projektwerte und Alarmgrenzen

Timer-Jobs hinzufügen

Die Timer-Jobs stellen die Messungen dar, die in der SKOOR Engine oder im Dashboard angezeigt werden sollen. Ein Projekt kann mehrere Timer-Jobs haben, z. B. die Gesamtzeit aller Messungen, das Einloggen in eine Anwendung und andere Anwendungsfälle. Die Timer müssen im Projekt konfiguriert / programmiert werden. Wenn das Testprojekt in einem der SKOOR Engine Repositorys oder auf dem EEM-Roboter im konfigurierten Skriptverzeichnis verfügbar ist, versucht die SKOOR Engine , die Timer aus dem Projekt zu extrahieren und automatisch zu konfigurieren.

Klicken Sie im Bearbeitungsfenster eines EEM- Projektjobs auf Zeitgeberjobs hinzufügen :

Der folgende Bildschirm erscheint und dokumentiert die gefundenen Timer und durchgeführten Aktionen:

Die Timer wurden unterhalb des EEM-Projektjobs konfiguriert:

Mit den Auf- und Ab -Tasten können sie jetzt nach Bedarf bestellt werden.

Timer-Jobs manuell hinzufügen

Wenn Timer-Jobs erstellt werden sollen, bevor das EEM-Projekt auf der SKOOR Engine und den Roboter-PCs verfügbar ist, können sie auch manuell hinzugefügt werden. Klicken Sie auf den Namen des EEM-Projektjobs, um unter den Projektjob zu gelangen, und fügen Sie den Timer über das Funktionsmenü oder das Zahnradsymbol hinzu:

Danach muss der Timername genau so konfiguriert werden, wie er im Projekt definiert ist. Der folgende Bildschirm zeigt einen Timer namens totalTime :

EEM-Timer-Parameter

EEM Timerwerte und Alarmgrenzen

EEM-Zeitgeberdetails für TestComplete

Timer werden innerhalb eines Projekts eingeführt, um das Ergebnis ( OK /Failed/NotRun) und die Zeit zu messen, die für einen bestimmten Abschnitt eines Testlaufs benötigt wurde. Während des Laufs werden die Timer in eine Textdatei innerhalb des Projektverzeichnisses geschrieben. Die Datei ist wie folgt aufgebaut:

========== 2017.11.30-12.43 =================
Name;Status;Time
----------------
Calc_Open;OK;6.26
Calc_Calculate;OK;1.69
Total;OK;8.47

Für jeden Timer werden der Name des SKOOR Engine EEM-Timer-Jobs, der tatsächliche Name des Timers, sein aktueller Status und die Zeit in Sekunden gedruckt, die zum Ausführen des entsprechenden Timers während des letzten Laufs benötigt wurde.

Es besteht auch die Möglichkeit, dass das Projekt einen bestimmten Fehler-String in die Timer-Datei schreibt, der dann als String-Wert geparst wird. Dies ist sinnvoll, wenn in einem Projekt Fehler auftreten, die häufig auftreten und bekannt sind, aber in der getesteten Anwendung oder Website nicht behoben werden können. In einem solchen Fall muss die Erkennung des Fehlers in den Projektablauf programmiert werden und sollte einen spezifischen Fehlerstring für den spezifischen Timer in die Timer-Datei schreiben. Ein Beispiel für eine solche Timer-Datei ist unten dargestellt:

========== 2017.11.30-12.43 =================
Name;Status;Time
----------------
Calc_Open;OK;6.26
Calc_Calculate;Known error encountered in Calculate sub-step;1.69
Total;OK;8.47

Die zweite Spalte der Zeile Calc_Calculate wird als bekannter Fehler auf EEM-Timer-Job-Ebene interpretiert.

Diese bekannten Fehler können dann in Alarm Limit verwendet werden. Ein Beispiel für einen aufgetretenen bekannten Fehler ist in der folgenden Abbildung dargestellt:

Und im Wertebereich des entsprechenden EEM-Timer-Jobs:

Die Timer-Datei, in diesem Fall calc.txt (ihr Name muss mit dem Projektnamen identisch sein), wird über WinAgent abgerufen und für die Zustände und Werte jedes Timers analysiert. Dies geschieht aber nur, wenn Timer mit den entsprechenden Namen konfiguriert sind.

EEM-Timer-Details für SikuliX

In SikuliX-Projekten werden Timer anders verarbeitet. Daher ist es nicht möglich, den Inhalt der Timer-Datei zu ändern.

Ergebnisse des EEM-Projekts

Nach einem Lauf des Projekts auf dem EEM-Roboter sieht der Wertebereich des EEM-Projektjobs so aus (unterscheidet sich von SikuliX-Projekten):

oder bei einem Fehler während des Projektlaufs:

Durch Klicken auf den Link Timer- Datei kann die abgerufene Timer-Datei direkt angesehen werden (siehe Beispieldatei oben).

Durch Klicken auf den Link neben MHT-Protokolldatei kann das zusammenfassende MHT-Protokoll heruntergeladen oder direkt angezeigt werden. Eine direkte Ansicht ist nur möglich, wenn der Link aus einem Internet Explorer-Browser heraus angeklickt wird. Das Folgende ist ein Beispiel für ein MHT-Protokoll:

Durch Klicken auf den Link „ Ergebnisdateien “ im Abschnitt „ Werte “ wird das folgende neue Browserfenster oder die folgende Registerkarte geöffnet:

Diese Seite bietet einen Überblick über die Tests, die auf dem EEM-Roboter gelaufen sind. Für jeden Lauf, bei dem Protokolle von SKOOR Engine gesammelt wurden, gibt es eine Zeile mit einem Zeitstempel und einem Link zur entsprechenden MHT-Datei. Wenn während eines Laufs Fehler aufgetreten sind, wird der Link in der Spalte Fehlgeschlagene Tests platziert, zusammen mit einem kleinen Symbol, das angeklickt werden kann und ein neues Browserfenster mit einem Screenshot des ersten Fehlers öffnet, der während des Laufs aufgetreten ist. Dies gibt meistens eine gute Vorstellung davon, warum ein Testlauf fehlgeschlagen ist. Wenn der letzte Lauf fehlgeschlagen ist, wie in diesem Beispiel, wird der Screenshot auch in dieser Übersicht im Abschnitt Letztes Ergebnis groß angezeigt. Durch Klicken auf den Screenshot -Link im Wertbereich des Jobs wird dieses Screenshot -Bild direkt geöffnet.

EEM-Projektwarteschlange

Der SKOOR Engine Kollektor plant die Jobs des EEM-Projekts automatisch gemäß ihrem festgelegten Ausführungsintervall. Das bedeutet, dass jeder EEM-Projektjob sein individuelles Ausführungsintervall haben kann und der Planer dafür sorgt, dass dieses Intervall eingehalten wird. Wenn mehrere EEM-Projektjobs auf einem EEM-Gerät vorhanden sind und der Planer entscheidet, dass es an der Zeit ist, einen EEM-Projektjob auszuführen, wird er in die Warteschlange gestellt, wenn derzeit einer der anderen EEM-Projektjobs bereits ausgeführt wird. Um diese Warteschlange anzuzeigen, müssen die folgenden Voraussetzungen erfüllt sein:

• Das EEM-Gerät muss einen Standard Kollektor in seiner Konfiguration definiert haben

• Auf dem EEM-Gerät muss mindestens ein EEM-Projektjob vorhanden sein

Wenn die oben genannten Kriterien erfüllt sind, können die Warteschlange und der Status des aktuell laufenden Projekts angezeigt werden, indem Sie Details auf dem EEM-Gerät anzeigen wählen:

Verteilung des EEM-Projekts

Die Entwicklung von Testprojekten erfordert eine Installation der Software TestComplete oder SikuliX. Die Entwicklung erfolgt normalerweise auf anderen Hosts als dort, wo die Tests tatsächlich ausgeführt werden. Wo die Tests ausgeführt werden, muss nur die TestExecute-Laufzeitsoftware installiert werden. Um entwickelte Tests zu verteilen, bietet die SKOOR Engine einen Mechanismus, bei dem eine ZIP-Datei des aktuellen Projektverzeichnisses auf dem Entwicklungshost erstellt, in die SKOOR Engine und dann an die EEM-Roboter verteilt wird. Die ausführbare SikuliX-Datei wird auf die gleiche Weise übertragen. Um dies zu erreichen, befolgen Sie die folgenden Richtlinien:

• Setzen Sie die EEM-Ausführungsmoduseigenschaft auf SikuliX Development oder TestComplete auf der develoPment-Host-Gerät

• Stellen Sie andererseits sicher, dass alle EEM-Roboter-Hostgeräte diese Eigenschaft auf TestExecute oder SikuliX festgelegt haben

• Entwickeln Sie auf dem Entwicklungshost ein neues EEM-Projekt oder bearbeiten Sie ein vorhandenes. Speichern Sie das Projekt und schließen Sie die entsprechende IDE.

• Wählen Sie unter dem Entwicklungsgerät in der Benutzeroberfläche der SKOOR Engine in dem EEM-Projekt, das an EEM-Roboter-Hosts verteilt werden soll, die Option An Test-Repository verteilen aus der Dropdown-Liste Ausführen/Verteilen im Abschnitt Jobausführung des Jobs aus:
  

  

  
  
  Die Auswahl von Messjob ausführen würde einfach das EEM-Projekt ausführen.

• Klicken Sie auf OK , um den Auftrag zu speichern

• Öffnen Sie den neuen Auftrag mit der Lupe und klicken Sie auf „ Verteilen“.

• Der Abschnitt Werte sollte nun anzeigen, dass Suite erfolgreich verteilt wurde :
  
  

  

  
  
  

• Das gezippte Verzeichnis der Projektsuite wird nun im Verzeichnis /opt/eranger/ Kollektor /eem_repository/from_development/test des Kollektor Kollektor abgelegt, auf dem der EEM-Projektjob konfiguriert ist

• Das Archiv wird mit dem Verzeichnis /opt/eranger/ Kollektor /eem_repository/to_execute/test synchronisiert und steht somit für die automatische Aktualisierung zur Verfügung.

• Gehen Sie auf dem EEM-Robotergerät zum entsprechenden EEM-Projektauftrag und aktivieren Sie das Steuerelement „ Suite automatisch aktualisieren “. Wählen Sie dann das Test-Repository aus der angezeigten Liste aus:
  
  
  

• Führen Sie Jetzt prüfen für den EEM-Projektauftrag aus. Dies prüft zunächst, ob aktualisierte Projektdateien im SKOOR Engine Repository (unterhalb des Verzeichnisses /opt/eranger/ Kollektor /eem_repository/to_execute/test ) vorhanden sind. Wenn ja, werden sie an den EEM-Roboter übertragen und das alte Verzeichnis der Projektsuite ersetzt. Dann führt es den Test aus und gibt seine Ergebnisse zurück

• Wenn sich herausstellt, dass der Test auf dem für das Test-Repository aktivierten TestExecute-Host problemlos läuft, kann mit der Verteilung des Projekts an das Produktions-Repository begonnen werden. Es hat sich bewährt, einen dedizierten Testroboter zu haben, in dem alle entwickelten Tests zuerst ausgeführt werden, bevor sie an die Produktionsroboter verteilt werden

• Es kann bis zu 4 Minuten dauern, bis SKOOR Engine neu hochgeladene (verteilte) Projekte auf alle SKOOR Engine Agents kopiert, sodass sie möglicherweise nicht sofort für die automatische Aktualisierung verfügbar sind

• Wenn Projekte nicht verteilt werden, prüfen Sie, ob die SKOOR Engine , in der die EEM-Projektjobs konfiguriert sind, per ssh mit öffentlichem Schlüssel authentifizierten Zugriff auf die SKOOR Engine -Kollektoren hat, auf denen die EEM- Kollektoren ausgeführt werden. Die SKOOR Engine holt alle komprimierten Projektarchive von allen SKOOR Engine Kollektoren und verteilt sie dann an die Repository-Verzeichnisse aller Kollektoren .

EEM-Projektbeispiel

Führen Sie ein einfaches EEM-Projekt mit 3 EEM-Timern aus

Bei der folgenden Konfiguration wird davon ausgegangen, dass der Remote-Host über eine TestComplete-Projektsuite namens Calc mit einem Projekt namens Calc darunter verfügt. Die Projektausgabe enthält 3 Timer und wird über den auf dem Remote-Host installierten WinAgent ausgeführt. WinAgent muss konfiguriert werden, um die Ausführung der Binärdatei testexecute.exe zuzulassen . Die Timer werden als einzelne EEM-Timer-Jobs unterhalb des EEM-Projektjobs hinzugefügt.

Ausgang 1

SikuliX-Skriptvorlage

Das folgende Skript kann als Grundlage für die Entwicklung von SikuliX-Skripten verwendet werden. Jeder Testschritt sollte von einem Try/Except-Block umgeben sein, um für jeden Schritt eine Messzeit und einen Messzustand auswerten zu können. Ein Timer kann als Gesamtzeit für alle Testschritte konfiguriert werden, die alle Try/Except-Blöcke umgibt.

from skoor import SkoorUtils
from skoor import SkoorTimer
from skoor import SkoorScreenshot

totalTime = SkoorTimer("TotalTime")
timer1 = SkoorTimer("Timer1")

totalTime.start()

try:
    timer1.start()

    <code>

    timer1.stop()
    
except:
    Debug.error(str(sys.exc_info())) 
    timer1.error(-2, "Step 1 failed")
    SkoorScreenshot.capture()

totalTime.stop()