Selenium

Cypress und Selenium sind bekannte Testwerkzeuge, die für die Automatisierung von Webapplikationen eingesetzt werden. Selenium ist ein Open-Source-Automatisierungsframework, das in unterschiedlichen Produktversionen vorhanden ist.  Die Automatisierungslösung Selenium existiert schon seit 2004 und ist ein etabliertes Produkt mit einer großen Nutzerbasis weltweit. Das End-to-End-Tool Cypress hingegen ist seit 2014 ein Newcomer auf dem Markt, welches sich wie Selenium für die Automatisierung von Webapplikationen eignet. Cypress hat in den letzten Jahren durch seine rasche Entwicklung und Erweiterung kontinuierlich an Beliebtheit gewonnen. Doch welches Werkzeug ist besser?  

In diesem Artikel gehen wir auf die Eigenschaften und Spezifikationen beider Testtools, sowie deren Vor- und Nachteile.  

Vor einigen Jahren haben wir in einem unserer Blog Beiträge für die Lösungsmöglichkeit berichtet, wie man auf HTML 5 Seiten Drag & Drop Testautomatisierung mit HTML 5 implementeiren kann.

Der Hintrgrund war, dass die offizielle Selenium Drag & Drop API aus der Actions Klasse auf HTML 5 Seiten nicht richtig funktioniert und selbst die Referenz-Implementierungen von W3C Standard nicht autoamtisieren kann. Der zugehörige Bug-Request für Selenium Web Driver wurde bereits im Jahr 2012 angelegt. Leider ist er nach inzwischen 8 Jahren immer noch ungelöst :-(

Da die Notwenigkeit der Drag & Drop Testautomtisierung mit Selenium aufgrund von immer komplexer Geschäftsapplikationen im Web immer häufiger angefragt wird, haben wir die Drag&Drop Implementeirung auf GitHub als Open Source Projekt bereitgestellt und ein fertiges Nuget Paket für C# veröffentlicht.

Im Rahmen dieser Implementierung wird die bereits beschriebene alternative Drag & Drop Umsetzung mit einem JavaScript umgesetzt, das automatisch augerufen wird.

Bei der Verwendung von Nuget Paket für Drag&Drop kann die Testautomatisierung von Drag&Drop in nur wenigen Schritten realisiert werden:

1. Drag & Drop Nugen Paket SeleniumDragDrop in C# Solution einbinden
2. Quell- und Ziel-Elemente für Drag & Drop auf der Web Seite finden
3. DragDropHelper instanzieren
4. Drag & Drop Operation für Quell- und Ziel-Elemente aufrufen

Die Automatisierung von Drag&Drop auf der W3C Refernz-Seite für HTML 5 Drag & Drop kann damit etwa wie folgt aussehen:

    IWebDriver driver = new ChromeDriver(Environment.CurrentDirectory);
    try
    {
        driver.Navigate().GoToUrl("https://www.w3schools.com/html/html5_draganddrop.asp");

        IWebElement sourceEl = driver.FindElement(By.Id("drag1"));
        IWebElement targetEl = driver.FindElement(By.Id("div2"));

        SeleniumDragDrop.DragDropHelper dragdrop = new SeleniumDragDrop.DragDropHelper(driver);
        dragdrop.DragAndDrop(sourceEl, targetEl);

        Assert.IsNotNull(targetEl.FindElement(By.Id("drag1")));
    }
    finally
    {
        driver.Quit();
    }

Viel Spaß beim Ausprobieren.

Selenium Framework bietet per sé sehr einfache Möglichkeit an die Tests mit unterschiedlichen Web Browsern durchzuführen und damit die Cross-Browser Test Strategie umzusetzen. Während die Einbindung von gängigen Browsern wie Chrome oder Firefox i.d.R. unproblematisch erfolgt, gilt es bei der Einbindung von Edge und Internet Explorer einige Besonderheiten zu beachten, die in diesem Blog zusammengefasst werden. Die Lösungen werden nachfolgend mit C# aufgezeigt. Die Vorgehensweise ist aber auch auf andere Sprachen wie Java übertragbar.

Seit Firefox 52 gibt es eine Besonderheit:
Wenn auf einer Webseite ohne HTTPS (SSL Zertifikat), ein Passwort eingetippt wird, erscheint folgende Warnung: This connection is not secure. Logins entered here could be compromised.

Das Ganze ist natürlich sehr sinnvoll, denn das Passwort wird in diesem Fall im Klartext  übertragen und kann z.b. in nicht gesicherten WLAN-Netzen mit einfachsten Mitteln ausgelesen werden.

In der Testautomatisierung bereitet uns dieses "Tooltipp" aber ab und zu Probleme.
Denn was passiert, wenn der dazugehörige Login Button direkt unter dem Passwortfeld ist? Richtig! Statt auf den Button zu klicken, erfolgt der Klick auf die Warnung und diese leitet uns auf die Seite "https://support.mozilla.org/en-US/kb/insecure-password-warning-firefox" weiter. Das hat natürlich einen fehlgeschlagenen Testfall zur Folge.

Hier ein Tipp wie diese Warnung ausgeschaltet werden kann:

Nachdem die Selenium Conference in London bereits fast 4 Monate her ist und die nächste bereits in wenigen Wochen statt findet, möchte ich meine persönliche Top 5 der Präsentationen vorstellen, die keiner verpassen sollte, der in der beruflich oder privat mit der Testautomatisierung beschäftigt.

Tutorial-Ziel

Wir alle haben ab und zu Aufgaben, die wir gerne automatisieren möchten. Mit diesem Tutorial zeige ich, wie mit Hilfe von Selenium, bestimmte Aktionen in Wordpress automatisiert werden können.
Ziel des Tutorials ist, automatisiert durch alle vorgegebenen Beiträge zu gehen und in jedem Beitrag eine bestimmte Kleinigkeit zu ändern und zu speichern.

In dem ersten Teil wird nochmal die komplette Einrichtung beschrieben, das ist bereits in einem anderen Tutorial auf der Seite ähnlich zu finden, wegen der Vollständigkeit habe ich das aber hier noch einmal hinzugefügt.

Teil 3 - Selenium Testautomatisierungstutorial

Teil 2 des Selenium Testautomatisierungstutorials

Die neue Selenium Version 2.46.0 steht jetzt zur Verfügung. Diese kann wie immer auf der Selenium Download Seite bezogen werden:
http://www.seleniumhq.org/download/

Die wichtigsten Änderungen umfassen u.a.:

• Support vom Firefox Driver unter openBSD
• Aktualisierter HtmlUnitDriver
• Kritischer Fehler im Selenium Server behoben (Java Versionsdiskrepanz)
• ...

Detaillierte Änderungsbeschreibung ist unter folgendem Link zu finden: https://raw.githubusercontent.com/SeleniumHQ/selenium/master/java/CHANGELOG

Meine persönliche Meinung ist, dass Java wohl die populärste Programmiersprache für Selenium Projekte ist. In diesem Beitrag möchte ich zeigen, wie du damit am einfachsten anfängst.

Die neue Version Selenium 2.45.0 ist seit Freitag verfügbar und kann wie immer hier bezogen werden:
http://www.seleniumhq.org/download/

Die neuste und wichtigste Neuerung für die, die mit Firefox testen ist, dass die automatisierten Testfälle mit der neuen Firefox 36 Version wieder funktionieren. Der dazugehörige Bug (Selenium Bug 8399) wurde zum Glück relativ schnell gelöst und die automatisierten Testfälle laufen jetzt erfolgreich an.

Offenbar wird seit der Firefox Version 36, eine davor verwendete API Schnittstelle nicht mehr unterstützt, dadurch konnten die Anfragen an den Firefox Driver nicht mehr übergeben werden.

Normalerweise ist Drag and Drop mit Selenium kein Problem. In der Standard-Bibliothek von Selenium existiert die Möglichkeit eine DragDrop Action zu erstellen:

Actions actions = new Actions(driver);
actions.DragAndDrop(element1, element2);
actions.Build();
actions.Perform();

Dieses Vorgehen funktioniert auch absolut problemlos mit der HTML4 JS Lösungen. Seit der HTML5 Version klappt es mit Selenium leider überhaupt nicht mehr. Auch die Kombination aus ClickAndHold Aktion, MoveToElement und Release bringt einen bei dem neuen HTML Standard kein Stück weiter.
Dieser Fehler ist bekannt und ist bereits seit 2012 offen: Issue 3604: HTML5 Drag and Drop with Selenium Webdriver

Lernziele des Tutorials: Anlage von einem C# Projekt, Anbindung der Selenium DLLs in .Net Umgebung. Öffnen der Seite www.testautomatisierung.org in Firefox.

Zielgruppe: Dieses Selenium Tutorial ist für Anfänger gedacht, vorausgesetzt sind rudimentäre C# / Testautomatisierungserfahrungen.

Um in einem automatisierten Test einen Eintrag aus einer DropDown Liste auszuwählen (Select-Tag), gibt es in Selenium mehrere Möglichkeiten.

Um auf dynamische Untermenüs zugreifen zu können, ist es oft Notwendig ein "MouseOver-Event" auf ein bestimmtest Element zu erzeugen. Alles andere führt bei Selenium zu der "Element is not currently visible and so may not be interacted with" - Exception.

Wenn auch das Eltern-Element mit einer Seite im Hintergrund belegt ist, kann der Zugriff auf das Untermenü, nicht mit einem Klick realisiert werden. Es sollte also möglich sein, ein Selenium MouseOver aus dem automatisierten Test zu erzeugen.
Selenium bietet hier die Möglichkeit mit Actions zu arbeiten. Aus dem Driver wird ein Actions Builder erzeugt, dieser kann dann eine Selenium MoveToElement Methode auf das gewünschte Webelement ausführen.

Die neue  Selenium WebDriver C# Assembly (Version 2.33.0) steht zur Verfügung.
Diese kann wie gewohnt von der Seite seleniumhq geladen werden:
http://docs.seleniumhq.org/download/

Die Änderungen in dieser Version sind:

 * Supports native events for Firefox versions 21 (current), 20 (immediately
   previous), 17 (current ESR), and 10 (immediately previous ESR)
 * Issue #5549: Modified to use indexer for putting entry in .NET Firefox
   Profile preferences Dictionary. Was previously using the .Add() method of
   the Dictionary, which would throw an exception if the key already existed.
 * Updated InternetExplorerDriverService to allow using new command line
   options for IEDriverServer.exe
(Auszug aus Selenium Changelog)

Um aus Microsoft Test Manager automatisierte Testfälle (Unit Tests, Coded UI Tests, Ranorex, Selenium usw.) ansprechen zu können, müssen diese in Testmethoden "verpackt" werden.