Einen Usability Test vorzubereiten ist kein Hexenwerk – vor allem, wenn man das nötige Equipment zur Hand hat und aus Erfahrung weiß, wie man damit umgehen muss. In unseren bisherigen Usability Tests evaluierten wir meist Desktop- oder Web-Anwendungen, weniger mobile Applikationen. Doch gerade beim Testen mit dem Smartphone oder Tablet sind andere technische Aspekte zu beachten als bei der Untersuchung von Desktop-Anwendungen.
Deshalb möchte ich euch gerne in diesem Blogbeitrag von unserer Erfahrung in Sachen Mobile Usability Testing mit den zwei Tools Lookback und Open Broadcaster Software (OBS) sowie einer kleinen, aber feinen Dokumentenkamera berichten.
Im Internet finden man viele gute Gegenüberstellungen und Vergleiche von Usability-Testing-Tools, die sich besonders gut für Remote- oder mobiles Testen eignen. Führt man den Test vor Ort durch, dann könnte ein möglicher Aufbau beispielsweise so aussehen:
Jeder Usability Test hat allerdings andere Anforderungen, Voraussetzungen und Einschränkungen, die man beachten muss. Zum Testen von z. B. klassischen Enterprise-Anwendungen, die auf dem Desktop laufen, war bisher Morae von TechSmith das Tool unserer Wahl. Als es jedoch darum ging, eine mobile Webseite auf dem Smartphone zu testen, reichte Morae alleine nicht mehr aus. Da sowohl der Screen des Smartphones, als auch die Interaktionen des Probanden sowie seine Mimik festgehalten werden sollten, bedurfte es einer anderen Lösung.
Prinzipiell ist so ein Setting mit Morae zwar möglich, da mehrere externe Kameras angeschlossen werden können, um unabhängig vom Bildschirmgeschehen aufzunehmen. Auch eine PIP- (Picture-in-Picture-) Variante ist möglich. Für uns kam diese Möglichkeit der Testaufzeichnung allerdings nicht in Frage, da die Aufnahme- und Streaming-Qualität von Morae für unser Setting ungenügend war. Nachdem eine Dokumentenkamera sowie Webcam angeschlossen waren und Morae das Ganze in den Nebenraum übertragen sollte, war die Qualität einfach zu schlecht. Das Bild war trotz HD-Einstellungen verpixelt und die Interaktionen des Probanden mit dem Smartphone war nicht mehr synchron mit der Sprachübertragung. Nach einigen weiteren Recherchen erweckte das Tool "Lookback" unsere Neugierde.
Lookback wurde speziell für Usability Tests entwickelt und ermöglicht es, sowohl moderierte, als auch selbst-moderierte Tests durchzuführen. Die App lässt sich mittlerweile nicht mehr nur auf iOS, sondern auch auf Android Geräten installieren. Durch die benutzerfreundliche Bedienung gestaltet es sich sehr leicht, einen Mobile Usability Test aufzusetzen. Die gewonnenen Daten werden nach dem Test direkt in die Cloud geladen und sind unter einem zuvor angelegten Account einseh- und bearbeitbar. Lookback filmt den Bildschirm ab, nimmt zusätzlich Ton auf und die Frontkamera des Smartphones lässt sich als Face-Cam einsetzen. Es ist ebenfalls möglich, als Zuschauer an so einem Usability Test teilzunehmen. Dafür werden die Live-Aufnahmen übertragen und sind durch einen speziellen Link abrufbar. Die Übertragungsqualität war bei unseren Testdurchläufen allerdings noch so schlecht, dass diese Option für unseren Aufbau nicht in Frage kam.
Neben der unzureichenden Qualität war für uns die Variante, dass die aufgenommenen Videos direkt in die Cloud geladen werden, nicht ausreichend. Je nach Größe des Videos kann dieser Vorgang auch sehr lange dauern. Zwar verspricht Lookback die Videos zwischenzuspeichern und den Upload-Prozess bei WLAN-Verbindung zu starten, doch kam es bei unserem Test zu einigen Fehlversuchen. Da das Hochladen nicht zu 100 % zuverlässig stattfand, konnten wir uns somit auf dieses Feature nicht verlassen. Ebenfalls nicht möglich ist das Einblenden von Testszenarien mit Hilfe der App. Die Testaufgaben für die Probanden müssen demnach auf einen anderen Weg übertragen werden, zum Beispiel im Vorfeld via E-Mail. Da es sich bei uns jedoch nicht um einen Remote Usability Test handelte und wir stattdessen die Probanden und den Moderator vor Ort hatten, war dieser Punkt für uns zu vernachlässigen.
Ein weiteres Problem war, dass die App den Bereich, wo der Proband den Bildschirm berührt, nicht festhält. Dies war der ausschlaggebende Punkt für uns, auf eine andere Lösung zurückzugreifen.
Was ich jedoch sehr positiv hervorheben möchte, ist der Support bei Lookback. Durch direkten und vor allem sehr schnellen Kontakt mit den Verantwortlichen konnten wir viele wertvolle Informationen sammeln und unser Feedback an die Entwickler von Lookback geben.
Eine Alternative zu Lookback oder anderen Applikationen, welche für die Aufzeichnung von Mobile Usability Tests genutzt werden kann, ist die Dokumentenkamera. Hier hat man keine eigens für diesen Zweck entwickelte Software auf dem Smartphone oder Tablet, sondern eine externe Kamera, die lediglich den Bildschirm abfilmt. Ein großer Vorteil hierbei ist, dass nicht nur der Bildschirminhalt, sondern auch die Fingerbewegungen des Probanden problemlos festgehalten werden können. Für unseren anstehenden Usability Test haben wir uns die IPEVO Ziggi-HD Plus besorgt. Diese vergleichsweise günstige Kamera konnte uns überzeugen, da sie alles mitbringt, was man für einen Mobile Usability Test braucht. Zusätzlich haben wir eine HD-Webcam angeschlossen, welche das Gesicht des Probanden filmen und seine Reaktionen festhalten sollte.
Um die beiden Bilder nun in einen Nebenraum streamen zu können, damit Zuschauer des Usability Tests alle Geschehnisse mitbekommen, haben wir uns das Tool Open Broadcaster Software (OBS) zu Hilfe genommen.
OBS überträgt Bildschirminhalte in Echtzeit über eine Netzwerkverbindung ins Internet oder speichert sie auf der Festplatte. Die übertragenen Inhalte können mittels verschiedener Szenen und Fenster vor der Übertragung angepasst und ergänzt werden. Mit zahlreichen Einstellungsmöglichkeiten lassen sich beliebig viele Quellen anlegen, die gestreamt werden sollen. Diese können dann in OBS arrangiert oder Standbilder und Texte hinzugefügt werden.
Mittels HDMI-Kabel und Beamer haben wir schließlich die Aufnahmen im Nebenraum angezeigen, da wir so vor eventuellen Internet-Ausfällen sicher waren und wir die Daten lediglich lokal speichern und nicht ins Internet streamen wollten.
Während unseres Tests gab es keine Komplikationen und die Qualität der Videoergebnisse hätte kaum besser sein können. Gerade für die Erstellung von Highlightvideos ist eine gute Aufnahme elementar. Die Dokumentenkamera macht gestochen scharfe Aufnahmen, fokussiert automatisch und bietet zusätzlich manuelle Helligkeitsanpassungen für ein besseres Bild. Die Open Broadcaster Software bieten sich ebenfalls für allerhand Usability Tests an, bei denen ihr mehrere Videoquellen verarbeiten wollt. Es braucht ein klein wenig Einarbeitungszeit in dieses Tool, um die richtigen Einstellungen herauszufinden, doch gibt es im Internet viele Tutorials oder Handbücher dazu.
Wie bei so vielen Dingen gibt es jedoch nicht die eine perfekte Lösung. Warum sollte es also beim Mobile Usability Testing anders sein? Wir haben viel recherchiert und mit der Open Broadcaster Software und einer kleinen Dokumentenkamera die für uns beste Lösung gefunden, um einen Mobile Usability Test durchzuführen.
Welche Erfahrungen habt ihr gemacht? Habt ihr euer Test-Setting schon gefunden oder seid ihr noch auf der Suche nach den perfekten Tools? Schreibt es uns in die Kommentare!