Veröffentlicht: Stuttgart, 27.11.2020
Testautomatisierung, Künstliche Intelligenz, RPA – Qualitätsmanagement bei Mobilen Apps – gehört manuelles Testing von Apps auf Smartphones und Tablets nicht längst der Vergangenheit an? Die erfolgreichsten Apps werden doch bestimmt nicht mehr manuell getestet? Doch – und genau deshalb sind sie so erfolgreich und erzielen die höchsten Bewertungen in den App Stores, räumen Preise und Auszeichnungen ab.
Warum ist manuelles App-Testing einer der entscheidenden Erfolgsfaktoren für 5-Sterne-Apps? Unser Almato-App-Experte klärt auf.
Zwei Gesundheits-Apps erhielten beste Bewertungen:
- Rund 16 Millionen Downloads, #1 in der Kategorie Gesundheit und Fitness im Apple App Store, rund 48.000 Bewertungen, 4,5 Sterne (Stand: September 2020) – die Corona-Warn-App für die Bundesrepublik Deutschland herausgegeben vom Robert-Koch-Institut.
- Rund 2 Millionen Downloads, #19 in der Kategorie Gesundheit und Fitness im Apple App Store, rund 150.000 Bewertungen, 4,8 Sterne (Stand September 2020) und von Focus Money als beste von Nutzern empfohlene Krankenkassen-App ausgezeichnet – die TK-App .
Diese beiden Apps werden in diesem Beitrag als anschauliche Beispiele herangezogen, um die Relevanz von Qualitätssicherung, insbesondere von manuellem Testing im Rahmen von App-Projekten zu veranschaulichen. Beide Apps haben trotz unterschiedlicher Zielsetzungen entscheidende Gemeinsamkeiten: Millionen Smartphone-Nutzer haben beide Apps heruntergeladen, verwenden sie regelmäßig und haben eine signifikante Anzahl an App-Store-Bewertungen abgegeben.
Dass die Corona-Warn-App im Vergleich zur TK-App trotz achtmal so vieler Downloads bisher nur 45.000 Bewertungen erhalten hat (TK-App über 143.000 Bewertungen), dürfte vor allem auf den Veröffentlichungszeitraum im App Store zurückzuführen sein und wird in dieser Betrachtung vernachlässigt.
Die entscheidenden Aspekte, die näher betrachtet werden, sind die App Store-Bewertungen der User, insbesondere die qualitativen Rückmeldungen hinsichtlich wahr genommener Probleme und Verbesserungsvorschläge sowie die daraus resultierenden Sternebewertungen.
Testing oder nicht Testing
Kurz nach der Veröffentlichung der Corona Warn-App ist bei vielen sehr positiven Bewertungen oftmals vor allem die Hoffnung auf das neue Instrument im Kampf gegen die Corona-Pandemie als Motivation erkennbar. Denn trotz kritischer Anmerkungen und Verbesserungsvorschlägen in der qualitativen Bewertung haben viele Nutzer fünf Sterne vergeben. Mittlerweile häufen sich jedoch unter den neuesten Bewertungen viele kritische Beiträge . Verschiedenste Probleme, unerwartete Fehlermeldungen und Funktionsbugs offenbaren zahlreiche Qualitätsmängel, über die die Nutzer nicht mehr hinwegsehen. Zwischenzeitlich waren sogar Kernfunktionen betroffen und von den Entwicklern empfohlene Workarounds, wie das tägliche Öffnen der App, waren wenig nutzerfreundlich.
Während die beteiligten Unternehmen versuchen, den Imageschaden, den das Vorzeige-Digitalisierungs-Projekt der deutschen Bundesregierung in der Bekämpfung der Corona-Pandemie genommen hat, den Betriebssystemherstellern anzulasten und durch zahlreiche Updates die Nutzerzufriedenheit wiederherzustellen, stellt sich die Frage, ob optimiertes Testing und Qualitätsmanagement diese Entwicklung nicht verhindert hätte – ausreichend Budget war laut den offiziellen Informationen vorhanden . Allerdings ist nur ein verschwindend geringer Teil für den Bereich Testing ausgewiesen worden, hierbei im Speziellen für Penetrations- und Sicherheitstests. Inwiefern die Corona-Warn-App funktional, auf Usability, auf Performanz, auf Kompatibilität, explorativ usw. ausführlich und manuell getestet wurde, haben die Entwickler bisher nicht transparent gemacht.
Dabei ist es gerade bei einer derartig breiten Zielgruppe in persona der Gesamtbevölkerung (offizielles Nutzungsalter ab 17 Jahren) umso relevanter, eine App ausführlich und in allen relevanten Aspekten getestet zu releasen, da die App auf möglichst allen am Markt gängigen Geräte-Modellen und Betriebssystemversionen funktionieren sollte.
Die Techniker Krankenkasse (TK) mit ihrer Kunden-App, der TK-App, legt auf eine optimale Marktabdeckung besonderen Wert. Die TK ist die größte deutsche Krankenkasse und lässt ihre TK-App manuell durch externe Experten testen.
Warum setzen Unternehmen wie die TK auf mauelles App-Testing und wieso könnte das den entscheidenden Unterschied ausmachen?

Faktoren einer positiven UX
Die Erfahrungen seit dem Start der ersten Mobile Apps für Smartphones haben es deutlich gezeigt: Nur durch positive Benutzererfahrung, positive User Experience, ist der langfristige Erfolg einer App gesichert. Was sind also die entscheidenden Faktoren für eine positive Benutzererfahrung?
Roidl/Rüsing sprechen vom sogenannten Companion in Life als perfektem Zielbild einer App. In ihrer Studie „Erfolgsfaktoren zur Verhaltensveränderung durch mobile Apps“ kommen sie zu dem Schluss, dass
- Kontextsensitivität und
- Erwartungskonformität einer App
die entscheidenden Erfolgsfaktoren sind . Das gewünschte Verhalten belohnen die Nutzer am höchsten. Erwartungskonformität und Kontextsensibilität bilden also den Schlüssel für den Erfolg einer App.
Erwartungskonformität ist in der Norm DIN ISO 9241-220:2019 definiert: „Ein Dialog ist erwartungskonform, wenn er konsistent ist und den Merkmalen des Benutzersent spricht, z. B. seinen Kenntnissen aus dem Arbeitsgebiet, seiner Ausbildung und seiner Erfahrung sowie den allgemein anerkannten Konventionen.“
Kontextsensitivität beschreibt das Verhalten von Apps, Informationen über den Kontext ihrer Nutzung zu benutzen, um ihr Verhalten darauf anzupassen.
Die Güte von Apps lässt sich anhand der beiden Kriterien Erwartungskonformität (E) und Kontextsensitivität (K) in der in Abbildung 1 gezeigten Matrix abbilden .
Das Ziel der Entwickler oder Herausgeber einer App ist im Regelfall, ein 5STAR oder nach ein Companion in Life (Alltagsbegleiter) zu werden. Apps, die sehr gute Werte bezüglich Erwartungskonformität, aber wenig Kontextsensitivität aufweisen, sind oftmals zuverlässige Helfer, nützliche Tools (bspw. Taschenrechner-App), aber keine Lieblings-Apps. Apps, die eine hohe Kontextsensitivität aufweisen, aber nicht den Erwartungsgewohnheiten entsprechen, zeichnen sich oftmals durch innovative Funktionen aus. Um ein 5STAR zu werden, muss die App aber noch zusätzlich auf die Erwartungen der Nutzer hin optimiert werden. Apps, die in beiden Kategorien schlechte Werte erzielen, sollten grundlegend getestet und überarbeitet werden, um nicht länger als BUGgy-App zu gelten
Manuelles App-Testing
Um die bestmögliche User Experience (UX) zu erreichen, hat der Entwickler einer App sicherzustellen, dass Erwartungskonformität und Kontextsensitivität schon mit dem ersten Release möglichst umfassend erfüllt und die Nutzer somit zufriedengestellt werden.
Dies macht professionelles Testing und Qualitätssicherung erforderlich. Die Tester prüfen die App systematisch hinsichtlich Funktionalität, Performanz, Usability, Kompatibilität sowie explorativ mit Blick auf die Devices, für die sie entwickelt wird, in Abhängigkeit von Gerätemodell, Betriebssystem und Betriebssystemversion sowie Auflösung und Zielgruppe(n) der Nutzer. Tool-gestütztes Testing kann auf mögliche Fehlerquellen aufmerksam machen und automatische Codereviews gehören ohnehin zum Standard professioneller Entwicklung. Manuelles App-Testing durch Menschen ist je doch notwendig zur Verifikation und Analyse etwaiger Fehler.
Können Künstliche Intelligenz, Testautomatisierung oder Robotic Process Automation (RPA) bereits jetzt oder in naher Zukunft manuelles Testen substituieren?
Nick Utley, Transformation Leader in Analytics bei Capgemini, und Eran Bachar, Executive Product Manager, Functional Testing bei Micro Focus, kommen zu einem eindeutigen Urteil: Der Anteil automatisierter Tests ist immer noch relativ niedrig, verursacht sehr hohe Kosten für Maintenance und Anpassung der Testfälle, insbesondere bei integrierten Systemen, und erfordert sehr spezifisches Know-how. Die Zeit, die Test automatisierungs-lmplementierung anzupassen, ist oftmals höher, als die Tests direkt manuell durch qualifizierte Tester durchzuführen. Machine Learning (ML) und Künstliche Intelligenz (KI) können Testautomatisierung erweitern und menschlichen, manuellen Testern assistieren, aber diese nicht in näherer Zukunft ersetzen oder ablösen.
Erwartungskonformität und Kontextsensitivität, die entscheidenden Faktoren um nicht nur eine gute, sondern eine exzellente App zu realisieren, umfassen dabei so viele weiche Faktoren, Erfahrungen, kulturelle wie soziale Aspekte, die zumindest mit den aktuell am Markt verfügbaren Technologienwirtschaftlich nicht substituierbar sind.
Die erfolgreichsten Apps werden heute und zukünftig manuell durch professionelle App-Testing-Experten getestet. App-Testing Expertise, jahrelange Erfahrung und Knowhow katapultieren Apps in die Liga der 5STAR-Apps und lassen sie zum Companion in Life ihrer Nutzer, ihrer Kunden werden.
Wir sind interessiert an Ihrer Meinung zum Thema App-Testing. Wie testen Sie Ihre Apps?
Benötigen Sie Unterstützung beim Thema App-Testing – dann treten Sie gerne mit uns in den Austausch. Gerne klären wir alle Ihre Fragen zu unserem Testing-Service sowie unserem umfassenden Testgerätepool. Schreiben Sie uns an.
Sie finden diesen Artikel auch im German Testing Magazin 02/2020, sowie auf LinkedIn.