Die erfolgreichsten Apps werden heute und zukünftig manuell durch professionelle App-Testing-Experten getestet

Veröffentlicht: Stuttgart, 27.11.2020

Testautomatisierung, Künstliche Intelligenz, RPA – Qualitätsmanagement bei Mobilen Apps – gehört manuelles Testing von Apps auf Smartphones und Tablets nicht längst der Vergangenheit an? Die erfolgreichsten Apps werden doch bestimmt nicht mehr manuell getestet? Doch – und genau deshalb sind sie so erfolgreich und erzielen die höchsten Bewertungen in den App Stores, räumen Preise und Auszeichnungen ab.

Warum ist manuelles App-Testing einer der entscheidenden Erfolgsfaktoren für 5-Sterne-Apps? Unser Almato-App-Experte klärt auf.

Zwei Gesundheits-Apps erhielten beste Be­wertungen:

• Rund 16 Millionen Downloads, #1 in der Kategorie Gesundheit und Fitness im Ap­ple App Store, rund 48.000 Bewertungen, 4,5 Sterne (Stand: September 2020) – die Corona-Warn-App für die Bundesre­publik Deutschland herausgegeben vom Robert-Koch-Institut.
• Rund 2 Millionen Downloads, #19 in der Kategorie Gesundheit und Fitness im Ap­ple App Store, rund 150.000 Bewertun­gen, 4,8 Sterne (Stand September 2020) und von Focus Money als beste von Nutzern empfohlene Krankenkassen-App ausgezeichnet – die TK-App .

Diese beiden Apps werden in diesem Beitrag als anschauliche Beispiele herangezogen, um die Relevanz von Qualitätssicherung, insbesondere von manuellem Testing im Rahmen von App-Projekten zu veranschau­lichen. Beide Apps haben trotz unterschied­licher Zielsetzungen entscheidende Gemein­samkeiten: Millionen Smartphone-Nutzer haben beide Apps heruntergeladen, verwenden sie regelmäßig und haben eine sig­nifikante Anzahl an App-Store-Bewertun­gen abgegeben.

Dass die Corona-Warn-App im Vergleich zur TK-App trotz achtmal so vieler Downloads bisher nur 45.000 Bewertungen erhalten hat (TK-App über 143.000 Bewertungen), dürfte vor allem auf den Veröffentlichungszeitraum im App Store zurückzuführen sein und wird in dieser Betrachtung vernachlässigt.

Die entscheidenden Aspekte, die näher betrachtet werden, sind die App Store-Be­wertungen der User, insbesondere die qua­litativen Rückmeldungen hinsichtlich wahr­ genommener Probleme und Verbesserungs­vorschläge sowie die daraus resultierenden Sternebewertungen.

Testing oder nicht Testing

Kurz nach der Veröffentlichung der Corona­ Warn-App ist bei vielen sehr positiven Be­wertungen oftmals vor allem die Hoffnung auf das neue Instrument im Kampf gegen die Corona-Pandemie als Motivation erkennbar. Denn trotz kritischer Anmerkun­gen und Verbesserungsvorschlägen in der qualitativen Bewertung haben viele Nutzer fünf Sterne vergeben. Mittlerweile häufen sich jedoch unter den neuesten Bewertun­gen viele kritische Beiträge . Verschiedenste Probleme, unerwartete Fehlermeldungen und Funktionsbugs offenbaren zahlreiche Qualitätsmängel, über die die Nutzer nicht mehr hinwegsehen. Zwischenzeitlich waren sogar Kernfunktionen betroffen und von den Entwicklern empfohlene Workarounds, wie das tägliche Öffnen der App, waren wenig nutzerfreundlich.

Während die beteiligten Unternehmen ver­suchen, den Imageschaden, den das Vor­zeige-Digitalisierungs-Projekt der deutschen Bundesregierung in der Bekämpfung der Co­rona-Pandemie genommen hat, den Betriebs­systemherstellern anzulasten und durch zahl­reiche Updates die Nutzerzufriedenheit wie­derherzustellen, stellt sich die Frage, ob optimiertes Testing und Qualitätsmanage­ment diese Entwicklung nicht verhindert hätte – ausreichend Budget war laut den offiziellen Informationen vorhanden . Allerdings ist nur ein verschwindend geringer Teil für den Bereich Testing ausgewiesen worden, hierbei im Speziellen für Penetrations- und Sicherheitstests. Inwiefern die Coro­na-Warn-App funktional, auf Usability, auf Performanz, auf Kompatibilität, explorativ usw. ausführlich und manuell getestet wur­de, haben die Entwickler bisher nicht trans­parent gemacht.

Dabei ist es gerade bei einer derartig breiten Zielgruppe in persona der Gesamtbevölke­rung (offizielles Nutzungsalter ab 17 Jahren) umso relevanter, eine App ausführlich und in allen relevanten Aspekten ge­testet zu releasen, da die App auf möglichst allen am Markt gängigen Geräte-Modellen und Betriebssystemversionen funktionieren sollte.

Die Techniker Krankenkasse (TK) mit ihrer Kunden-App, der TK-App, legt auf eine op­timale Marktabdeckung besonderen Wert. Die TK ist die größte deutsche Krankenkasse und lässt ihre TK-App manuell durch externe Experten testen.

Warum setzen Unternehmen wie die TK auf mauelles App-Testing und wieso könnte das den entscheidenden Unterschied ausmachen?

Faktoren einer positiven UX

Die Erfahrungen seit dem Start der ersten Mobile Apps für Smartphones haben es deutlich gezeigt: Nur durch positive Benut­zererfahrung, positive User Experience, ist der langfristige Erfolg einer App gesichert. Was sind also die entschei­denden Faktoren für eine positive Benutze­rerfahrung?

Roidl/Rüsing sprechen vom sogenannten Companion in Life als perfektem Zielbild ei­ner App. In ihrer Studie „Erfolgsfaktoren zur Verhaltensveränderung durch mobile Apps“ kommen sie zu dem Schluss, dass

• Kontextsensitivität und
• Erwartungskonformität einer App

die entscheidenden Erfolgsfaktoren sind . Das gewünschte Verhalten belohnen die Nutzer am höchsten. Erwartungskonformi­tät und Kontextsensibilität bilden also den Schlüssel für den Erfolg einer App.

Erwartungskonformität ist in der Norm DIN­ ISO 9241-220:2019 definiert: „Ein Dialog ist erwartungskonform, wenn er konsistent ist und den Merkmalen des Benutzersent­ spricht, z. B. seinen Kenntnissen aus dem Arbeitsgebiet, seiner Ausbildung und seiner Erfahrung sowie den allgemein anerkannten Konventionen.“

Kontextsensitivität beschreibt das Verhalten von Apps, Informationen über den Kontext ihrer Nutzung zu benutzen, um ihr Verhalten darauf anzupassen.

Die Güte von Apps lässt sich anhand der bei­den Kriterien Erwartungskonformität (E) und Kontextsensitivität (K) in der in Abbildung 1 gezeigten Matrix abbilden .

Das Ziel der Entwickler oder Herausgeber einer App ist im Regelfall, ein 5STAR oder nach ein Companion in Life (All­tagsbegleiter) zu werden. Apps, die sehr gute Werte bezüglich Erwartungskonformität, aber wenig Kontextsensitivität aufweisen, sind oftmals zuverlässige Helfer, nützliche Tools (bspw. Taschenrechner-App), aber keine Lieblings-Apps. Apps, die eine hohe Kontextsensitivität aufweisen, aber nicht den Erwartungsgewohnheiten entsprechen, zeichnen sich oftmals durch innovative Funk­tionen aus. Um ein 5STAR zu werden, muss die App aber noch zusätzlich auf die Erwar­tungen der Nutzer hin optimiert werden. Apps, die in beiden Kategorien schlechte Werte erzielen, sollten grundlegend getestet und überarbeitet werden, um nicht länger als BUGgy-App zu gelten

Manuelles App-Testing

Um die bestmögliche User Experience (UX) zu erreichen, hat der Entwickler einer App sicherzustellen, dass Erwartungskonformität und Kontextsensitivität schon mit dem ers­ten Release möglichst umfassend erfüllt und die Nutzer somit zufriedengestellt werden.

Dies macht professionelles Testing und Qualitätssicherung erforderlich. Die Tester prüfen die App systematisch hinsichtlich Funktionalität, Performanz, Usability, Kom­patibilität sowie explorativ mit Blick auf die Devices, für die sie entwickelt wird, in Abhängigkeit von Gerätemodell, Betriebs­system und Betriebssystemversion sowie Auflösung und Zielgruppe(n) der Nutzer. Tool-gestütztes Testing kann auf mögliche Fehlerquellen aufmerksam machen und auto­matische Codereviews gehören ohnehin zum Standard professioneller Entwicklung. Ma­nuelles App-Testing durch Menschen ist je­ doch notwendig zur Verifikation und Analyse etwaiger Fehler.

Können Künstliche Intelligenz, Testautoma­tisierung oder Robotic Process Automation (RPA) bereits jetzt oder in naher Zukunft ma­nuelles Testen substituieren?

Nick Utley, Transformation Leader in Ana­lytics bei Capgemini, und Eran Bachar, Executive Product Manager, Functional Testing bei Micro Focus, kommen zu einem eindeu­tigen Urteil: Der Anteil automatisierter Tests ist immer noch relativ niedrig, verursacht sehr hohe Kosten für Maintenance und An­passung der Testfälle, insbesondere bei integrierten Systemen, und erfordert sehr spezifisches Know-how. Die Zeit, die Test­ automatisierungs-lmplementierung anzupas­sen, ist oftmals höher, als die Tests direkt manuell durch qualifizierte Tester durchzu­führen. Machine Learning (ML) und Künstli­che Intelligenz (KI) können Testautomatisie­rung erweitern und menschlichen, manuellen Testern assistieren, aber diese nicht in nähe­rer Zukunft ersetzen oder ablösen.

Erwartungskonformität und Kontextsensiti­vität, die entscheidenden Faktoren um nicht nur eine gute, sondern eine exzellente App zu realisieren, umfassen dabei so viele weiche Faktoren, Erfahrungen, kulturelle wie soziale Aspekte, die zumindest mit den aktuell am Markt verfügbaren Technologienwirtschaft­lich nicht substituierbar sind.

Die erfolgreichsten Apps werden heute und zukünftig manuell durch professionelle App-Testing-Experten getestet. App-Testing­ Expertise, jahrelange Erfahrung und Know­how katapultieren Apps in die Liga der 5STAR-Apps und lassen sie zum Companion in Life ihrer Nutzer, ihrer Kunden werden.

Wir sind interessiert an Ihrer Meinung zum Thema App-Testing. Wie testen Sie Ihre Apps?

Benötigen Sie Unterstützung beim Thema App-Testing – dann treten Sie gerne mit uns in den Austausch. Gerne klären wir alle Ihre Fragen zu unserem Testing-Service sowie unserem umfassenden Testgerätepool. Schreiben Sie uns an.

Sie finden diesen Artikel auch im German Testing Magazin 02/2020, sowie auf LinkedIn.