Wie wir Nutzer:innen verste­hen und in den Entwicklungs­prozess einbeziehen

Verwaltungsleistungen funktionieren für Nutzer:innen nur, wenn sie entsprechend ihrer Bedürfnisse gestaltet sind. Um diese zu verstehen, braucht es Nutzerforschung – oder, wie wir häufiger sagen: User-Research.

Sich über Jahrzehnte erstreckende internationale Studien zeigen, dass großangelegte IT-Projekte am häufigsten am fehlenden Input von Nutzer:innen scheitern. Denn die Einbeziehung ebendieser ist der entscheidende Erfolgsfaktor solcher Projekte.

Die Wichtigkeit einer direkten und regelmäßigen Einbindung von User:innen bei der Entwicklung von neuen Leistungen hat auch die deutsche Verwaltung erkannt. Der im Sommer 2020 vom Bundesministerium des Innern und für Heimat vorgestellte Servicestandard – eine Hilfestellung für alle Beteiligten in Bund, Ländern und Kommunen bei der Entwicklung und Optimierung digitaler Verwaltungsangebote im Rahmen der Umsetzung des Onlinezugangsgesetzes (OZG) und darüber hinaus – listet Nutzerzentierung als oberstes Prinzip. Dieser sagt, dass Nutzende über Interviews, Tests zur Nutzbarkeit von bereits existierenden Angeboten oder interdisziplinäre Workshops eingebunden werden sollen.

Beim DigitalService passiert das bereits früh in der sogenannten Discovery-Phase. Diese dient am Anfang eines Projekts dazu, Nutzende und ihre Ziele zu verstehen, Hindernisse zu identifizieren, die politischen Ziele einzuordnen und Verbesserungsmöglichkeiten aufzudecken. User-Research spielt dabei eine zentrale Rolle und kombiniert quantitative und qualitative Daten. Während quantitative Daten das Was verraten, erklären qualitative Daten oftmals das Warum.

In späteren Phasen, wenn sich ein Produkt oder eine Verwaltungsleistung in der Entwicklung befindet und auch nachdem das Angebot für alle verfügbar ist, werden Nutzende fortwährend einbezogen. So fand für unseren Anfang Juli gestarteten Service zum Einreichen der Grundsteuererklärung eine knappe Woche später schon der nächste Usability-Test statt.

Folgende Research-Methoden haben wir in den vergangenen Wochen und Monaten in Projekten eingesetzt, um von Nutzenden zu lernen und sicherzustellen, dass Angebote für sie funktionieren:

Gespräche mit Nutzenden ermöglichen, ihre Einstellungen und Präferenzen zu verstehen. Sie sind außerdem hilfreich, um Verhaltens- und Denkweisen sowie Lebensumstände von Menschen zu erfassen. Als wir anfingen, gemeinsam mit dem Bundesministerium für Gesundheit eine neue Kollaborationsplattform für Gesundheitsämter namens Agora zu entwickeln, halfen uns Interviews mit Beschäftigten im Öffentlichen Gesundheitsdienst (ÖGD) dabei, Herausforderungen und Prioritäten zu erarbeiten.

Bis auf eine Ausnahme mussten wir aufgrund der Corona-Pandemie alle Interviews über Videotelefonie führen. Das machte es schwierig, zu beobachten, wie Menschen eigentlich arbeiten. Daher ließen wir in den Gesprächen den Mitarbeitenden der Gesundheitsämter viel Zeit, Offenheit und Raum, um Probleme zu benennen und ihre Unzufriedenheit auszudrücken. Das wiederum half, Vertrauen zu unserem Team aufzubauen, denn es hörte ihnen zu und erfasste ihre Bedürfnisse.

Da jedes Gesundheitsamt in Deutschland unabhängig und anders organisiert ist, mussten wir zahlreiche Video-Interviews mit Gesprächspartner:innen in vielen Bundesländern führen, um valide Ableitungen bilden zu können und die Probleme in der Kommunikation zu erkennen. Letztlich waren die Interviews von zentraler Wichtigkeit, um zu verstehen und eine Hypothese entwickeln zu können, wie sich Mitarbeitende niedrigschwellig vernetzen und digital austauschen können.

Bei der Entwicklung eines neuen Rechtsinformationssystems, intern kurz NeuRIS, konnten wir Nutzer:innen in ihrem gewohnten Umfeld begleiten. Diese „freundliche Beschattung“ ist hilfreich, um ein ganzheitliches Bild von Abläufen zu bekommen. Alle Prozessaspekte werden sichtbar – und nicht nur jene, an die sich Interviewpartner:innen in Gesprächen erinnern und die sie für erwähnenswert halten.

Innerhalb des Projekts hatten und haben wir die Gelegenheit, die Nutzer:innen unserer in Entwicklung befindlichen Software an ihren Arbeitsplätzen am Bundesgerichtshof und Bundesverfassungsgericht in Karlsruhe zu begleiten. Teil des Projekts ist es, das Einpflegen von Rechtsprechung durch die Dokumentationsstellen der beiden Institutionen mit effektiver Software zu ermöglichen. Dafür müssen wir bis ins Detail verstehen, wie die Prozesse aktuell ablaufen und welche analogen Artefakte und externen Systeme derzeit genutzt werden.

Shadowing als Forschungsmethode ist insbesondere an zwei Punkten eines Entwicklungszyklus wichtig: in der initialen Discovery-Phase, um möglichst vollständig den Kontext der Nutzenden zu verstehen, und beim Übergang in die Beta-Phase, um sicherzustellen, dass die entwickelte Lösung tatsächlich einsatzfähig ist und Schwachstellen schnell behoben werden können.

Zuweilen ist es notwendig, qualitative Daten zum Nutzungsverhalten über einen längeren Zeitraum zu sammeln. Da es uns nicht möglich ist, die ganze Zeit anwesend zu sein, können speziell aufgesetzte Tagebücher Nutzer:innen eine Struktur geben, um ihre Beobachtungen, Erfahrungen sowie weitere Daten festzuhalten.

Für unser Projekt NeuRIS erhoffen wir uns dadurch wichtige Erkenntnisse und werden schon bald ausgewählte Nutzer:innen mit einer Tagebuchstudie begleiten. Dabei notieren die Teilnehmer:innen ihre Arbeitsabläufe und Interaktionen mit dem existierenden System in einem von uns aufgesetzten Tagebuch.

Die Notizen sollen in freier Textform grundlegende Fragen beantworten, beispielsweise „Welche Arbeitsaufträge haben Sie heute bearbeitet?“ oder „Welche Schwierigkeiten sind dabei aufgetreten?“. Über den geplanten Zeitraum erzeugen die Teilnehmer:innen damit wertvolle, semistrukturierte qualitative Daten.

Diese Daten helfen uns zu verstehen, in welchen Bereichen mehr Exploration mit anderen Forschungsmethoden notwendig ist. Die Methode kann aber auch in späteren Phasen genutzt werden, um mit einfachen qualitativen Mitteln das stetige Nutzungsverhalten zu erfassen und somit eine gewisse Sicherheit zu erlangen, alle relevanten Probleme identifiziert zu haben.

Vor dem Start des Steuerlotse für Rente und Pension Ende Mai 2021 haben wir in drei Runden mit insgesamt 20 Senior:innen Prototypen getestet und Interviews geführt. Unser Ziel war es, zu lernen, wie Menschen ab 65 Jahren Webseiten benutzen. Wir wollten herausfinden, welche Designelemente brauchbar und welche untauglich für die Nutzergruppe sind.

Dazu eignet sich das Format eines Usability-Tests, bei dem die Teilnehmer:innen Aufgaben erhalten, die sie beispielsweise an einem einfachen Software-Prototypen versuchen durchzuführen. Aus den Beobachtungen und zusätzlichen Nachfragen konnten wir wertvolle Erkenntnisse gewinnen. So war es für die Zielgruppe besonders wichtig, fixe Bezugspunkte zu haben. Das haben wir in einer festen Seitennavigation aufgegriffen, deren Inhalt sich nicht kontextbezogen beim Wechsel zwischen einzelnen Seiten verändert.

Auch bei der Grundsteuererklärung für Privateigentum haben wir vor und nach dem Launch im Juli 2022 Usability-Tests in vier Runden und mit insgesamt 21 Personen durchgeführt. Die Teilnehmer:innen brachten eigene Grundbuchauszüge mit. Das hat sich als besonders hilfreich erwiesen, weil wir besser verstehen konnten, mit welchen Dokumenten und Materialien die Bürger:innen unseren Online-Service nutzen.

Bei uns nimmt an Usability-Tests neben der Interviewer:in nach Möglichkeit das gesamte Projektteam teil – Entwickler:innen, Designer:innen und Produktmanager:innen. Auch die Projektpartner:innen aus den Ministerien sind häufig zum Beobachten und Festhalten von Notizen dabei. So bekommen alle einen direkten Eindruck des Nutzer-Feedbacks und wissen, was es im nächsten Entwicklungssprung zu priorisieren gibt.

Manchmal braucht es schnelles Feedback zu einzelnen Projektaspekten – und das von einer größeren und diverseren Nutzergruppe. Dafür ist Pop-Up-Research hilfreich. Die Methode erlaubt es, an einem gut besuchtem Ort aufzuschlagen und von vergleichsweise vielen Menschen in kurzer Zeit Meinungen abzufragen.

Für eine neue mobile Applikation, die in Zukunft Teil von zahlreichen digitalen Verwaltungsleistungen sein soll, diskutierten wir mögliche Namen. Diese sollen Nutzende schnell verstehen können und den Zweck erahnen lassen. Nachdem wir mit Kolleg:innen aus verschiedenen Abteilungen des DigitalService in einem Workshop zahlreiche Namensvorschläge entwickelt und einige davon in die engere Wahl genommen hatten, benötigten wir Feedback von Nutzenden. Dazu gingen wir letzte Woche an einem späten Nachmittag zu viert zum Berliner Hauptbahnhof. Aufgeteilt in Zweierteams sprachen wir in zwei Stunden auf dem Bahnhofsvorplatz mit insgesamt 21 Menschen.

Wir hatten auf Pappkarten Entwürfe der späteren Bedienoberfläche dabei – in fünffacher Ausführung mit jeweils einem anderen Namen. Wir wollten wissen, wie gut die intern am besten bewerteten Namen funktionieren, welche Vorstellungen und Einstellungen Menschen zu diesen Namen haben und ob es erkennbare Favoriten gibt. Das ergiebige Feedback aus zwei Stunden ließ uns einige Namensoptionen aussortieren und die verbleibenden weiter verbessern. Als Nächstes können wir diese in zusätzlichen Usability-Tests mit mehr Kontext testen.

Sobald ein Service live ist, helfen uns auch Supportanfragen zu verstehen, welche Schritte noch unklar sind und wo Nutzer:innen Fragen haben. Denn nie können selbst eine große Anzahl von Usability-Tests alle erdenklichen Anwendungsfälle und Nutzerkontexte abdecken. Aktuell können sich Nutzer:innen in solchen Fällen per E-Mail an uns wenden. So lernen wir nicht nur, wenn technische Probleme auftreten, sondern auch inhaltlich viel über die unterschiedlichen Nutzungsszenarien.

Beim Steuerlotse für Rente und Pension haben wir zum Beispiel gelernt, dass viele Bürger:innen die Steuererklärung mit oder für ihre Eltern machen und unsicher sind, ob dies mit unserem Service auch geht. Auf Basis der Supportanfragen konnten wir außerdem die Abfolge von Fragen im Dienst verbessern, sodass Dinge schneller für Nutzende ersichtlich werden.

Zudem konnten wir unseren Bereich, der Antworten auf häufig gestellte Nachfragen von Nutzenden abdeckt, komplett überarbeiten. Denn mehrere Wochen nach dem Start des Dienstes wussten wir, welche Fragen bei der Nutzung wirklich noch offen bleiben können. Darüber hinaus geben uns die Supportanfragen Hinweise darauf, welche Teile des Services wir mit anderen Forschungsmethoden weiter beleuchten müssen.

In den vergangenen Wochen haben wir ein neues internes User-Research-Dashboard entwickelt. Es zeigt, wie viel Kontakt wir mit Nutzenden hatten. Je nach Projektphase und -art unterscheiden sich die Frequenz und Art der Herangehensweise unserer User-Research-Aktivitäten.

Nachdem andere Disziplinen beim DigitalService im Rahmen ihrer quartalsbezogenen Zielsetzungen schon Dashboards entwickelt hatten, überlegten wir, welche Metrik wir in Bezug auf Design monatlich messen sollten. Die Metriken sind für alle in der Organisation sowie für Besuchende in unserem Berliner Büro auf einem großen Bildschirm sichtbar.

Wir halten nun fortwährend fest, mit wie vielen Menschen wir jeden Monat in allen Projekten Kontakt hatten, ob es meinungs- oder verhaltensbezogen war und ob es Endnutzer:innen, die zum Beispiel ihre Steuererklärung vorbereiteten, oder Expert:innen wie Steuerberater:innen waren.

Das Ziel ist nicht, die Anzahl der Kontakte immer weiter zu steigern. Wir wissen zum Beispiel, dass für Usability-Tests sechs Teilnehmende ausreichen, um 85% aller Probleme in einem Software-Interface zu finden. Stattdessen gilt es, eine gute Balance von Aufwand und Erkenntnis zu finden und User-Research handlungs- und umsetzungsorientiert zu betreiben. Zudem wollen wir für uns, unsere Auftraggeber:innen und andere Interessenvertreter:innen dokumentieren, dass und in welcher Form wir mit Nutzenden sprechen. Sollten wir für einen oder gar zwei Monate tatsächlich in keinem Projekt Austausch mit Nutzenden haben, werden wir in Retrospektiven ergründen, warum das der Fall ist und die Ursachen angehen.

In den kommenden Wochen und Monaten wollen wir verbessern, wie wir Menschen mit einem breiteren Spektrum an Fertigkeiten in unsere Arbeit einbeziehen. Dazu gehören beispielsweise Zielgruppen mit begrenzten digitalen Fähigkeiten. Existierende Daten aus Studien zur Nutzung von Verwaltungsservices geben einen hilfreichen Überblick darüber, wie viele Menschen in Deutschland welchen digitalen Zugang und welche Kompetenz haben. Die Daten zeigen zudem, wie offen sie für Online-Verwaltungsdienste sind und welches Nutzungsverhalten sie an den Tag legen.

Einige unserer Designer:innen und Produktmanager:innen haben jahrelange praktische Erfahrung in User-Research und in dutzenden Studien die Bedürfnisse von Menschen ergründet. Doch so sehr User-Research ein Teamsport ist, so zeitintensiv ist er auch.

Daher schaffen wir jetzt die erste eigene Stelle für einen Senior User Researcher (w/m/d). Besonders in komplexen Themenfeldern ist User-Research eine Vollzeitaufgabe. Das Planen, Entwerfen, Vor- und Nachbereiten von User-Research-Aktivitäten kostet signifikant viel Zeit. Wir suchen eine erfahrene Person, die zum einen für die Forschungsaktivitäten in einem größeren Themenbereich wie Steuern oder Rechtssetzung verantwortlich ist und gleichzeitig multidisziplinäre Teams bei der Umsetzung der Erkenntnisse unterstützt. Zum anderen möchten wir, dass sie eine beratende Rolle für andere Projektteams einnimmt und zur Weiterentwicklung unserer User-Research-Praxis beiträgt.

In den kommenden Wochen und Monaten planen wir in weiteren Blogbeiträgen einen genaueren Einblick in die User-Research-Aktivitäten in einer Reihe von Projekten zu geben. Bis dahin freuen wir uns über Fragen und Anregungen auf Twitter und LinkedIn.