Wie wir die Wirkung unserer Online-Dienste der Justiz messen

Das Framework dient dazu, die wichtigsten übergeordneten Ziele zu definieren und mit konkreten Metriken zu untermauern. Es ist keine vollständige Liste aller Metriken, die wir tracken, sondern eine Priorisierung der zentralen Wirkungsindikatoren. Als wichtigste Kennzahl, die sogenannte „North Star Metric“, haben wir den „Digital Take-Up“ fest­gelegt. Das ist die digitale Adoptionsrate. Das heißt, ein Großteil der Anträge für einen Justiz-Service soll zukünftig digital statt auf Papier eingereicht und die Online-Einreichung zum bevorzugten Weg werden. Denn erst mit steigender Nutzung des digitalen Wegs können wir die Basis für mehr Zugang zum Recht und die Entlastung der Justiz schaffen. Gleichzeitig bedeutet das nicht, dass die Beantragung vor Ort im Amtsgericht langfristig abgeschafft werden soll. Hybride Wege (digital und analog) schaffen den besten Zugang für alle.

Als Nachbereitung des Workshops mit unseren Stakeholder:innen haben wir die identi­fizierten Ziele in eine „Goals, Signals, Metrics“-Struktur überführt. So können wir noch genauer definieren, wie sich die übergeordneten Ziele in Verhaltenssignale herunterbrechen lassen und diese wiederum an konkrete Metriken knüpfen. Diese Metriken können wir mit Webanalyse-Tools oder Umfragen messen. Jedem Ziel sind mehrere Verhaltenssignale zugeordnet. Für jedes Verhaltenssignal ist definiert, mit welcher Metrik es sich messen lässt.

Unser erstes Anwendungsbeispiel ist der digitale Beratungshilfe-Antrag. Basierend auf unserer Nutzendenforschung haben wir für diesen Dienst spezifische Ziele entlang des oben beschriebenen Frameworks definiert und messen seit dem Launch im Sommer 2024, ob wir diese erreichen.

Für die Wirkungsmessung nutzen wir vor allem anonymisierte Nutzungsdaten, um den Weg der Bürger:innen bei der Nutzung des Online-Dienstes zu verstehen.

Aufmerksam werden: Ziel ist zunächst, dass Betroffene den Service überhaupt finden. Durch gezielte SEO-Maßnahmen und die Vernetzung mit Partnerländern und Pilot­gerichten verlinken mittlerweile über 660 Webseiten auf unseren Dienst. Darunter viele der 638 Amtsgerichte in Deutschland und zahlreiche Beratungsstellen. Das Ergebnis: Je nach Standort belegt die Einstiegsseite zur Beratungshilfe heute Platz 2 oder 3 auf den Ergebnisseiten der Suchmaschinen.

Informieren und orientieren: Wir messen, ob unsere Inhalte verständlich sind, wie lange Nutzende auf den Informationsseiten verweilen und wie gut der Beratungshilfe-„Vorab-Check” zur Anspruchsprüfung funktioniert. Wir sehen zum Beispiel, dass die Informations­seiten zur Beratungshilfe von etwa 75 % der Nutzenden als hilfreich bewertet werden und die Abschlussrate des Vorab-Checks sogar bei 90 % liegt. Bei negativen Vorab-Check-Ergebnissen sehen wir systematisch eine geringere Zufriedenheit und prüfen daher, welche Alternativen wir diesen Nutzenden aufzeigen können.

Service nutzen: Die Abschlussrate des digitalen Antrags liegt aktuell bei etwa 45 %. Die meisten Abbrüche passieren auf den ersten Antragsseiten oder auf Seiten zu finanziellen Angaben. Wir wägen kontinuierlich ab, welche Abbrüche auf echte Probleme im Service hindeuten und welche eher auf eine geringe Absicht, den Antrag zu stellen oder gerade nicht verfügbare Informationen oder Unterlagen hindeuten. Um Probleme in der Antrags­strecke zu erkennen, gibt es auf jeder Seite die Möglichkeit, eine unverständliche Frage oder ein technisches Problem zu melden. Derart gemeldete Probleme landen direkt in einem Team-Chat und wir können sie teilweise noch am selben Tag lösen. Nach Ausfüllen des Antrags bitten wir Nutzende noch um ein abschließendes Feedback: an dieser Stelle bewerten 89 % der Nutzenden den Antrag als hilfreich.

Um den zentralen Outcome aufseiten der Justiz zu messen – die Arbeitsentlastung –, arbeiten wir eng mit unseren Pilotgerichten zusammen. Über eine Online-Umfrage übermitteln die Gerichte uns monatlich Daten zur Antragsqualität. Denn unsere Annahme ist, dass durch den Vorab-Check weniger Personen, die nicht berechtigt sind, einen Antrag stellen und durch den digitalen Antragsassistenten eine höhere Antragsqualität entsteht. Das führt zu weniger Zwischenverfügungen und so zu einer geringeren Arbeitslast.

Antrag prüfen und bewilligen: Ein zentraler Indikator ist der Anteil der Anträge, die eine Zwischenverfügung erforderlich machen. Hier zeigen die Daten einen deutlichen Erfolg für die Digitalisierung: Während bei rund 70 % der Papieranträge „zwischenverfügt” werden müssen, konnten wir sie bei digital ausgefüllten Anträgen bereits auf 52 % senken. Das bedeutet weniger Rückfragen für die Rechtspfleger:innen und eine schnellere Bearbeitung für die Bürger:innen. Unser Anspruch ist, diese Zahl weiter zu senken.

Wirkung hört nicht beim Bescheid zu einem Antrag auf. Über eine Nachbefragung, vier Wochen nach Antragstellung, messen wir den tatsächlichen Outcome auf Seite der Bürger:innen und erfragen u. a., ob sie Unterstützung bei ihrem Rechtsproblem erhalten haben.

Rechtsproblem aufklären: Erste Ergebnisse zeigen, dass 70 % der Befragten, die bereits eine Rückmeldung vom Gericht erhalten haben, eine Bewilligung bekamen. Gleichzeitig sehen wir, dass es oft mehr Zeit braucht als wir erwartet hatten: Nach vier Wochen hatten erst 64 % eine Rückmeldung vom Gericht und nur 3 % konnten ihr Rechtsproblem in diesem Zeitraum bereits vollständig lösen. Diese Daten helfen uns, die Erwartungshaltung der Nutzenden durch gezielte Kommunikation im Online-Dienst besser zu steuern. Außer­dem erfahren wir über diesen Kanal, welche Gründe nach wie vor für Zwischen­verfügungen sorgten (z. B. welche Unterlagen fehlten).

Daten zusammenführen: Die Daten werden kontinuierlich über verschiedene Quellen erhoben. Mit der Nutzung eines Low-Code-Tools können wir Daten zusammenführen und in einem zentralen Dashboard sichtbar machen. Auch die Nachbefragung an Bürger:innen können wir so überhaupt erst automatisieren. So stehen uns alle Daten tagesaktuell zur Verfügung und wir sparen viel manuellen Arbeitsaufwand.

Iterationen priorisieren: Das Zusammenspiel aus Nutzungsdaten und Feedback-Kanälen ergibt ein kontinuierliches Gesamtbild. Es hilft uns, zu entscheiden, welche Weiter­entwicklungen den größten Hebel haben. Dabei bleiben wir realistisch: Auf die letztliche Outcome-Ebene (ob ein Rechtsproblem aufgeklärt wird) haben wir nur begrenzten Einfluss, da hier viele externe Faktoren der Justiz zusammenspielen. Dennoch schaffen wir mit der Messung einen völlig neuen Feedbackkanal, der vormals unsichtbare Erkenntnisse direkt in die Justiz zurückspielt.

Daten transparent teilen: Vertrauen entsteht durch Offenheit. Daher sind alle relevanten Kennzahlen für die Projektbeteiligten in einem internen Dashboard einsehbar. Ergänzend dazu teilen wir die qualitativen Daten aus den Gerichten und der Nachbefragung regel­mäßig in Update-Terminen mit den Ländern und Pilotgerichten, um ein gemeinsames Verständnis für den Fortschritt zu schaffen.

„Digitalrendite” anfassbar machen: Wirkung hat auch eine ökonomische Dimension. Wir nutzen die Daten, um die Digitalrendite unserer Services zu schätzen – also den mess­baren Mehrwert, der über die Investitionskosten hinausgeht. Unsere Analysen zeigen: Durch die Arbeitsentlastung mit übersichtlicheren, fehlerfreien Anträgen kann sich der Beratungshilfe-Online-Dienst bereits nach fünf Jahren amortisieren – bei optimistischen Annahmen sogar schon nach zwei Jahren. Die Berechnungslogik haben wir transparent dargelegt.

Die Einführung dieser datengestützten Wirkungsmessung haben wir mit dem Launch unseres Online-Dienstes Beratungshilfe gestartet. Dabei sind wir verschiedenen Herausforderungen begegnet.

Eine fragmentierte Service-Journey macht die Wirkungsmessung sehr aufwendig: Eine der größten Herausforderungen sind die zahlreichen Medienbrüche in der Service-Journey. Obwohl der Beratungshilfe-Antragsprozess digitalisiert ist, führen komplizierte Authentifizierungsprozesse oft dazu, dass Bürger:innen den Antrag zwar online ausfüllen, ihn letztendlich aber ausdrucken und per Post einsenden. Die Online-Einreichung wird schlichtweg als zu kompliziert empfunden. Wir können so nicht unmittelbar digital erfassen, wie viele Anträge tatsächlich nach dem Ausfüllen eingereicht werden. Aktuell sind wir hier auf die Angaben aus Nachbefragungen angewiesen – ein wertvolles Instrument, das jedoch eine höhere Unschärfe aufweist als eine direkte Messung über Produktmetriken im Service.

Die Pilotgerichte haben keine Möglichkeit digital erstellte und eingereichte Anträge statistisch zu erfassen: Auf der Seite der Justiz stoßen wir auf strukturelle Grenzen. Die bestehenden Fachverfahren der Gerichte erlauben derzeit keine automatisierte sta­tis­tische Erfassung digital eingereichter Anträge. Die Pilotgerichte müssen derzeit manuell erfassen, welche Anträge wie und in welcher Qualität bei ihnen eingehen, und diese Informationen an uns übermitteln. In Zeiten des massiven Fachkräftemangels ist dies eine große Herausforderung. Um die Belastung für die Mitarbeitenden in der Justiz so gering wie möglich zu halten, haben wir in mehreren Iterationen versucht, den Prozess der Datenerfassung so effizient wie möglich zu gestalten. Dennoch lässt sich dieser Prozess nicht auf alle weiteren digitalisierten Anträge skalieren.

Die Definition von Erfolg ist ohne vorhandene Vergleichsdaten konzeptionell anspruchsvoll: Ab welchem Wert gilt ein Service als erfolgreich? Ist eine Zufriedenheit von 75 % gut – oder erst 90 %? Da es in der Justiz kaum vergleichbare Referenzwerte gibt, mussten wir uns für einen pragmatischen Weg entscheiden und unsere erste Messung als Ausgangspunkt definieren. Wir arbeiten nun kontinuierlich daran, diese Werte durch Weiterentwicklungen an den Services zu verbessern.

Der kollaborative Prozess in der Zusammenarbeit mit Bürger:innen, Pilotgerichten, Ländern und dem BMJV hat gezeigt: Wirkungsmessung funktioniert nur gemeinsam. So konnten wir sicherstellen, dass wir echte Mehrwerte für alle Beteiligten messen und nicht nur den Launch als Erfolg deklarieren. Unser Dank geht hier an die Pilotgerichte: Wir wis­sen, dass die manuelle Erhebung aktuell sehr aufwendig ist. Doch genau diese Daten sind der Schlüssel, um die Angebote gezielt weiterzuentwickeln und den Wert einer nutzendenzentrierten Digitalisierung zu belegen.

Unser Ansatz zur Wirkungsmessung ist neu in der deutschen Justizlandschaft. In einem Umfeld, in dem Daten bisher kaum erhoben werden oder nur schwer zugänglich sind, haben wir versucht, die Wirkung digitaler Angebote über Mehrwerte messbar zu machen. Zukünftig möchten wir diesen Ansatz als Blaupause für die Wirkungsmessung aller Online-Dienste im Projekt Zugang zum Recht nutzen.

Unsere Arbeit hat hier gerade erst begonnen: Der Ansatz ist ein erster Versuch, sich dem Thema Wirkungsmessung von digitalen Angeboten in der Justiz zu nähern. Mit klas­sischen Produktmetriken sowie Befragungen auf Gerichts- und Bürgerseite können wir bereits die zentralen Outcomes entlang der Nutzendenreise sichtbar machen. Eine künftige Ausbaustufe kann die verstärkte Betrachtung der gesellschaftlichen Wirkung: Wie beeinflusst die Nutzung von nutzendenzentrierten Online-Diensten die Wahrnehmung eines fairen Rechtsstaats? Kann das Vertrauen der Bürger:innen in die Handlungsfähigkeit des Staats gestärkt werden?

Die Definition von Erfolgsmetriken ist eine Reise, die wir kontinuierlich fortsetzen. Wir sind überzeugt: Je mehr Projekte ähnliche Ansätze etablieren, desto schneller werden be­last­bare Vergleichsdaten und allgemeingültige Standards zur Normalität. Dafür haben Kolleg:innen aus der Verwaltungsdigitalisierung kürzlich auch eine Anleitung im Handbuch des Servicestandards verfasst, welche helfen soll, ein Vorgehen für die Definition von Zielen und Kennzahlen in Digitalprojekten zu erstellen. So sind Justiz und Verwaltung der Zukunft nicht nur digital, sondern können ihre positive Wirkung auch handfest belegen.