Kategorie: Format

Unterstützung des manuellen Evaluierungsprozesses von Bürger*innenbeiträgen durch Natural Language Processing

Doktorarbeit (Volltext) von Julia Romberg

Die Einbindung der Öffentlichkeit in Entscheidungsprozesse ist ein weit verbreitetes Instrument in Demokratien. Einerseits dienen solche Verfahren dem Ziel, durch die Ideen und Vorschläge der Bürger*innen einen besser informierten Prozess zu erreichen und damit möglicherweise das Prozessergebnis, d.h. die daraus resultierende Politik, zu verbessern. Andererseits wird durch die Einbeziehung der Bürger*innen versucht, die Akzeptanz der getroffenen Entscheidungen in der Öffentlichkeit zu erhöhen.

Bei dem Versuch, die oft großen Mengen an Bürger*innenbeiträgen auszuwerten, sehen sich die Behörden regelmäßig mit Herausforderungen konfrontiert, die auf begrenzte Ressourcen (z.B. Personalmangel, Zeitmangel) zurückzuführen sind. Wenn es um textuelle Beiträge geht, bietet das Natural Language Processing (NLP) die Möglichkeit, die bisher noch überwiegend manuell durchgeführte Auswertung automatisiert zu unterstützen. Obwohl in diesem Bereich bereits einige Forschungsarbeiten durchgeführt wurden, sind wichtige Fragen bisher nur unzureichend oder gar nicht beantwortet worden.

In meiner Dissertation, welche ich im Jahr 2023 erfolgreich abgeschlossen habe, stand deshalb im Fokus, wie bestehende Forschungslücken mithilfe von Textklassifikationsmethoden überwunden werden können. Ein besonderer Fokus lag dabei auf den Aufgaben der thematischen Strukturierung von Beiträgen und der Argumentationsanalyse.

Zu Beginn der Arbeit wird ein systematischer Literaturüberblick über bisherige Ansätze zur maschinengestützten Auswertung von Textbeiträgen gegeben (Details finden Sie in diesem Artikel). Vor dem Hintergrund des identifizierten Mangels an Sprachressourcen wird der neu erarbeitete CIMT-Datenkorpus für die Entwicklung von Textklassifikationsmodellen für deutschsprachige Öffentlichkeitsbeteiligung vorgestellt (Details finden Sie in diesem Artikel).

Zunächst steht dann die thematische Strukturierung mit Fokus auf die inhaltliche und kontextuelle Einzigartigkeit von Verfahren im Mittelpunkt. Um den Einsatz individuell angepasster Machine Learning-Modelle lohnenswert zu gestalten, wird das Konzept des Active Learnings eingesetzt, um den manuellen Klassifikationsaufwand durch eine optimierte Trainingsdatenauswahl zu verringern. In einem Vergleich über drei Beteiligungsprozesse hinweg zeigt sich, dass die Kombination von Active Learning mit Transformer-basierten Architekturen den manuellen Aufwand bereits ab einigen hundert Beiträgen signifikant reduzieren kann, bei guter Vorhersagegenauigkeit und geringen Laufzeiten (Details finden Sie in diesem Artikel). Anschließend werden Maße vorgestellt, um weitere praxisrelevante Anforderungen der Einsetzbarkeit zu evaluieren. Diese geben Einblick in das Verhalten verschiedener Active Learning-Strategien hinsichtlich klassenbezogener Eigenschaften auf den häufig imbalancierten Datensätzen.

Danach wird der Schwerpunkt auf die Analyse der Argumentation der Bürger*innen verlagert. Der erste Beitrag ist ein robustes Modell zur Erkennung von Argumentationsstrukturen über verschiedene Prozesse der öffentlichen Beteiligung hinweg. Unser Ansatz verbessert die zuvor in der Anwendungsdomäne eingesetzten Techniken zur Erkennung von argumentativen Sätzen und insbesondere zur Klassifikation von Argumentkomponenten (Details finden Sie in diesem Artikel). Zudem wird die maschinelle Vorhersage der Konkretheit von Argumenten untersucht. Hierbei wird der subjektiven Natur von Argumentation Rechnung getragen, indem ein erster Ansatz zur direkten Modellierung verschiedener Perspektiven als Teil des maschinellen Lernprozesses des Argumentation Minings vorgestellt wird (Details finden Sie in diesem Artikel).

Gutachten: Forschungsstand zu Möglichkeiten, Herausforderungen und Grenzen digitaler Beteiligung

Im Rahmen des Standortauswahlgesetzes (StandAG) ist das Bundesamt für die Sicherheit der nuklearen Entsorgung (BASE) mit der umfassenden Information und Beteiligung der Öffentlichkeit im Rahmen des Standortauswahlverfahrens zur Suche und Auswahl eines Standortes für die Endlagerung von hochradioaktiven Abfällen beauftragt. In diesem Zusammenhang hat das BASE im Februar 2022 ein Gutachten zu den „Möglichkeiten und Grenzen digitaler Beteiligungsinstrumente für die Beteiligung der Öffentlichkeit im Standortauswahlverfahren (DigiBeSt)“ beim Düsseldorfer Institut für Internet und Demokratie (DIID) der Heinrich-Heine-Universität Düsseldorf in Kooperation mit dem nexus-Institut Berlin beauftragt. Dafür wurde unter der Leitung von Tobias Escher eine Aufarbeitung des Forschungsstandes und der aktuellen Entwicklungen (Arbeitspaket 2) erstellt, die in einem ausführlichen Bericht zusammengefasst wurden.

Ausgewählte Erkenntnisse aus dem Bericht lauten:

  • Soziale Ungleichheiten in der digitalen Beteiligung beruhen v. a. auf dem
    Second-Level Digital Divide, d.h. in Unterschieden in den medien- und inhaltsbezogenen Kompetenzen, die für die selbstständige und konstruktive Nutzung des Internets zur politischen Beteiligung notwendig sind.
  • Das Wissen zu Effektivität von Aktivierungsfaktoren ist nach wie vor oft lückenhaft und anekdotisch, dadurch sind Kosten und Nutzen einzelner Maßnahmen für die Initiator*innen häufig nur schwer abzuschätzen.
  • Zur (zielgruppengerechten) Mobilisierung eignet sich nachweislich die persönliche Einladung, aber auch die etablierten Massenmedien spielen nach wie vor eine wichtige Rolle.
  • Breite und inklusive Beteiligung erfordert die Kombination unterschiedlicher digitaler und analoger Partizipationsformate.
  • Beteiligungsformate auf nationale Ebene stehen aufgrund der Komplexität der Themen und der Größe der Zielgruppe vor besonderen Herausforderungen und erfordern daher kaskadierte Verfahren (Verzahnung von Beteiligung auf unterschiedlichen politischen Ebenen) sowie noch neu zu schaffende Institutionen.

Publikation

Lütters, Stefanie; Escher, Tobias; Soßdorf, Anna; Gerl, Katharina; Haas, Claudia; Bosch, Claudia (2024): Möglichkeiten und Grenzen digitaler Beteiligungsinstrumente für die Beteiligung der Öffentlichkeit im Standortauswahlverfahren (DigiBeSt). Hg. v. Düsseldorfer Institut für Internet und Demokratie und nexus Institut. Bundesamt für die Sicherheit der nuklearen Entsorgung (BASE). Berlin (BASE-RESFOR 026/24). Online verfügbar unter https://www.base.bund.de/DE/themen/fa/sozio/projekte-ende/projekte-ende.html .

Die Wahrnehmung (lokaler) Demokratie durch die Bürger:innen: Struktur und Bestimmungsfaktoren

Abstract

Als Legitimität wird die freiwillige Anerkennung politischer Autorität bezeichnet, die eine wichtige Rolle für die Stabilität und Steuerungsfähigkeit politischer Systeme bildet. Auf der Systemebene ist sie stark durch die individuellen Legitimitätseinstellungen auf der Mikroebene bedingt. Das Ziel unserer Präsentation ist, darzustellen und zu verstehen

  • Wie verschiedene Objekte politischer Unterstützung aufgebaut sind und zusammenhängen (Vertrauen, Zufriedenheit und Legitimitätseinstellungen)
  • Wie stark lokale und nationale politische Einstellung zu Objekten sich gegenseitig beeinflussen, und …
  • Welche individuellen Faktoren schließlich lokale und nationale Legitimitätseinstellungen bedingen.

Zur Messung dieser Zusammenhänge wurden die im Projekt erhobenen Befragungsdaten genutzt um zunächst die Konstrukte Zufriedenheit mit Autoritäten, Vertrauen in Institutionen und Legitimitätseinstellung auf lokaler und nationaler Ebene zu operationalisieren. Methodisch nutzen wir eine konfirmatorische Faktorenanalyse im Mehrgruppenvergleich, sowie eine OLS Regression zur Ermittlung der individuellen Einflüsse auf die Legitimitätswahrnehmung.

Ergebnisse

Wir finden…

  • Höheres Zufriedenheit mit lokale als mit nationalen Akteure, sowie größeres Vertrauen in lokale als in nationale Institutionen, während die Mittelwertdifferenzen bei den Legitimitätseinstellungen variieren
  • Starke Zusammenhänge zwischen den Konzepten Vertrauen und Zufriedenheit und Legitimitätseinstellungen
  • Starke Zusammenhänge zwischen der lokalen und nationalen Ebene für Vertrauen, Zufriedenheit und Legitimitätseinstellungen
  • Kaum systematische Einflüsse durch individuelle Faktoren auf Legitimitätseinstellung, wenn nach Zufriedenheit und Vertrauen als Einflüsse auf Legitimität kontrolliert wird

CAIS AG: KI in der digitalen Öffentlichkeitsbeteiligung

Als Teilnehmende an einem Workshop des Center for Advanced Internet Studies (CAIS) in Bochum haben Julia Romberg und Tobias Escher die Ergebnisse aus der CIMT Forschung zur KI-unterstützten Auswertung von Beteiligungsbeiträgen vorgestellt und mit den anwesenden Expert*innen aus Forschung & Beteiligungspraxis über weitere Möglichkeiten diskutiert, um Künstliche Intelligenz für die Unterstützung von Öffentlichkeitsbeteiligung einzusetzen. Deutlich wurde dabei, dass die Praktiker*innen Potentiale nicht nur bei der Auswertung (Output), sondern auch bei der Aktivierung von Teilnehmenden (Input) sowie bei der Unterstützung der Interaktionen (Throughput) bei Beteiligungsverfahren sehen. Gleichwohl stehen diesen Potentialen Herausforderungen und Risiken gegenüber, unter anderem bei der adäquaten technischen Umsetzung sowie der Sicherstellung von Datenschutz und Diskriminierungsfreiheit.

Der von Dr. Dennis Frieß und Anke Stoll organisierte Workshop fand vom 8. bis 10. Februar 2023 in Bochum statt. Weitere Informationen finden sich auf der Website des Düsseldorfer Instituts für Internet und Demokratie.

3. Praxisworkshop zu ersten Ergebnissen aus den Befragungen in Projektkommunen

Am 30. November haben wir Vertreter*innen der mit uns kooperierenden Kommunen eingeladen, um uns mit diesen über die ersten Ergebnisse aus den umfangreichen Befragungen unserer Forschungsgruppe auszutauschen. Im Mittelpunkt stand dabei die Frage, wie die jeweiligen Beteiligungsverfahren von den Teilnehmenden eingeschätzt werden, und welche Aspekte zur Teilnahme motivieren, oder davon abhalten.

Trotz der Verschiedenheit der von uns untersuchten fünf Projekte (und der bislang z.T. noch geringen Zahl der Teilnehmenden) weisen die Einschätzungen der an solchen Prozessen partizipierenden Personen relativ große Übereinstimmungen auf. Insgesamt zeigen sich eher positive Bewertungen für die Beteiligungsverfahren im Hinblick auf den Diskussionsverlauf und die Transparenz. Gleichzeitig gibt es aber auch in allen Verfahren vergleichbare Herausforderungen. So wird z.B. die Repräsentation der eigenen Interessen als relativ gut bewertet, es werden aber Lücken in der Repräsentation anderer Meinungen wahrgenommen. Auch gelingt nicht immer ein Ausgleich der Interessen. Darüber hinaus sind die Teilnehmenden eher skeptisch, was die tatsächlichen Wirkung der Beteiligungsergebnisse auf den politischen Prozess angeht, wenn sie diese auch nicht ausschließen.

Einschätzung des von den Teilnehmenden besuchten Beteiligungsformats.
N=286 (Altona: 61, Marburg: 22, Offenburg: 40, Ottensen: 158, Wuppertal: 5)

Interessante Unterschiede zeigen sich auch zwischen Teilnehmenden und Nicht-Teilnehmenden. Beispielhaft zeigt die untenstehende Auswertung die Anworten auf die Frage danach, wie der Verkehr in der jeweiligen Kommune in fünf Jahren aussehen sollte. In der Regel befürworten Personen, die am Beteiligungsverfahren teilgenommen haben (T) grundsätzlich eher eine Umgestaltung zur Förderung von Fahrrad- und Fußverkehr als die Personen, die sich nicht an diesen Verfahren beteiligt haben (nT). So finden sich also unter den Teilnehmenden eher Befürworter*innen der Verkehrswende. Allerdings zeigen sich auch hier durchaus Unterschiede zwischen den Verfahren, die darauf hindeuten, dass die Motive sich einzubringen durchaus sehr verschieden ausfallen können – ein Aspekt, den wir in den zukünftigen Analysen weiter verfolgen werden.

Frage: Wie soll der Verkehr in der jeweiligen Kommune in fünf Jahren aussehen?
Dargestellt nach teilgenommen (T) oder nicht teilgenommen (nT) am Partizipationsverfahren
N=1.587 (Altona: 432, Marburg: 417, Offenburg: 254, Ottensen: 342, Wuppertal: 142)

Der Praxisworkshop hatte das Ziel, diese ersten Befunde gemeinsam zu reflektieren, gerade auch im Vergleich des jeweils „eigenen“ Verfahrens mit den Ergebnissen aus den anderen untersuchten Kommunen. Dieser Austausch hat uns wichtige Hinweise auf mögliche Zusammenhänge geliefert und verdeutlicht, wo weiterer Klärungsbedarf besteht.

Die dargestellten Beispiele sind ein erster Einblick in die große Fülle an Daten, die mit Hilfe der Befragungen gesammelt wurden und die im Jahr 2023 noch erweitert werden wird (siehe Hintergrund unten). Der gemeinsame Austausch mit den kommunalen Partner*innen hatte daher auch den Zweck, genauer zu klären, welche Informationen für die kommunale Beteiligungspraxis relevant sind, und in welchen Formaten die gemeinsamen Diskussionen am sinnvollsten fortgeführt werden können.

Wir bedanken uns recht herzlich bei unseren Partner*innen für Ihre Zeit und Ihre Ideen!

Zum Hintergrund

Im Rahmen unserer Forschung interessieren wir uns insbesondere dafür, welche Rolle Bürger*innenbeteiligung beim Gelingen der Verkehrswende spielen kann. Dafür untersuchen wir unter anderem fünf verschiedene Beteiligungsverfahren:

Für jedes Projekt wurde von uns ein umfangreiches Programm an Befragungen durchgeführt. Dafür haben wir zum einen eine Zufallsauswahl aus der gemeldeten Bevölkerung mit einem Fragebogen angeschrieben. Zum anderen wurden von uns im Rahmen der verschiedenen Beteiligungsformate Teilnehmer*innen befragt. Die folgende Tabelle vermittelt einen Überblick über die Befragungszeiträume einschließlich der Ausschöpfungsquoten der von uns durchgeführten Bevölkerungsbefragungen. Insgesamt wurden bislang rund 1.600 Personen befragt, von denen rund 300 an einem der untersuchten Beteiligungsverfahren teilgenommen haben.

Übersicht über durchgeführte Befragungen von Bevölkerung und Teilnehmenden (Prozentwerte geben Rücklaufquoten der Bevölkerungsbefragung wieder)

Subjektives Machine Lerning am Beispiel der Konkretheit von Argumenten in der Öffentlichkeitsbeteiligung

In dieser Veröffentlichung im Workshop on Argument Mining entwickelt Julia Romberg eine Methode, um menschlichen Perspektivismus in die maschinelle Vorhersage einzubeziehen. Die Methode wird an der Aufgabe der Konkretheit von Argumenten in Beiträgen zur Bürger*innenbeteiligung getestet.

Zusammenfassung

Obwohl Argumentation sehr subjektiv sein kann, besteht die gängige Praxis beim überwachten maschinellen Lernen (supervised machine learning) darin, eine aggregierte Grundwahrheit zu konstruieren und daraus zu lernen. Dieser Ansatz führt zu einer Vernachlässigung individueller, aber potenziell wichtiger Perspektiven und kann in vielen Fällen dem subjektiven Charakter der Aufgaben nicht gerecht werden. Eine Lösung für dieses Manko sind multiperspektivische Ansätze, die im Bereich des Argument Mining bisher nur wenig Beachtung gefunden haben.

In dieser Arbeit stellen wir PerspectifyMe vor, eine Methode zur Integration von Perspektivismus durch Anreicherung einer Aufgabe mit Subjektivitätsinformationen aus dem Datenannotationsprozess. Wir veranschaulichen unseren Ansatz anhand des Anwendungsfalls der Klassifizikation der Konkretheit von Argumenten und liefern erste vielversprechende Ergebnisse auf dem kürzlich veröffentlichten CIMT PartEval Argument Concreteness Corpus.

Ergebnisse

  • Beim maschinellen Lernen wird oft von einer einzigen Grundwahrheit ausgegangen, was aber für subjektive Aufgaben nicht zutrifft.
  • PerspectifyMe ist eine einfache Methode, um den Perspektivismus in bestehende maschinelle Lernprozesse einzubinden, indem ein aggregiertes Label durch eine Subjektivitätsbewertung ergänzt wird.
  • Ein Beispiel für eine subjektive Aufgabe ist die Einstufung der Konkretheit eines Arguments (gering, mittel, hoch). Die Automatisierung dieser Aufgabe ist auch von Interesse für die Auswertung von Bürger*innenbeteiligungsverfahren.
  • Erste Ansätze zur Klassifikation der Konkretheit von Argumenten (aggregiertes Label) zeigen eine Accuracy von 0,80 und einen F1-Wert von 0,67.
  • Ob die Konkretheit eines Arguments eine subjektive Wahrnehmung triggert, kann mit einer Accuracy von 0,72 bzw. einem F1-Wert von 0,74 vorhergesagt werden.

Publikation

Romberg, Julia (2022). Is Your Perspective Also My Perspective? Enriching Prediction with Subjectivity. In: Proceedings of the 9th Workshop on Argument Mining: 115-125, Gyeongju, Republic of Korea. Association for Computational Linguistics. https://aclanthology.org/2022.argmining-1.11.

Automatisierte thematische Kategorisierung von Bürger*innenbeiträgen: Reduzierung des manuellen Annotationsaufwands durch Active Learning

In dieser Veröffentlichung in Electronic Government untersuchen Julia Romberg und Tobias Escher das Potenzial von Active Learning, um den manuellen Annotationsaufwand bei der thematischen Kategorisierung von Bürger*innenbeteiligungsbeiträgen zu reduzieren.

Zusammenfassung

Politische Behörden in demokratischen Ländern konsultieren die Öffentlichkeit regelmäßig zu bestimmten Themen, doch die anschließende Auswertung der Beiträge erfordert erhebliche personelle Ressourcen, was häufig zu Ineffizienzen und Verzögerungen im Entscheidungsprozess führt. Eine der vorgeschlagenen Lösungen ist die Unterstützung der menschlichen Analyst*innen bei der thematische Gruppierung der Beiträge durch KI.

Überwachtes maschinelles Lernen (supervised machine learning) bietet sich für diese Aufgabe an, indem die Vorschläge der Bürger nach bestimmten vordefinierten Themen klassifiziert werden. Durch die individuelle Natur vieler öffentlicher Beteiligungsverfahren ist der manuelle Aufwand zur Erstellung der benötigten Trainingsdaten jedoch oft zu teuer. Eine mögliche Lösung, um die Menge der Trainingsdaten zu minimieren, ist der Einsatz von Active Learning. Während sich dieses halbüberwachte Verfahren in den letzten Jahren stark verbreitet hat, wurden diese neuen vielversprechenden Ansätze nicht für die Auswertung von Beteiligungsbeiträgen angewendet.

Daher verwenden wir Daten aus Online-Beteiligungsprozessen in drei deutschen Städten, stellen zunächst Baselines für die Klassifikation auf und bewerten anschließend, wie verschiedene Strategien des Active Learnings den manuellen Annotationsaufwand reduzieren und gleichzeitig eine gute Modellleistung beibehalten können. Unsere Ergebnisse zeigen nicht nur, dass Modelle des überwachten maschinellen Lernens die Beiträge zur Bürger*innenbeteiligung zuverlässig thematisch kategorisieren können, sondern auch, dass Active Learning die Menge der benötigten Trainingsdaten deutlich reduziert. Dies hat wichtige Implikationen für die Praxis der Öffentlichkeitsbeteiligung, da es den Zeitaufwand für die Auswertung drastisch reduziert, wovon insbesondere Prozesse mit einer größeren Anzahl von Beiträgen profitieren können.

Ergebnisse

  • Wir vergleichen verschiedene moderne Ansätze zur Textklassifikation und zum Active Learning anhand einer Fallstudie von drei Beteiligungsprozessen zur Radverkehrsplanung in den deutschen Kommunen Bonn, Köln Ehrenfeld und Moers.
  • Das Modell BERT kann in etwa 77 % der Fälle die richtigen Themen vorhersagen.
  • Active Learning reduziert den manuellen Annotationsaufwand erheblich: Es reichte aus, 20 bis 50 % der Datensätze manuell zu kategorisieren, um die Genauigkeit von 77% zu halten. Die Effizienzgewinne wachsen mit der Größe des Datensatzes.
  • Zugleich arbeiten die Modelle mit einer effizienten Laufzeit.
  • Unsere Hypothese ist daher, dass Active Learning in den meisten Anwendungsfällen den menschlichen Aufwand erheblich reduzieren sollte.

Publikation

Romberg, Julia; Escher, Tobias (2022). Automated Topic Categorisation of Citizens’ Contributions: Reducing Manual Labelling Efforts Through Active Learning. In: Marijn Janssen, et al (Hrsg.), Electronic Government. EGOV 2022. Lecture Notes in Computer Science: 369-385, Springer, Cham. ISBN 978-3-031-15086-9.

Sozialräumliche Gerechtigkeit durch Öffentlichkeitsbeteiligung?

In dieser Präsentation auf dem Jahreskongress der AESOP (Assosiation of European Schools of Planning) im Jahr 2022 stellten Laura Mark, Katharina Huseljić und Tobias Escher ein Framework für sozialräumliche Verteilungsgerechtigkeit und den möglichen Beitrag von Konsultation vor. Sie untersuchten dann unter Verwendung qualitativer und quantitativer Daten diesen Beitrag für das Fallbeispiel des konsultativen Planungsprozesses an der Elbchaussee in Hamburg.

Zusammenfassung

Unser derzeitiges Verkehrssystem weist erhebliche sozialräumliche Ungerechtigkeiten auf, da es sowohl erhebliche negative Umweltauswirkungen hat als auch bestimmte sozioökonomische Gruppen strukturell benachteiligt. Planungsprozesse beinhalten zunehmend Elemente der Öffentlichkeitsbeteiligung, oft verbunden mit der Hoffnung, unterschiedliche Mobilitätsbedürfnisse besser verstehen und in den Planungsprozess integrieren zu können. Bislang gibt es jedoch kaum Erkenntnisse darüber, ob die Beteiligung der Öffentlichkeit tatsächlich zu mehr sozialräumlicher Gerechtigkeit führt.

Um sich dieser Frage zu nähern, konzentrieren wir uns auf sozialräumliche Gerechtigkeit als Verteilungsgerechtigkeit und untersuchen, inwieweit konsultative Planungsverfahren tatsächlich zu Maßnahmen führen, die sowohl zur Nachhaltigkeit beitragen (d.h. negative externe Effekte reduzieren oder umverteilen) als auch die Bedürfnisse benachteiligter Gruppen (z.B. Menschen mit geringem Einkommen oder geringer Bildung, Frauen und behinderte Menschen) berücksichtigen. Zu diesem Zweck haben wir das Fallbeispiel des Umbaus der Elbchaussee, einer repräsentativen Hauptverkehrsstraße von gesamtstädtischer Bedeutung im Bezirk Altona in Hamburg, Deutschland, eingehend untersucht. Wir stützen uns dabei sowohl auf qualitative als auch auf quantitative Daten, darunter Interviews mit Expert*innen und Bürger*innenbefragungen.

Wir zeigen erstens, dass der Prozess zu Planungsmaßnahmen geführt hat, die leicht zur ökologischen Nachhaltigkeit beitragen. Zweitens werden die Maßnahmen voraussichtlich insbesondere durch die Verbesserung der Situation für Fußgänger und Radfahrer sowie der Aufenthaltsqualität zu mehr Gerechtigkeit für einige Gruppen beitragen, was aber nur von nicht-männlichen Gruppen so eingeschätzt wird. Darüber hinaus gibt es keine Auswirkungen für Menschen mit geringem Einkommen, geringer Bildung, Menschen mit Mobilitätseinschränkungen oder mit besonderen Mobilitätsbedürfnissen, die häufig für diese Gruppen besonders relevant sind sind. Insgesamt kommen wir zu dem Schluss, dass der konsultative Planungsprozess nur einen geringen Beitrag zur sozialräumlichen Gerechtigkeit leistet, und diskutieren abschließend mögliche Erklärungen.

Wesentliche Ergebnisse

  • Der konsultative Planungsprozess führte insgesamt zu Maßnahmen, die einen kleinen Beitrag zur sozialräumlichen Gerechtigkeit leisten, da sie den Wandel zu einer nachhaltigeren Mobilität unterstützen und einigen benachteiligten Gruppen zugute kommen, wenn auch beides in begrenztem Maße.
  • Wir stellen fest, dass das Konsultationsverfahren keinen wesentlichen Einfluss auf die Planung hatte. Was die sozialräumliche Gerechtigkeit betrifft, so lassen sich keine positiven Auswirkungen auf das Konsultationsverfahren zurückführen. Vor allem diejenigen, die an der Konsultation teilgenommen haben, berichten tatsächlich von einer geringeren Zufriedenheit mit den Maßnahmen.
  • Wir führen diese begrenzten Beiträge auf einige allgemeine Merkmale von Konsultation und des derzeitigen Planungssystems zurück, stellen aber auch fest, dass in dem Fallbeispiel der Umfang der möglichen Einflussnahme aufgrund externer Beschränkungen und Machtungleichgewichte sehr begrenzt war.

Publikation

Wir arbeiten momentan an einer Veröffentlichung für eine Fachzeitschrift mit Peer-Review. Diese Veröffentlichung wird hier nach Fertigstellung verlinkt.

Datenkorpus zur Unterstützung der Evaluation von Partizipation in der Verkehrsplanung durch multidimensionale Klassifikation

In dieser Veröffentlichung der Conference on Language Resources and Evaluation stellen Julia Romberg, Laura Mark und Tobias Escher eine Sammlung von annotierten Datensätzen vor, die die Entwicklung von Ansätzen des maschinellen Lernens zur Unterstützung der Auswertung von Beteiligungsbeiträgen fördert.

Zusammenfassung

Behörden in demokratischen Ländern konsultieren regelmäßig die Öffentlichkeit, um den Bürger*innen die Möglichkeit zu geben, ihre Ideen und Bedenken zu bestimmten Themen zu äußern. Bei dem Versuch, die (oft zahlreichen) Beiträge der Öffentlichkeit auszuwerten, um sie in die Entscheidungsfindung einfließen zu lassen, stehen die Behörden aufgrund begrenzter Ressourcen dabei oft vor Herausforderungen.

Wir identifizieren mehrere Aufgaben, deren automatisierte Unterstützung bei der Auswertung von Bürger*innenbeteiligung helfen kann. Dies sind i) die Erkennung von Argumenten, genauer gesagt von Prämissen und deren Schlussfolgerungen, ii) die Bewertung der Konkretheit von Argumenten, iii) die Erkennung von textlichen Beschreibungen von Orten, um die Ideen der Bürger*innen räumlich verorten zu können, und iv) die thematische Kategorisierung von Beiträgen. Um in zukünftiger Forschung Techniken entwickeln zu können, die diese vier Aufgaben adressieren, veröffentlichen wir den CIMT PartEval Corpus. Dieser neue und öffentlich verfügbare deutschsprachigen Korpus enthält mehrere tausend Bürgerbeiträge aus sechs mobilitätsbezogenen Planungsprozessen in fünf deutschen Kommunen. Er bietet Annotationen für jede dieser Aufgaben, die in deutscher Sprache für den Bereich der Bürgerbeteiligung bisher entweder überhaupt noch nicht oder nicht in dieser Größe und Vielfalt verfügbar waren.

Ergebnisse

  • Der CIMT PartEval Argument Component Corpus umfasst 17.852 Sätze aus deutschen Bürgerbeteiligungsverfahren, die als nicht-argumentativ, Prämisse (premise) oder Schlussfolgerung (major position) annotiert sind.
  • Der CIMT PartEval Argument Concreteness Corpus besteht aus 1.127 argumentativen Textabschnitten, die nach drei Konkretheitsstufen annotiert sind: niedrig, mittel und hoch.
  • The CIMT PartEval Geographic Location Corpus provides 4,830 location phrases and the GPS coordinates for 2,529 public participation contributions.
  • Der CIMT PartEval Thematic Categorization Corpus basiert auf einem neuen hierarchischen Kategorisierungsschema für Mobilität, das Verkehrsarten (nicht-motorisierter Verkehr: Fahrrad, zu Fuß, Roller; motorisierter Verkehr: öffentlicher Nahverkehr, öffentlicher Fernverkehr, kommerzieller Verkehr) und einer Reihe von Spezifikationen wie fließender oder ruhender Verkehr, neue Dienstleistungen sowie Inter- und Multimodalität erfasst. Insgesamt wurden 697 Dokumente nach diesem Schema annotiert.

Publikation

Romberg, Julia; Mark, Laura; Escher, Tobias (2022). A Corpus of German Citizen Contributions in Mobility Planning: Supporting Evaluation Through Multidimensional Classification. In: Proceedings of the Language Resources and Evaluation Conference: 2874–2883, Marseille, France. European Language Resources Association. https://aclanthology.org/2022.lrec-1.308.

Korpus verfügbar unter

https://github.com/juliaromberg/cimt-argument-mining-dataset

https://github.com/juliaromberg/cimt-argument-concreteness-dataset

https://github.com/juliaromberg/cimt-geographic-location-dataset

https://github.com/juliaromberg/cimt-thematic-categorization-dataset

2. Praxisworkshop zur automatisierten Auswertung von Beteiligungsbeiträgen

Am vergangenen Freitag haben wir im Rahmen unseres 2. Praxisworkshops erste Ergebnisse zu unseren aktuellen Arbeiten zur automatisierten Auswertung von Beteiligungsbeiträgen vorgestellt. Insgesamt hatten wir 12 Teilnehmende, die in verschiedenen Rollen (Stadtplanung, Bürger*innenbeteiligung, Dienstleistung als Planende oder für Partizipation) mit der Auswertung von Beteiligungsbeiträgen Erfahrung haben.

Zu Beginn haben wir einen Ansatz vorgestellt, um einzelne Sätze in Beteiligungsbeiträgen als Vorschlag oder Zustandsbeschreibung (beziehungsweise beides oder nichts davon) zu klassifizieren. Das funktioniert in der Praxis auch automatisiert schon ziemlich gut, wie auch unserer Veröffentlichung in den Proceedings of the 8th Workshop on Argument Mining zu entnehmen ist.

Beispiel für die Kategorisierung eines Beitrages in Sätze mit Vorschlag oder Zustandsbeschreibung: links die automatisierte Klassifikation, rechts die manuelle Kodierung. Auch wenn das Modell noch Fehler macht, ist die Zuverlässigkeit insgesamt schon sehr hoch.

Die Expertinnen und Experten konnten die Zuordnung in der Regel nachvollziehen, allerdings trifft es nur teilweise den Bedarf in der Beteiligungspraxis. So lassen sich aus Beschreibungen von Situationen vor Ort in der Regel auch häufig Vorschläge ableiten, bzw. aus Vorschlägen auch Einschätzungen der Situation vor Ort. Hier würde zunächst einmal vor allem eine Hervorhebung von solchen inhaltlich relevanten Sätzen (im Gegensatz zu allgemeinen Informationen im Beitrag) weiterhelfen, um eine Konzentration auf das Wesentliche zu ermöglichen. Auch wäre eine Unterscheidung in konkrete Vorschläge vs. allgemeine Forderungen oder Kritik an bestehenden Verhältnissen denkbar.

Eine von allem geteilte Feststellung war, dass der Auswertungsprozess immer das Lesen und Abwägen jedes einzelnen Beitrags durch die Verantwortlichen erfordert, nicht zuletzt um sicherzustellen, dass alle Beiträge gleich und fair behandelt werden. Während eine Vorsortierung oder eine Priorisierung wichtig ist, um die Bearbeitung durch die Verantwortlichen zu erleichtern, darf ein Algorithmus nie die finale Entscheidung über die aus einem Beitrag erwachsenden Konsequenzen haben. So ist auch sichergestellt, dass mögliche Fehlzuordnungen im Rahmen der automatisierten Klassifikation erkannt werden und die Entscheidungsprozesse transparent und nachvollziehbar bleiben.

Als Folge dieser grundlegenden Feststellung muss eine Automatisierung also vor allem darauf angelegt sein, die mit der Auswertung betrauten Personen in ihrer praktischen Arbeit zu unterstützen. Die Teilnehmenden des Workshops haben dabei vor allem die Rolle der thematischen Klassifikation von Beiträgen betont. Im Kontext der Verfahren im Fokus von CIMT, erfordert das hier vor allem die Zuordnung von Beiträgen zu verkehrsrelevanten Kategorien. Dabei gilt es zwischen generischen und prozess-spezifischen Kategorien zu unterscheiden. Einerseits gibt es eine ganze Reihe von Themen, die für alle Beteiligungsverfahren mit einem Mobilitätsfokus relevant sind. Dazu zählt die Erkennung von Verkehrsmitteln oder bestimmten verkehrsrelevanten Themen, z.B. Verkehrssicherheit oder Mobilitätsmanagement. Diese eignen sich insbesondere für Verfahren, die überwachtes Lernen anwenden, da die Erkennung vorab (auch auf anderen, vergleichbaren Datensätzen) trainiert werden kann. Im Gegensatz dazu haben viele der Beteiligungsverfahren aber auch immer spezielle Themen, die nicht vorab feststehen, sondern sich erst in der konkreten Beteiligung ergeben. Hier müsste dann gegebenenfalls auf nicht-überwachte Verfahren zurückgegriffen werden, die dann nach Abschluss eines Verfahrens die Menge der Beiträge nach Ähnlichkeiten (z.B. in der Wortverteilung) analysieren und clustern.

Zusätzliche inhaltliche Klassifikationen, die im Rahmen des Workshops vorgeschlagen wurden, umfassten:

  • die Verortung von Vorschlägen (an der wir auch schon arbeiten)
  • die Erkennung von Vorschlägen, die rasches Handeln erfordern (z.B. Hinweis auf akute Gefahrenstellen)
  • Unterscheidung der Konkretheit von Vorschlägen (an der wir auch schon arbeiten)

Darüber hinaus wollten wir von den Workshopteilnehmenden wissen, in welcher Form eine solche Automatisierung dann auch den Auswertungsprozess sinnvoll unterstützen kann. Dazu haben wir einige mögliche Vorschläge für die Visualisierung der durch die Modelle vorgenommenen Klassifikationen gezeigt.

Beispielhafte Visualisierung der Funktionalität einer möglichen Softwareanwendung, die zu einem Beitrag thematisch ähnliche Beiträge anzeigt und eine weitere Filterung (z.B. nach räumlicher Nähe) erlaubt.

Hier war eine deutliche Präferenz für die Möglichkeit, gleichzeitige mehrere Themenschwerpunkte auswählen und visualisieren zu können (Anzeige von Schnittmengen). Um die auf Natural Language Processing basierenden Modelle in der Praxis auch anwendbar zu machen, bedarf es darüber hinaus einer geeigneten Softwarelösung, für die noch weitere Anregungen gemacht wurden:

  • die Visualisierung der klassifizierten Beiträge, z.B. eine Übersicht über alle Beiträge einer Kategorie
  • Möglichkeit der manuellen Nachkodierung von Beiträgen zulassen
  • Ausgabe von Überblickstatistiken über alle Beiträge eines Verfahrens (z.B. Anzahl der Vorschläge in einer bestimmten Kategorie)
  • Angabe eines Zuverlässigkeitswerts als Indikator dafür, wie „sicher“ sich der Algorithmus bei der Zuordnung ist
  • weitergehende Informationen zu Beiträgen erfassbar machen, z.B.
    • gelesen/ungelesen
    • Bearbeitungsstatus
    • Verantwortlichkeiten

Wir bedanken uns bei allen Teilnehmenden für die Zeit und den wichtigen Input. Insgesamt konnten wir damit wertvolle Erkenntnisse für die weitere Entwicklung von Analysewerkzeugen gewinnen. Einige davon befinden sich aktuell bereits ohnehin in der Entwicklung (z.B. die Erkennung von Verortungen oder die thematische Kodierung). Wir sind zuversichtlich, dazu bald weitere Ergebnisse zu präsentieren und damit einen weiteren Schritt zu machen, um die Verantwortlichen in der Beteiligungspraxis gezielt bei der Auswertung zu unterstützen.