Kategorie: Partizipation

3. Praxisworkshop zu ersten Ergebnissen aus den Befragungen in Projektkommunen

Am 30. November haben wir Vertreter*innen der mit uns kooperierenden Kommunen eingeladen, um uns mit diesen über die ersten Ergebnisse aus den umfangreichen Befragungen unserer Forschungsgruppe auszutauschen. Im Mittelpunkt stand dabei die Frage, wie die jeweiligen Beteiligungsverfahren von den Teilnehmenden eingeschätzt werden, und welche Aspekte zur Teilnahme motivieren, oder davon abhalten.

Trotz der Verschiedenheit der von uns untersuchten fünf Projekte (und der bislang z.T. noch geringen Zahl der Teilnehmenden) weisen die Einschätzungen der an solchen Prozessen partizipierenden Personen relativ große Übereinstimmungen auf. Insgesamt zeigen sich eher positive Bewertungen für die Beteiligungsverfahren im Hinblick auf den Diskussionsverlauf und die Transparenz. Gleichzeitig gibt es aber auch in allen Verfahren vergleichbare Herausforderungen. So wird z.B. die Repräsentation der eigenen Interessen als relativ gut bewertet, es werden aber Lücken in der Repräsentation anderer Meinungen wahrgenommen. Auch gelingt nicht immer ein Ausgleich der Interessen. Darüber hinaus sind die Teilnehmenden eher skeptisch, was die tatsächlichen Wirkung der Beteiligungsergebnisse auf den politischen Prozess angeht, wenn sie diese auch nicht ausschließen.

Einschätzung des von den Teilnehmenden besuchten Beteiligungsformats.
N=286 (Altona: 61, Marburg: 22, Offenburg: 40, Ottensen: 158, Wuppertal: 5)

Interessante Unterschiede zeigen sich auch zwischen Teilnehmenden und Nicht-Teilnehmenden. Beispielhaft zeigt die untenstehende Auswertung die Anworten auf die Frage danach, wie der Verkehr in der jeweiligen Kommune in fünf Jahren aussehen sollte. In der Regel befürworten Personen, die am Beteiligungsverfahren teilgenommen haben (T) grundsätzlich eher eine Umgestaltung zur Förderung von Fahrrad- und Fußverkehr als die Personen, die sich nicht an diesen Verfahren beteiligt haben (nT). So finden sich also unter den Teilnehmenden eher Befürworter*innen der Verkehrswende. Allerdings zeigen sich auch hier durchaus Unterschiede zwischen den Verfahren, die darauf hindeuten, dass die Motive sich einzubringen durchaus sehr verschieden ausfallen können – ein Aspekt, den wir in den zukünftigen Analysen weiter verfolgen werden.

Frage: Wie soll der Verkehr in der jeweiligen Kommune in fünf Jahren aussehen?
Dargestellt nach teilgenommen (T) oder nicht teilgenommen (nT) am Partizipationsverfahren
N=1.587 (Altona: 432, Marburg: 417, Offenburg: 254, Ottensen: 342, Wuppertal: 142)

Der Praxisworkshop hatte das Ziel, diese ersten Befunde gemeinsam zu reflektieren, gerade auch im Vergleich des jeweils „eigenen“ Verfahrens mit den Ergebnissen aus den anderen untersuchten Kommunen. Dieser Austausch hat uns wichtige Hinweise auf mögliche Zusammenhänge geliefert und verdeutlicht, wo weiterer Klärungsbedarf besteht.

Die dargestellten Beispiele sind ein erster Einblick in die große Fülle an Daten, die mit Hilfe der Befragungen gesammelt wurden und die im Jahr 2023 noch erweitert werden wird (siehe Hintergrund unten). Der gemeinsame Austausch mit den kommunalen Partner*innen hatte daher auch den Zweck, genauer zu klären, welche Informationen für die kommunale Beteiligungspraxis relevant sind, und in welchen Formaten die gemeinsamen Diskussionen am sinnvollsten fortgeführt werden können.

Wir bedanken uns recht herzlich bei unseren Partner*innen für Ihre Zeit und Ihre Ideen!

Zum Hintergrund

Im Rahmen unserer Forschung interessieren wir uns insbesondere dafür, welche Rolle Bürger*innenbeteiligung beim Gelingen der Verkehrswende spielen kann. Dafür untersuchen wir unter anderem fünf verschiedene Beteiligungsverfahren:

Für jedes Projekt wurde von uns ein umfangreiches Programm an Befragungen durchgeführt. Dafür haben wir zum einen eine Zufallsauswahl aus der gemeldeten Bevölkerung mit einem Fragebogen angeschrieben. Zum anderen wurden von uns im Rahmen der verschiedenen Beteiligungsformate Teilnehmer*innen befragt. Die folgende Tabelle vermittelt einen Überblick über die Befragungszeiträume einschließlich der Ausschöpfungsquoten der von uns durchgeführten Bevölkerungsbefragungen. Insgesamt wurden bislang rund 1.600 Personen befragt, von denen rund 300 an einem der untersuchten Beteiligungsverfahren teilgenommen haben.

Übersicht über durchgeführte Befragungen von Bevölkerung und Teilnehmenden (Prozentwerte geben Rücklaufquoten der Bevölkerungsbefragung wieder)

Subjektives Machine Lerning am Beispiel der Konkretheit von Argumenten in der Öffentlichkeitsbeteiligung

In dieser Veröffentlichung im Workshop on Argument Mining entwickelt Julia Romberg eine Methode, um menschlichen Perspektivismus in die maschinelle Vorhersage einzubeziehen. Die Methode wird an der Aufgabe der Konkretheit von Argumenten in Beiträgen zur Bürger*innenbeteiligung getestet.

Zusammenfassung

Obwohl Argumentation sehr subjektiv sein kann, besteht die gängige Praxis beim überwachten maschinellen Lernen (supervised machine learning) darin, eine aggregierte Grundwahrheit zu konstruieren und daraus zu lernen. Dieser Ansatz führt zu einer Vernachlässigung individueller, aber potenziell wichtiger Perspektiven und kann in vielen Fällen dem subjektiven Charakter der Aufgaben nicht gerecht werden. Eine Lösung für dieses Manko sind multiperspektivische Ansätze, die im Bereich des Argument Mining bisher nur wenig Beachtung gefunden haben.

In dieser Arbeit stellen wir PerspectifyMe vor, eine Methode zur Integration von Perspektivismus durch Anreicherung einer Aufgabe mit Subjektivitätsinformationen aus dem Datenannotationsprozess. Wir veranschaulichen unseren Ansatz anhand des Anwendungsfalls der Klassifizikation der Konkretheit von Argumenten und liefern erste vielversprechende Ergebnisse auf dem kürzlich veröffentlichten CIMT PartEval Argument Concreteness Corpus.

Ergebnisse

  • Beim maschinellen Lernen wird oft von einer einzigen Grundwahrheit ausgegangen, was aber für subjektive Aufgaben nicht zutrifft.
  • PerspectifyMe ist eine einfache Methode, um den Perspektivismus in bestehende maschinelle Lernprozesse einzubinden, indem ein aggregiertes Label durch eine Subjektivitätsbewertung ergänzt wird.
  • Ein Beispiel für eine subjektive Aufgabe ist die Einstufung der Konkretheit eines Arguments (gering, mittel, hoch). Die Automatisierung dieser Aufgabe ist auch von Interesse für die Auswertung von Bürger*innenbeteiligungsverfahren.
  • Erste Ansätze zur Klassifikation der Konkretheit von Argumenten (aggregiertes Label) zeigen eine Accuracy von 0,80 und einen F1-Wert von 0,67.
  • Ob die Konkretheit eines Arguments eine subjektive Wahrnehmung triggert, kann mit einer Accuracy von 0,72 bzw. einem F1-Wert von 0,74 vorhergesagt werden.

Publikation

Romberg, Julia (2022). Is Your Perspective Also My Perspective? Enriching Prediction with Subjectivity. In: Proceedings of the 9th Workshop on Argument Mining: 115-125, Gyeongju, Republic of Korea. Association for Computational Linguistics. https://aclanthology.org/2022.argmining-1.11.

Automatisierte thematische Kategorisierung von Bürger*innenbeiträgen: Reduzierung des manuellen Annotationsaufwands durch Active Learning

In dieser Veröffentlichung in Electronic Government untersuchen Julia Romberg und Tobias Escher das Potenzial von Active Learning, um den manuellen Annotationsaufwand bei der thematischen Kategorisierung von Bürger*innenbeteiligungsbeiträgen zu reduzieren.

Zusammenfassung

Politische Behörden in demokratischen Ländern konsultieren die Öffentlichkeit regelmäßig zu bestimmten Themen, doch die anschließende Auswertung der Beiträge erfordert erhebliche personelle Ressourcen, was häufig zu Ineffizienzen und Verzögerungen im Entscheidungsprozess führt. Eine der vorgeschlagenen Lösungen ist die Unterstützung der menschlichen Analyst*innen bei der thematische Gruppierung der Beiträge durch KI.

Überwachtes maschinelles Lernen (supervised machine learning) bietet sich für diese Aufgabe an, indem die Vorschläge der Bürger nach bestimmten vordefinierten Themen klassifiziert werden. Durch die individuelle Natur vieler öffentlicher Beteiligungsverfahren ist der manuelle Aufwand zur Erstellung der benötigten Trainingsdaten jedoch oft zu teuer. Eine mögliche Lösung, um die Menge der Trainingsdaten zu minimieren, ist der Einsatz von Active Learning. Während sich dieses halbüberwachte Verfahren in den letzten Jahren stark verbreitet hat, wurden diese neuen vielversprechenden Ansätze nicht für die Auswertung von Beteiligungsbeiträgen angewendet.

Daher verwenden wir Daten aus Online-Beteiligungsprozessen in drei deutschen Städten, stellen zunächst Baselines für die Klassifikation auf und bewerten anschließend, wie verschiedene Strategien des Active Learnings den manuellen Annotationsaufwand reduzieren und gleichzeitig eine gute Modellleistung beibehalten können. Unsere Ergebnisse zeigen nicht nur, dass Modelle des überwachten maschinellen Lernens die Beiträge zur Bürger*innenbeteiligung zuverlässig thematisch kategorisieren können, sondern auch, dass Active Learning die Menge der benötigten Trainingsdaten deutlich reduziert. Dies hat wichtige Implikationen für die Praxis der Öffentlichkeitsbeteiligung, da es den Zeitaufwand für die Auswertung drastisch reduziert, wovon insbesondere Prozesse mit einer größeren Anzahl von Beiträgen profitieren können.

Ergebnisse

  • Wir vergleichen verschiedene moderne Ansätze zur Textklassifikation und zum Active Learning anhand einer Fallstudie von drei Beteiligungsprozessen zur Radverkehrsplanung in den deutschen Kommunen Bonn, Köln Ehrenfeld und Moers.
  • Das Modell BERT kann in etwa 77 % der Fälle die richtigen Themen vorhersagen.
  • Active Learning reduziert den manuellen Annotationsaufwand erheblich: Es reichte aus, 20 bis 50 % der Datensätze manuell zu kategorisieren, um die Genauigkeit von 77% zu halten. Die Effizienzgewinne wachsen mit der Größe des Datensatzes.
  • Zugleich arbeiten die Modelle mit einer effizienten Laufzeit.
  • Unsere Hypothese ist daher, dass Active Learning in den meisten Anwendungsfällen den menschlichen Aufwand erheblich reduzieren sollte.

Publikation

Romberg, Julia; Escher, Tobias (2022). Automated Topic Categorisation of Citizens’ Contributions: Reducing Manual Labelling Efforts Through Active Learning. In: Marijn Janssen, et al (Hrsg.), Electronic Government. EGOV 2022. Lecture Notes in Computer Science: 369-385, Springer, Cham. ISBN 978-3-031-15086-9.

Sozialräumliche Gerechtigkeit durch Öffentlichkeitsbeteiligung?

In dieser Präsentation auf dem Jahreskongress der AESOP (Assosiation of European Schools of Planning) im Jahr 2022 stellten Laura Mark, Katharina Huseljić und Tobias Escher ein Framework für sozialräumliche Verteilungsgerechtigkeit und den möglichen Beitrag von Konsultation vor. Sie untersuchten dann unter Verwendung qualitativer und quantitativer Daten diesen Beitrag für das Fallbeispiel des konsultativen Planungsprozesses an der Elbchaussee in Hamburg.

Zusammenfassung

Unser derzeitiges Verkehrssystem weist erhebliche sozialräumliche Ungerechtigkeiten auf, da es sowohl erhebliche negative Umweltauswirkungen hat als auch bestimmte sozioökonomische Gruppen strukturell benachteiligt. Planungsprozesse beinhalten zunehmend Elemente der Öffentlichkeitsbeteiligung, oft verbunden mit der Hoffnung, unterschiedliche Mobilitätsbedürfnisse besser verstehen und in den Planungsprozess integrieren zu können. Bislang gibt es jedoch kaum Erkenntnisse darüber, ob die Beteiligung der Öffentlichkeit tatsächlich zu mehr sozialräumlicher Gerechtigkeit führt.

Um sich dieser Frage zu nähern, konzentrieren wir uns auf sozialräumliche Gerechtigkeit als Verteilungsgerechtigkeit und untersuchen, inwieweit konsultative Planungsverfahren tatsächlich zu Maßnahmen führen, die sowohl zur Nachhaltigkeit beitragen (d.h. negative externe Effekte reduzieren oder umverteilen) als auch die Bedürfnisse benachteiligter Gruppen (z.B. Menschen mit geringem Einkommen oder geringer Bildung, Frauen und behinderte Menschen) berücksichtigen. Zu diesem Zweck haben wir das Fallbeispiel des Umbaus der Elbchaussee, einer repräsentativen Hauptverkehrsstraße von gesamtstädtischer Bedeutung im Bezirk Altona in Hamburg, Deutschland, eingehend untersucht. Wir stützen uns dabei sowohl auf qualitative als auch auf quantitative Daten, darunter Interviews mit Expert*innen und Bürger*innenbefragungen.

Wir zeigen erstens, dass der Prozess zu Planungsmaßnahmen geführt hat, die leicht zur ökologischen Nachhaltigkeit beitragen. Zweitens werden die Maßnahmen voraussichtlich insbesondere durch die Verbesserung der Situation für Fußgänger und Radfahrer sowie der Aufenthaltsqualität zu mehr Gerechtigkeit für einige Gruppen beitragen, was aber nur von nicht-männlichen Gruppen so eingeschätzt wird. Darüber hinaus gibt es keine Auswirkungen für Menschen mit geringem Einkommen, geringer Bildung, Menschen mit Mobilitätseinschränkungen oder mit besonderen Mobilitätsbedürfnissen, die häufig für diese Gruppen besonders relevant sind sind. Insgesamt kommen wir zu dem Schluss, dass der konsultative Planungsprozess nur einen geringen Beitrag zur sozialräumlichen Gerechtigkeit leistet, und diskutieren abschließend mögliche Erklärungen.

Wesentliche Ergebnisse

  • Der konsultative Planungsprozess führte insgesamt zu Maßnahmen, die einen kleinen Beitrag zur sozialräumlichen Gerechtigkeit leisten, da sie den Wandel zu einer nachhaltigeren Mobilität unterstützen und einigen benachteiligten Gruppen zugute kommen, wenn auch beides in begrenztem Maße.
  • Wir stellen fest, dass das Konsultationsverfahren keinen wesentlichen Einfluss auf die Planung hatte. Was die sozialräumliche Gerechtigkeit betrifft, so lassen sich keine positiven Auswirkungen auf das Konsultationsverfahren zurückführen. Vor allem diejenigen, die an der Konsultation teilgenommen haben, berichten tatsächlich von einer geringeren Zufriedenheit mit den Maßnahmen.
  • Wir führen diese begrenzten Beiträge auf einige allgemeine Merkmale von Konsultation und des derzeitigen Planungssystems zurück, stellen aber auch fest, dass in dem Fallbeispiel der Umfang der möglichen Einflussnahme aufgrund externer Beschränkungen und Machtungleichgewichte sehr begrenzt war.

Publikation

Wir arbeiten momentan an einer Veröffentlichung für eine Fachzeitschrift mit Peer-Review. Diese Veröffentlichung wird hier nach Fertigstellung verlinkt.

Datenkorpus zur Unterstützung der Evaluation von Partizipation in der Verkehrsplanung durch multidimensionale Klassifikation

In dieser Veröffentlichung der Conference on Language Resources and Evaluation stellen Julia Romberg, Laura Mark und Tobias Escher eine Sammlung von annotierten Datensätzen vor, die die Entwicklung von Ansätzen des maschinellen Lernens zur Unterstützung der Auswertung von Beteiligungsbeiträgen fördert.

Zusammenfassung

Behörden in demokratischen Ländern konsultieren regelmäßig die Öffentlichkeit, um den Bürger*innen die Möglichkeit zu geben, ihre Ideen und Bedenken zu bestimmten Themen zu äußern. Bei dem Versuch, die (oft zahlreichen) Beiträge der Öffentlichkeit auszuwerten, um sie in die Entscheidungsfindung einfließen zu lassen, stehen die Behörden aufgrund begrenzter Ressourcen dabei oft vor Herausforderungen.

Wir identifizieren mehrere Aufgaben, deren automatisierte Unterstützung bei der Auswertung von Bürger*innenbeteiligung helfen kann. Dies sind i) die Erkennung von Argumenten, genauer gesagt von Prämissen und deren Schlussfolgerungen, ii) die Bewertung der Konkretheit von Argumenten, iii) die Erkennung von textlichen Beschreibungen von Orten, um die Ideen der Bürger*innen räumlich verorten zu können, und iv) die thematische Kategorisierung von Beiträgen. Um in zukünftiger Forschung Techniken entwickeln zu können, die diese vier Aufgaben adressieren, veröffentlichen wir den CIMT PartEval Corpus. Dieser neue und öffentlich verfügbare deutschsprachigen Korpus enthält mehrere tausend Bürgerbeiträge aus sechs mobilitätsbezogenen Planungsprozessen in fünf deutschen Kommunen. Er bietet Annotationen für jede dieser Aufgaben, die in deutscher Sprache für den Bereich der Bürgerbeteiligung bisher entweder überhaupt noch nicht oder nicht in dieser Größe und Vielfalt verfügbar waren.

Ergebnisse

  • Der CIMT PartEval Argument Component Corpus umfasst 17.852 Sätze aus deutschen Bürgerbeteiligungsverfahren, die als nicht-argumentativ, Prämisse (premise) oder Schlussfolgerung (major position) annotiert sind.
  • Der CIMT PartEval Argument Concreteness Corpus besteht aus 1.127 argumentativen Textabschnitten, die nach drei Konkretheitsstufen annotiert sind: niedrig, mittel und hoch.
  • The CIMT PartEval Geographic Location Corpus provides 4,830 location phrases and the GPS coordinates for 2,529 public participation contributions.
  • Der CIMT PartEval Thematic Categorization Corpus basiert auf einem neuen hierarchischen Kategorisierungsschema für Mobilität, das Verkehrsarten (nicht-motorisierter Verkehr: Fahrrad, zu Fuß, Roller; motorisierter Verkehr: öffentlicher Nahverkehr, öffentlicher Fernverkehr, kommerzieller Verkehr) und einer Reihe von Spezifikationen wie fließender oder ruhender Verkehr, neue Dienstleistungen sowie Inter- und Multimodalität erfasst. Insgesamt wurden 697 Dokumente nach diesem Schema annotiert.

Publikation

Romberg, Julia; Mark, Laura; Escher, Tobias (2022). A Corpus of German Citizen Contributions in Mobility Planning: Supporting Evaluation Through Multidimensional Classification. In: Proceedings of the Language Resources and Evaluation Conference: 2874–2883, Marseille, France. European Language Resources Association. https://aclanthology.org/2022.lrec-1.308.

Korpus verfügbar unter

https://github.com/juliaromberg/cimt-argument-mining-dataset

https://github.com/juliaromberg/cimt-argument-concreteness-dataset

https://github.com/juliaromberg/cimt-geographic-location-dataset

https://github.com/juliaromberg/cimt-thematic-categorization-dataset

Robuste Klassifikation von Argumentationskomponenten in Bürger*innenbeteiligungsverfahren zur Verkehrsplanung

In dieser Veröffentlichung des Workshop on Argument Mining befassen sich Julia Romberg und Stefan Conrad mit der Robustheit von Klassifikationsalgorithmen für Argument Mining, um zuverlässige Modelle zu erstellen, die über verschiedene Datensätze hinweg generalisieren.

Zusammenfassung

Öffentlichkeitsbeteiligungsverfahren ermöglichen es den Bürger*innen, sich an kommunalen Entscheidungsprozessen zu beteiligen, indem sie ihre Meinung zu bestimmten Themen äußern. Kommunen haben jedoch oft nur begrenzte Ressourcen, um eine möglicherweise große Menge an Textbeiträgen zu analysieren, welche zeitnah und detailliert ausgewertet werden müssen. Eine automatisierte Unterstützung bei der Auswertung kann daher hilfreich sein, z.B. um Argumente zu analysieren.

In diesem Paper befassen wir uns (A) mit der Identifizierung von argumentativen Diskurseinheiten und (B) mit deren Klassifizierung als Prämisse (premise) oder Schlussfolgerung (major position) in deutschen Bürger*innenbeteiligungsprozessen. Das Ziel unserer Arbeit ist es, Argument Mining für den Einsatz in Kommunen nutzbar zu machen. Wir vergleichen verschiedene Argument-Mining-Ansätze und entwickeln ein generisches Modell, das erfolgreich Argumentstrukturen in verschiedenen Datensätzen der verkehrsbezogenen Stadtplanung erkennen kann. Wir führen einen neuen Datenkorpus ein, der fünf Beteiligungsprozesse umfasst. In unserer Evaluierung erreichen wir hohe Makro-F1-Werte (0,76 – 0,80 für die Identifizierung argumentativer Einheiten; 0,86 – 0,93 für deren Klassifizierung). Darüber hinaus verbessern wir frühere Ergebnisse für die Klassifizierung von argumentativen Einheiten in einem ähnlichen deutschen Online-Partizipationsdatensatz.

Ergebnisse

  • Wir haben eine umfassende Evaluierung von Methoden des maschinellen Lernens in fünf Bürger*innenbeteiligungsverfahren in deutschen Kommunen durchgeführt, die sich in Format (Online-Beteiligungsplattformen und Fragebögen) und Prozessgegenstand unterscheiden.
  • BERT übertrifft bei beiden Aufgaben bisher veröffentlichte Argument-Mining-Ansätze für öffentliche Beteiligungsprozesse auf deutschsprachigen Daten und erreicht Makro-F1 Werte von 0,76 – 0,80 für die Identifizierung argumentativer Einheiten und Makro-F1 Werte von 0,86 – 0,93 für deren Klassifikation.
  • In einer datensatzübergreifenden Evaluierung können BERT-Modelle Argumentstrukturen in Datensätzen, die nicht Teil des Trainings waren, mit vergleichbarer Güte erkennen.
  • Eine solche Robustheit des Modells über verschiedene Beteiligungsprozesse hinweg ist ein wichtiger Schritt auf dem Weg zur praktischen Anwendung des Argument Mining in Kommunen.

Publikation

Romberg, Julia; Conrad, Stefan (2021). Citizen Involvement in Urban Planning – How Can Municipalities Be Supported in Evaluating Public Participation Processes for Mobility Transitions?. In: Proceedings of the 8th Workshop on Argument Mining: 89-99, Punta Cana, Dominican Republic. Association for Computational Linguistics. https://aclanthology.org/2021.argmining-1.9.