Schlagwort: Partizipation

Subjektives Machine Lerning am Beispiel der Konkretheit von Argumenten in der Öffentlichkeitsbeteiligung

In dieser Veröffentlichung im Workshop on Argument Mining entwickelt Julia Romberg eine Methode, um menschlichen Perspektivismus in die maschinelle Vorhersage einzubeziehen. Die Methode wird an der Aufgabe der Konkretheit von Argumenten in Beiträgen zur Bürger*innenbeteiligung getestet.

Zusammenfassung

Obwohl Argumentation sehr subjektiv sein kann, besteht die gängige Praxis beim überwachten maschinellen Lernen (supervised machine learning) darin, eine aggregierte Grundwahrheit zu konstruieren und daraus zu lernen. Dieser Ansatz führt zu einer Vernachlässigung individueller, aber potenziell wichtiger Perspektiven und kann in vielen Fällen dem subjektiven Charakter der Aufgaben nicht gerecht werden. Eine Lösung für dieses Manko sind multiperspektivische Ansätze, die im Bereich des Argument Mining bisher nur wenig Beachtung gefunden haben.

In dieser Arbeit stellen wir PerspectifyMe vor, eine Methode zur Integration von Perspektivismus durch Anreicherung einer Aufgabe mit Subjektivitätsinformationen aus dem Datenannotationsprozess. Wir veranschaulichen unseren Ansatz anhand des Anwendungsfalls der Klassifizikation der Konkretheit von Argumenten und liefern erste vielversprechende Ergebnisse auf dem kürzlich veröffentlichten CIMT PartEval Argument Concreteness Corpus.

Ergebnisse

  • Beim maschinellen Lernen wird oft von einer einzigen Grundwahrheit ausgegangen, was aber für subjektive Aufgaben nicht zutrifft.
  • PerspectifyMe ist eine einfache Methode, um den Perspektivismus in bestehende maschinelle Lernprozesse einzubinden, indem ein aggregiertes Label durch eine Subjektivitätsbewertung ergänzt wird.
  • Ein Beispiel für eine subjektive Aufgabe ist die Einstufung der Konkretheit eines Arguments (gering, mittel, hoch). Die Automatisierung dieser Aufgabe ist auch von Interesse für die Auswertung von Bürger*innenbeteiligungsverfahren.
  • Erste Ansätze zur Klassifikation der Konkretheit von Argumenten (aggregiertes Label) zeigen eine Accuracy von 0,80 und einen F1-Wert von 0,67.
  • Ob die Konkretheit eines Arguments eine subjektive Wahrnehmung triggert, kann mit einer Accuracy von 0,72 bzw. einem F1-Wert von 0,74 vorhergesagt werden.

Publikation

Romberg, Julia (2022). Is Your Perspective Also My Perspective? Enriching Prediction with Subjectivity. In: Proceedings of the 9th Workshop on Argument Mining: 115-125, Gyeongju, Republic of Korea. Association for Computational Linguistics. https://aclanthology.org/2022.argmining-1.11.

Automatisierte thematische Kategorisierung von Bürger*innenbeiträgen: Reduzierung des manuellen Annotationsaufwands durch Active Learning

In dieser Veröffentlichung in Electronic Government untersuchen Julia Romberg und Tobias Escher das Potenzial von Active Learning, um den manuellen Annotationsaufwand bei der thematischen Kategorisierung von Bürger*innenbeteiligungsbeiträgen zu reduzieren.

Zusammenfassung

Politische Behörden in demokratischen Ländern konsultieren die Öffentlichkeit regelmäßig zu bestimmten Themen, doch die anschließende Auswertung der Beiträge erfordert erhebliche personelle Ressourcen, was häufig zu Ineffizienzen und Verzögerungen im Entscheidungsprozess führt. Eine der vorgeschlagenen Lösungen ist die Unterstützung der menschlichen Analyst*innen bei der thematische Gruppierung der Beiträge durch KI.

Überwachtes maschinelles Lernen (supervised machine learning) bietet sich für diese Aufgabe an, indem die Vorschläge der Bürger nach bestimmten vordefinierten Themen klassifiziert werden. Durch die individuelle Natur vieler öffentlicher Beteiligungsverfahren ist der manuelle Aufwand zur Erstellung der benötigten Trainingsdaten jedoch oft zu teuer. Eine mögliche Lösung, um die Menge der Trainingsdaten zu minimieren, ist der Einsatz von Active Learning. Während sich dieses halbüberwachte Verfahren in den letzten Jahren stark verbreitet hat, wurden diese neuen vielversprechenden Ansätze nicht für die Auswertung von Beteiligungsbeiträgen angewendet.

Daher verwenden wir Daten aus Online-Beteiligungsprozessen in drei deutschen Städten, stellen zunächst Baselines für die Klassifikation auf und bewerten anschließend, wie verschiedene Strategien des Active Learnings den manuellen Annotationsaufwand reduzieren und gleichzeitig eine gute Modellleistung beibehalten können. Unsere Ergebnisse zeigen nicht nur, dass Modelle des überwachten maschinellen Lernens die Beiträge zur Bürger*innenbeteiligung zuverlässig thematisch kategorisieren können, sondern auch, dass Active Learning die Menge der benötigten Trainingsdaten deutlich reduziert. Dies hat wichtige Implikationen für die Praxis der Öffentlichkeitsbeteiligung, da es den Zeitaufwand für die Auswertung drastisch reduziert, wovon insbesondere Prozesse mit einer größeren Anzahl von Beiträgen profitieren können.

Ergebnisse

  • Wir vergleichen verschiedene moderne Ansätze zur Textklassifikation und zum Active Learning anhand einer Fallstudie von drei Beteiligungsprozessen zur Radverkehrsplanung in den deutschen Kommunen Bonn, Köln Ehrenfeld und Moers.
  • Das Modell BERT kann in etwa 77 % der Fälle die richtigen Themen vorhersagen.
  • Active Learning reduziert den manuellen Annotationsaufwand erheblich: Es reichte aus, 20 bis 50 % der Datensätze manuell zu kategorisieren, um die Genauigkeit von 77% zu halten. Die Effizienzgewinne wachsen mit der Größe des Datensatzes.
  • Zugleich arbeiten die Modelle mit einer effizienten Laufzeit.
  • Unsere Hypothese ist daher, dass Active Learning in den meisten Anwendungsfällen den menschlichen Aufwand erheblich reduzieren sollte.

Publikation

Romberg, Julia; Escher, Tobias (2022). Automated Topic Categorisation of Citizens’ Contributions: Reducing Manual Labelling Efforts Through Active Learning. In: Marijn Janssen, et al (Hrsg.), Electronic Government. EGOV 2022. Lecture Notes in Computer Science: 369-385, Springer, Cham. ISBN 978-3-031-15086-9.

Sozialräumliche Gerechtigkeit durch Öffentlichkeitsbeteiligung?

In dieser Präsentation auf dem Jahreskongress der AESOP (Assosiation of European Schools of Planning) im Jahr 2022 stellten Laura Mark, Katharina Huseljić und Tobias Escher ein Framework für sozialräumliche Verteilungsgerechtigkeit und den möglichen Beitrag von Konsultation vor. Sie untersuchten dann unter Verwendung qualitativer und quantitativer Daten diesen Beitrag für das Fallbeispiel des konsultativen Planungsprozesses an der Elbchaussee in Hamburg.

Zusammenfassung

Unser derzeitiges Verkehrssystem weist erhebliche sozialräumliche Ungerechtigkeiten auf, da es sowohl erhebliche negative Umweltauswirkungen hat als auch bestimmte sozioökonomische Gruppen strukturell benachteiligt. Planungsprozesse beinhalten zunehmend Elemente der Öffentlichkeitsbeteiligung, oft verbunden mit der Hoffnung, unterschiedliche Mobilitätsbedürfnisse besser verstehen und in den Planungsprozess integrieren zu können. Bislang gibt es jedoch kaum Erkenntnisse darüber, ob die Beteiligung der Öffentlichkeit tatsächlich zu mehr sozialräumlicher Gerechtigkeit führt.

Um sich dieser Frage zu nähern, konzentrieren wir uns auf sozialräumliche Gerechtigkeit als Verteilungsgerechtigkeit und untersuchen, inwieweit konsultative Planungsverfahren tatsächlich zu Maßnahmen führen, die sowohl zur Nachhaltigkeit beitragen (d.h. negative externe Effekte reduzieren oder umverteilen) als auch die Bedürfnisse benachteiligter Gruppen (z.B. Menschen mit geringem Einkommen oder geringer Bildung, Frauen und behinderte Menschen) berücksichtigen. Zu diesem Zweck haben wir das Fallbeispiel des Umbaus der Elbchaussee, einer repräsentativen Hauptverkehrsstraße von gesamtstädtischer Bedeutung im Bezirk Altona in Hamburg, Deutschland, eingehend untersucht. Wir stützen uns dabei sowohl auf qualitative als auch auf quantitative Daten, darunter Interviews mit Expert*innen und Bürger*innenbefragungen.

Wir zeigen erstens, dass der Prozess zu Planungsmaßnahmen geführt hat, die leicht zur ökologischen Nachhaltigkeit beitragen. Zweitens werden die Maßnahmen voraussichtlich insbesondere durch die Verbesserung der Situation für Fußgänger und Radfahrer sowie der Aufenthaltsqualität zu mehr Gerechtigkeit für einige Gruppen beitragen, was aber nur von nicht-männlichen Gruppen so eingeschätzt wird. Darüber hinaus gibt es keine Auswirkungen für Menschen mit geringem Einkommen, geringer Bildung, Menschen mit Mobilitätseinschränkungen oder mit besonderen Mobilitätsbedürfnissen, die häufig für diese Gruppen besonders relevant sind sind. Insgesamt kommen wir zu dem Schluss, dass der konsultative Planungsprozess nur einen geringen Beitrag zur sozialräumlichen Gerechtigkeit leistet, und diskutieren abschließend mögliche Erklärungen.

Wesentliche Ergebnisse

  • Der konsultative Planungsprozess führte insgesamt zu Maßnahmen, die einen kleinen Beitrag zur sozialräumlichen Gerechtigkeit leisten, da sie den Wandel zu einer nachhaltigeren Mobilität unterstützen und einigen benachteiligten Gruppen zugute kommen, wenn auch beides in begrenztem Maße.
  • Wir stellen fest, dass das Konsultationsverfahren keinen wesentlichen Einfluss auf die Planung hatte. Was die sozialräumliche Gerechtigkeit betrifft, so lassen sich keine positiven Auswirkungen auf das Konsultationsverfahren zurückführen. Vor allem diejenigen, die an der Konsultation teilgenommen haben, berichten tatsächlich von einer geringeren Zufriedenheit mit den Maßnahmen.
  • Wir führen diese begrenzten Beiträge auf einige allgemeine Merkmale von Konsultation und des derzeitigen Planungssystems zurück, stellen aber auch fest, dass in dem Fallbeispiel der Umfang der möglichen Einflussnahme aufgrund externer Beschränkungen und Machtungleichgewichte sehr begrenzt war.

Publikation

Wir arbeiten momentan an einer Veröffentlichung für eine Fachzeitschrift mit Peer-Review. Diese Veröffentlichung wird hier nach Fertigstellung verlinkt.

Datenkorpus zur Unterstützung der Evaluation von Partizipation in der Verkehrsplanung durch multidimensionale Klassifikation

In dieser Veröffentlichung der Conference on Language Resources and Evaluation stellen Julia Romberg, Laura Mark und Tobias Escher eine Sammlung von annotierten Datensätzen vor, die die Entwicklung von Ansätzen des maschinellen Lernens zur Unterstützung der Auswertung von Beteiligungsbeiträgen fördert.

Zusammenfassung

Behörden in demokratischen Ländern konsultieren regelmäßig die Öffentlichkeit, um den Bürger*innen die Möglichkeit zu geben, ihre Ideen und Bedenken zu bestimmten Themen zu äußern. Bei dem Versuch, die (oft zahlreichen) Beiträge der Öffentlichkeit auszuwerten, um sie in die Entscheidungsfindung einfließen zu lassen, stehen die Behörden aufgrund begrenzter Ressourcen dabei oft vor Herausforderungen.

Wir identifizieren mehrere Aufgaben, deren automatisierte Unterstützung bei der Auswertung von Bürger*innenbeteiligung helfen kann. Dies sind i) die Erkennung von Argumenten, genauer gesagt von Prämissen und deren Schlussfolgerungen, ii) die Bewertung der Konkretheit von Argumenten, iii) die Erkennung von textlichen Beschreibungen von Orten, um die Ideen der Bürger*innen räumlich verorten zu können, und iv) die thematische Kategorisierung von Beiträgen. Um in zukünftiger Forschung Techniken entwickeln zu können, die diese vier Aufgaben adressieren, veröffentlichen wir den CIMT PartEval Corpus. Dieser neue und öffentlich verfügbare deutschsprachigen Korpus enthält mehrere tausend Bürgerbeiträge aus sechs mobilitätsbezogenen Planungsprozessen in fünf deutschen Kommunen. Er bietet Annotationen für jede dieser Aufgaben, die in deutscher Sprache für den Bereich der Bürgerbeteiligung bisher entweder überhaupt noch nicht oder nicht in dieser Größe und Vielfalt verfügbar waren.

Ergebnisse

  • Der CIMT PartEval Argument Component Corpus umfasst 17.852 Sätze aus deutschen Bürgerbeteiligungsverfahren, die als nicht-argumentativ, Prämisse (premise) oder Schlussfolgerung (major position) annotiert sind.
  • Der CIMT PartEval Argument Concreteness Corpus besteht aus 1.127 argumentativen Textabschnitten, die nach drei Konkretheitsstufen annotiert sind: niedrig, mittel und hoch.
  • The CIMT PartEval Geographic Location Corpus provides 4,830 location phrases and the GPS coordinates for 2,529 public participation contributions.
  • Der CIMT PartEval Thematic Categorization Corpus basiert auf einem neuen hierarchischen Kategorisierungsschema für Mobilität, das Verkehrsarten (nicht-motorisierter Verkehr: Fahrrad, zu Fuß, Roller; motorisierter Verkehr: öffentlicher Nahverkehr, öffentlicher Fernverkehr, kommerzieller Verkehr) und einer Reihe von Spezifikationen wie fließender oder ruhender Verkehr, neue Dienstleistungen sowie Inter- und Multimodalität erfasst. Insgesamt wurden 697 Dokumente nach diesem Schema annotiert.

Publikation

Romberg, Julia; Mark, Laura; Escher, Tobias (2022). A Corpus of German Citizen Contributions in Mobility Planning: Supporting Evaluation Through Multidimensional Classification. In: Proceedings of the Language Resources and Evaluation Conference: 2874–2883, Marseille, France. European Language Resources Association. https://aclanthology.org/2022.lrec-1.308.

Korpus verfügbar unter

https://github.com/juliaromberg/cimt-argument-mining-dataset

https://github.com/juliaromberg/cimt-argument-concreteness-dataset

https://github.com/juliaromberg/cimt-geographic-location-dataset

https://github.com/juliaromberg/cimt-thematic-categorization-dataset

Robuste Klassifikation von Argumentationskomponenten in Bürger*innenbeteiligungsverfahren zur Verkehrsplanung

In dieser Veröffentlichung des Workshop on Argument Mining befassen sich Julia Romberg und Stefan Conrad mit der Robustheit von Klassifikationsalgorithmen für Argument Mining, um zuverlässige Modelle zu erstellen, die über verschiedene Datensätze hinweg generalisieren.

Zusammenfassung

Öffentlichkeitsbeteiligungsverfahren ermöglichen es den Bürger*innen, sich an kommunalen Entscheidungsprozessen zu beteiligen, indem sie ihre Meinung zu bestimmten Themen äußern. Kommunen haben jedoch oft nur begrenzte Ressourcen, um eine möglicherweise große Menge an Textbeiträgen zu analysieren, welche zeitnah und detailliert ausgewertet werden müssen. Eine automatisierte Unterstützung bei der Auswertung kann daher hilfreich sein, z.B. um Argumente zu analysieren.

In diesem Paper befassen wir uns (A) mit der Identifizierung von argumentativen Diskurseinheiten und (B) mit deren Klassifizierung als Prämisse (premise) oder Schlussfolgerung (major position) in deutschen Bürger*innenbeteiligungsprozessen. Das Ziel unserer Arbeit ist es, Argument Mining für den Einsatz in Kommunen nutzbar zu machen. Wir vergleichen verschiedene Argument-Mining-Ansätze und entwickeln ein generisches Modell, das erfolgreich Argumentstrukturen in verschiedenen Datensätzen der verkehrsbezogenen Stadtplanung erkennen kann. Wir führen einen neuen Datenkorpus ein, der fünf Beteiligungsprozesse umfasst. In unserer Evaluierung erreichen wir hohe Makro-F1-Werte (0,76 – 0,80 für die Identifizierung argumentativer Einheiten; 0,86 – 0,93 für deren Klassifizierung). Darüber hinaus verbessern wir frühere Ergebnisse für die Klassifizierung von argumentativen Einheiten in einem ähnlichen deutschen Online-Partizipationsdatensatz.

Ergebnisse

  • Wir haben eine umfassende Evaluierung von Methoden des maschinellen Lernens in fünf Bürger*innenbeteiligungsverfahren in deutschen Kommunen durchgeführt, die sich in Format (Online-Beteiligungsplattformen und Fragebögen) und Prozessgegenstand unterscheiden.
  • BERT übertrifft bei beiden Aufgaben bisher veröffentlichte Argument-Mining-Ansätze für öffentliche Beteiligungsprozesse auf deutschsprachigen Daten und erreicht Makro-F1 Werte von 0,76 – 0,80 für die Identifizierung argumentativer Einheiten und Makro-F1 Werte von 0,86 – 0,93 für deren Klassifikation.
  • In einer datensatzübergreifenden Evaluierung können BERT-Modelle Argumentstrukturen in Datensätzen, die nicht Teil des Trainings waren, mit vergleichbarer Güte erkennen.
  • Eine solche Robustheit des Modells über verschiedene Beteiligungsprozesse hinweg ist ein wichtiger Schritt auf dem Weg zur praktischen Anwendung des Argument Mining in Kommunen.

Publikation

Romberg, Julia; Conrad, Stefan (2021). Citizen Involvement in Urban Planning – How Can Municipalities Be Supported in Evaluating Public Participation Processes for Mobility Transitions?. In: Proceedings of the 8th Workshop on Argument Mining: 89-99, Punta Cana, Dominican Republic. Association for Computational Linguistics. https://aclanthology.org/2021.argmining-1.9.

Neuer Arbeitskreis Mobilität, Erreichbarkeit und soziale Teilhabe in der ARL – Akademie für Raumentwicklung in der Leibniz-Gemeinschaft

Wir freuen uns, dass Laura Mark bei dem genannten Arbeitskreis dabei ist und unsere Forschung mit Kolleg*innen diskutieren kann. In dem Arbeitskreis treffen sich Praktiker*innen und Wissenschaftler*innen regelmäßig, um zu verschiedenen Themen rund um Mobilität und soziale Teilhabe zu arbeiten. Der Arbeitskreis ist Mitte 2021 gestartet und die inhaltliche Arbeit nimmt nun immer mehr Gestalt an: Schnittstellen zu unserer Forschung sind dabei unter anderem die Frage nach der prozeduralen Gerechtigkeit von Planungsverfahren für die Verkehrswende – wer beteiligt sich und wessen Stimmen werden gehört? Wie sollen Planungs- und Beteiligungprozesse für eine nachhaltige Verkehrswende in Zukunft gestaltet sein, um Alle mitzunehmen? An dieser Stelle werden wir von der weiteren Arbeit und Veröffentlichungen und Veranstaltungen berichten, die im Rahmen dieses Abeitskreises entstehen!