Datenkorpus zur Unterstützung der Evaluation von Partizipation in der Verkehrsplanung durch multidimensionale Klassifikation

In dieser Veröffentlichung der Conference on Language Resources and Evaluation stellen Julia Romberg, Laura Mark und Tobias Escher eine Sammlung von annotierten Datensätzen vor, die die Entwicklung von Ansätzen des maschinellen Lernens zur Unterstützung der Auswertung von Beteiligungsbeiträgen fördert.

Zusammenfassung

Behörden in demokratischen Ländern konsultieren regelmäßig die Öffentlichkeit, um den Bürger*innen die Möglichkeit zu geben, ihre Ideen und Bedenken zu bestimmten Themen zu äußern. Bei dem Versuch, die (oft zahlreichen) Beiträge der Öffentlichkeit auszuwerten, um sie in die Entscheidungsfindung einfließen zu lassen, stehen die Behörden aufgrund begrenzter Ressourcen dabei oft vor Herausforderungen.

Wir identifizieren mehrere Aufgaben, deren automatisierte Unterstützung bei der Auswertung von Bürger*innenbeteiligung helfen kann. Dies sind i) die Erkennung von Argumenten, genauer gesagt von Prämissen und deren Schlussfolgerungen, ii) die Bewertung der Konkretheit von Argumenten, iii) die Erkennung von textlichen Beschreibungen von Orten, um die Ideen der Bürger*innen räumlich verorten zu können, und iv) die thematische Kategorisierung von Beiträgen. Um in zukünftiger Forschung Techniken entwickeln zu können, die diese vier Aufgaben adressieren, veröffentlichen wir den CIMT PartEval Corpus. Dieser neue und öffentlich verfügbare deutschsprachigen Korpus enthält mehrere tausend Bürgerbeiträge aus sechs mobilitätsbezogenen Planungsprozessen in fünf deutschen Kommunen. Er bietet Annotationen für jede dieser Aufgaben, die in deutscher Sprache für den Bereich der Bürgerbeteiligung bisher entweder überhaupt noch nicht oder nicht in dieser Größe und Vielfalt verfügbar waren.

Ergebnisse

  • Der CIMT PartEval Argument Component Corpus umfasst 17.852 Sätze aus deutschen Bürgerbeteiligungsverfahren, die als nicht-argumentativ, Prämisse (premise) oder Schlussfolgerung (major position) annotiert sind.
  • Der CIMT PartEval Argument Concreteness Corpus besteht aus 1.127 argumentativen Textabschnitten, die nach drei Konkretheitsstufen annotiert sind: niedrig, mittel und hoch.
  • The CIMT PartEval Geographic Location Corpus provides 4,830 location phrases and the GPS coordinates for 2,529 public participation contributions.
  • Der CIMT PartEval Thematic Categorization Corpus basiert auf einem neuen hierarchischen Kategorisierungsschema für Mobilität, das Verkehrsarten (nicht-motorisierter Verkehr: Fahrrad, zu Fuß, Roller; motorisierter Verkehr: öffentlicher Nahverkehr, öffentlicher Fernverkehr, kommerzieller Verkehr) und einer Reihe von Spezifikationen wie fließender oder ruhender Verkehr, neue Dienstleistungen sowie Inter- und Multimodalität erfasst. Insgesamt wurden 697 Dokumente nach diesem Schema annotiert.

Publikation

Romberg, Julia; Mark, Laura; Escher, Tobias (2022). A Corpus of German Citizen Contributions in Mobility Planning: Supporting Evaluation Through Multidimensional Classification. In: Proceedings of the Language Resources and Evaluation Conference: 2874–2883, Marseille, France. European Language Resources Association. https://aclanthology.org/2022.lrec-1.308.

Korpus verfügbar unter

https://github.com/juliaromberg/cimt-argument-mining-dataset

https://github.com/juliaromberg/cimt-argument-concreteness-dataset

https://github.com/juliaromberg/cimt-geographic-location-dataset

https://github.com/juliaromberg/cimt-thematic-categorization-dataset

Robuste Klassifikation von Argumentationskomponenten in Bürger*innenbeteiligungsverfahren zur Verkehrsplanung

In dieser Veröffentlichung des Workshop on Argument Mining befassen sich Julia Romberg und Stefan Conrad mit der Robustheit von Klassifikationsalgorithmen für Argument Mining, um zuverlässige Modelle zu erstellen, die über verschiedene Datensätze hinweg generalisieren.

Zusammenfassung

Öffentlichkeitsbeteiligungsverfahren ermöglichen es den Bürger*innen, sich an kommunalen Entscheidungsprozessen zu beteiligen, indem sie ihre Meinung zu bestimmten Themen äußern. Kommunen haben jedoch oft nur begrenzte Ressourcen, um eine möglicherweise große Menge an Textbeiträgen zu analysieren, welche zeitnah und detailliert ausgewertet werden müssen. Eine automatisierte Unterstützung bei der Auswertung kann daher hilfreich sein, z.B. um Argumente zu analysieren.

In diesem Paper befassen wir uns (A) mit der Identifizierung von argumentativen Diskurseinheiten und (B) mit deren Klassifizierung als Prämisse (premise) oder Schlussfolgerung (major position) in deutschen Bürger*innenbeteiligungsprozessen. Das Ziel unserer Arbeit ist es, Argument Mining für den Einsatz in Kommunen nutzbar zu machen. Wir vergleichen verschiedene Argument-Mining-Ansätze und entwickeln ein generisches Modell, das erfolgreich Argumentstrukturen in verschiedenen Datensätzen der verkehrsbezogenen Stadtplanung erkennen kann. Wir führen einen neuen Datenkorpus ein, der fünf Beteiligungsprozesse umfasst. In unserer Evaluierung erreichen wir hohe Makro-F1-Werte (0,76 – 0,80 für die Identifizierung argumentativer Einheiten; 0,86 – 0,93 für deren Klassifizierung). Darüber hinaus verbessern wir frühere Ergebnisse für die Klassifizierung von argumentativen Einheiten in einem ähnlichen deutschen Online-Partizipationsdatensatz.

Ergebnisse

  • Wir haben eine umfassende Evaluierung von Methoden des maschinellen Lernens in fünf Bürger*innenbeteiligungsverfahren in deutschen Kommunen durchgeführt, die sich in Format (Online-Beteiligungsplattformen und Fragebögen) und Prozessgegenstand unterscheiden.
  • BERT übertrifft bei beiden Aufgaben bisher veröffentlichte Argument-Mining-Ansätze für öffentliche Beteiligungsprozesse auf deutschsprachigen Daten und erreicht Makro-F1 Werte von 0,76 – 0,80 für die Identifizierung argumentativer Einheiten und Makro-F1 Werte von 0,86 – 0,93 für deren Klassifikation.
  • In einer datensatzübergreifenden Evaluierung können BERT-Modelle Argumentstrukturen in Datensätzen, die nicht Teil des Trainings waren, mit vergleichbarer Güte erkennen.
  • Eine solche Robustheit des Modells über verschiedene Beteiligungsprozesse hinweg ist ein wichtiger Schritt auf dem Weg zur praktischen Anwendung des Argument Mining in Kommunen.

Publikation

Romberg, Julia; Conrad, Stefan (2021). Citizen Involvement in Urban Planning – How Can Municipalities Be Supported in Evaluating Public Participation Processes for Mobility Transitions?. In: Proceedings of the 8th Workshop on Argument Mining: 89-99, Punta Cana, Dominican Republic. Association for Computational Linguistics. https://aclanthology.org/2021.argmining-1.9.

Neuer Arbeitskreis Mobilität, Erreichbarkeit und soziale Teilhabe in der ARL – Akademie für Raumentwicklung in der Leibniz-Gemeinschaft

Wir freuen uns, dass Laura Mark bei dem genannten Arbeitskreis dabei ist und unsere Forschung mit Kolleg*innen diskutieren kann. In dem Arbeitskreis treffen sich Praktiker*innen und Wissenschaftler*innen regelmäßig, um zu verschiedenen Themen rund um Mobilität und soziale Teilhabe zu arbeiten. Der Arbeitskreis ist Mitte 2021 gestartet und die inhaltliche Arbeit nimmt nun immer mehr Gestalt an: Schnittstellen zu unserer Forschung sind dabei unter anderem die Frage nach der prozeduralen Gerechtigkeit von Planungsverfahren für die Verkehrswende – wer beteiligt sich und wessen Stimmen werden gehört? Wie sollen Planungs- und Beteiligungprozesse für eine nachhaltige Verkehrswende in Zukunft gestaltet sein, um Alle mitzunehmen? An dieser Stelle werden wir von der weiteren Arbeit und Veröffentlichungen und Veranstaltungen berichten, die im Rahmen dieses Abeitskreises entstehen!

Mobilisierung(smöglichkeiten) zu lokaler politischer Online-Partizipation

In diesem Beitrag in der Zeitschrift für Politikwissenschaft gehen Bastian Rottinghaus und Tobias Escher der Frage nach, wer sich an digitalen Beteiligungsformaten zu lokaler mobilitätsbezogener Planung (nicht) beteiligt und inwieweit personalisierte Einladung zu einer Mobilisierung einer größeren und diverseren Gruppe von Teilnehmenden beitragen kann.

Zusammenfassung

Die sich immer wieder bestätigenden Erkenntnisse über ungleiche politische Beteiligung haben verschiedene demokratische Innovationen motiviert, darunter auch solche, die die Möglichkeiten der Informations- und Kommunikationstechnologien für politische Online-Beteiligung nutzen. Während die bisherige Forschung nur ein begrenztes Mobilisierungspotenzial digitaler Medien festgestellt hat, fehlt uns noch immer ein gutes Verständnis der Mechanismen, die Bürger*innen dazu bringen, sich für oder gegen eine Online-Beteiligung zu entscheiden. Daher untersuchen wir, wer an den Möglichkeiten zur politischen Online-Beteiligung teilnimmt, was das (Nicht-)Engagement erklärt und wie effektiv personalisierte Einladungen darin sind, die Beteiligung zu erhöhen und zu diversifizieren. Um diese Fragen zu beantworten, haben wir eine vergleichende Studie zu drei fast identischen Verfahren lokaler Online-Beteiligung durchgeführt und uns dabei auf Daten aus Umfragen unter registrierten Nutzer*innen und Stichproben der lokalen Bevölkerung gestützt.

Unsere Ergebnisse zeigen, dass das Engagement in der Online-Beteiligung tatsächlich signifikant von der Bevölkerung in Richtung ressourcenstarker Personen verzerrt wird, die sich auch in ihrer Bewertung des Beteiligungsprozesses und seiner Ergebnisse unterscheiden. Dies gilt trotz der Tatsache, dass das Wissen über diese Beteiligungsmöglichkeiten in allen sozialen Gruppen gleich verteilt ist. Während die Ablehnung digitaler Beteiligung für einige ein Hindernis darstellt, sind Misstrauen in den Beteiligungsprozess und mangelndes Interesse stärkere Gründe, sich nicht zu beteiligen. Anhand eines randomisiert-kontrollierten Feldexperiments können wir bestätigen, dass personalisierte Einladungen ein wirksames Mobilisierungsinstrument sind, das die Beteiligung um das Vier- bis Siebenfache erhöht und in begrenztem Umfang auch unterrepräsentierte Gruppen zur Teilnahme bewegen kann. Diese Ergebnisse haben eine Reihe wichtiger Implikationen für Forscher und Praktiker, die die Gleichheit in der politischen Beteiligung erhöhen wollen.

Wesentliche Ergebnisse

  • Insgesamt wurden im Jahr 2017 weitgehend identische Online-Partizipationsverfahren in drei Städten in Nordrhein-Westfalen durchgeführt und untersucht. In Bonn, Köln-Ehrenfeld und Moers war die Bevölkerung aufgerufen, auf einer Online-Plattform Vorschläge zu Verbesserungsmöglichkeiten im Radverkehr abzugeben.
  • Zunächst ergeben sich die üblichen Partizipationsmuster mit einer überdurchschnittlich hohen Beteiligung von Männern mit hoher Bildung und mittleren Alters. Ein wesentliches Motiv zur Beteiligung war die Unzufriedenheit mit der Radinfrastruktur.
  • Mangelndes Wissen über den Beteiligungsprozess ist der Hauptgrund, sich nicht zu beteiligen. Dabei zeigt sich, dass alle Bevölkerungsgruppen gleichermaßen über den Prozess informiert waren, sich am Ende aber ressourcenstarke Gruppen deutlich häufiger für die Teilnahme entscheiden. Weiterhin bestehen zum Teil spezifische Vorbehalte gegenüber dem Online-Format, die ein Beteiligungshindernis darstellen.
  • Im Rahmen eines kontrollierten Feldexperiments wurden an eine zufällige Auswahl von Bürger*innen personalisierte Briefe mit einer Einladung zum Partizipationsverfahren verschickt. Es zeigt sich, dass dadurch die Beteiligung um das vier- bis siebenfache erhöht werden konnte.
  • Durch diese Einladung werden auch zusätzliche Gruppen mobilisiert, die ansonsten im Konsultationsverfahren unterrepräsentiert sind. Das betrifft z.B. Frauen und Personen mit geringerer formaler Bildung. Diese weisen zudem etwas andere Einstellungen auf als „die üblichen Verdächtigen“, indem sie etwas weniger kritisch mit der bestehenden Verkehrsinfrastruktur sind, dafür aber den Beteiligungsergebnissen weniger positiv gegenüberstehen .
  • Insgesamt zeigt sich damit, dass persönliche Einladungen ein wichtiges Mittel sind, um eine größere und diverse Gruppe von Bürger*innen zur Beteiligung an Konsultationsverfahren zu mobilisieren, die aber die grundsätzliche Unterrepräsentation von Menschen mit geringeren Ressourcen und politischem Interesse nicht beseitigen kann.

Publikation

Rottinghaus, B., & Escher, T. (2020). Mechanisms for inclusion and exclusion through digital political participation: Evidence from a comparative study of online consultations in three German cities. Zeitschrift für Politikwissenschaft, 30(2), 261–298. https://doi.org/10.1007/s41358-020-00222-7