Publikation

Masterarbeit zur thematischen Klassifikation von Beteiligungsbeiträgen mit Active Learning

Im Rahmen seiner Masterarbeit im MA Informatik an der Heinrich-Heine-Universität Düsseldorf hat sich Boris Thome mit der Klassifikation von Beteiligungsbeiträgen nach den enthaltenen Themen beschäftigt. Diese Arbeit führt die Arbeit von Julia Romberg und Tobias Escher fort, indem eine feinere Einteilung der Beiträge nach Unterkategorien untersucht wurde.

Zusammenfassung

Politische Behörden in demokratischen Ländern konsultieren die Öffentlichkeit regelmäßig zu bestimmten Themen, doch die anschließende Auswertung der Beiträge erfordert erhebliche personelle Ressourcen, was häufig zu Ineffizienzen und Verzögerungen im Entscheidungsprozess führt. Eine der vorgeschlagenen Lösungen ist die Unterstützung der menschlichen Analyst*innen bei der thematische Gruppierung der Beiträge durch KI.

Überwachtes maschinelles Lernen (supervised machine learning) bietet sich für diese Aufgabe an, indem die Vorschläge der Bürger nach bestimmten vordefinierten Themen klassifiziert werden. Durch die individuelle Natur vieler öffentlicher Beteiligungsverfahren ist der manuelle Aufwand zur Erstellung der benötigten Trainingsdaten jedoch oft zu teuer. Eine mögliche Lösung, um die Menge der Trainingsdaten zu minimieren, ist der Einsatz von Active Learning. In unser vorherigen Arbeit konnten wir zeigen, dass Active Learning den manuellen Annotationsaufwand zur Kodierung von Oberkategorien erheblich reduzieren kann. In dieser Arbeit wurde nachfolgend untersucht, ob dieser Vorteil auch dann noch gegeben ist, wenn die Oberkategorien in weitere Unterkategorien unterteilt werden. Eine besondere Herausforderung besteht darin, dass einige der Unterkategorien sehr selten sein können und somit nur wenige Beiträge umfassen.

In der Evaluation verschiedener Methoden wurden Daten aus Online-Beteiligungsprozessen in drei deutschen Städten verwendet. Die Ergebnisse zeigen, dass die maschinelle Klassifikation von Unterkategorien deutlich schwerer ist als die Klassifikation der Oberkategorien. Dies liegt an der hohen Anzahl von möglichen Unterkategorien (30 im betrachteten Datensatz), die zusätzlich sehr ungleich verteilt sind. Im Fazit ist weitere Forschung erforderlich, um eine praxisgerechte Lösung für die flexible Zuordnung von Unterkategorien durch maschinelles Lernen zu finden.

Thome, Boris (2022): Thematische Klassifikation von Partizipationsverfahren mit Active Learning. Masterarbeit am Institut für Informatik, Lehrstuhl für Datenbanken und Informationssysteme, der Heinrich-Heine-Universität Düsseldorf. (Download)

Masterarbeit zur automatisierten Klassifikation von Argumenten in Beteiligungsbeiträgen

Im Rahmen ihrer Masterarbeit im MA Informatik an der Heinrich-Heine-Universität Düsseldorf hat sich Suzan Padjman mit der Klassifikation von Argumentationskomponenten in Beteiligungsbeiträgen beschäftigt. Diese Arbeit führt die bisherige Arbeit unseres Teams fort, indem Fälle betrachtet werden, in denen argumentative Sätze sowohl einen Vorschlag als auch eine Zustandsbeschreibung enthalten können.

Zusammenfassung

Öffentlichkeitsbeteiligungsverfahren ermöglichen es den Bürger*innen, sich an kommunalen Entscheidungsprozessen zu beteiligen, indem sie ihre Meinung zu bestimmten Themen äußern. Kommunen haben jedoch oft nur begrenzte Ressourcen, um eine möglicherweise große Menge an Textbeiträgen zu analysieren, welche zeitnah und detailliert ausgewertet werden müssen. Eine automatisierte Unterstützung bei der Auswertung kann daher hilfreich sein, z.B. um Argumente zu analysieren.

Bei der Klassifikation von argumentativen Sätzen nach Typen (hier: Vorschlag oder Zustandsbeschreibung) kann es vorkommen, dass ein Satz mehrere Komponenten eines Arguments beinhaltet. In diesem Fall besteht die Notwendigkeit einer Multi-Label Klassifikation, bei der mehr als eine Kategorie zugeordnet werden kann.

Um dieses Problem zu lösen, wurden in der Arbeit verschiedene Methoden zur Multi-Label Klassifikation von Argumentationskomponenten verglichen (SVM, XGBoost, BERT und DistilBERT). Im Ergebnis zeigte sich, dass BERT-Modelle eine macro F1-Vorhersagegüte von bis zu 0,92 erreichen können. Dabei weisen die Modelle datensatzübergreifend eine robuste Performance auf – ein wichtiger Hinweis auf den praktischen Nutzen solcher Verfahren.

Publikation

Padjman, Suzan (2022): Mining Argument Components in Public Participation Processes. Masterarbeit am Institut für Informatik, Lehrstuhl für Datenbanken und Informationssysteme, der Heinrich-Heine-Universität Düsseldorf. (Download)

Projektarbeit zur automatisierten Erkennung von Verortungen in Beteiligungsbeiträgen

Im Rahmen ihrer Projektarbeit im MA Informatik an der Heinrich-Heine-Universität Düsseldorf hat sich Suzan Padjman mit der Entwicklung von Verfahren zur automatisierten Erkennung von textuell beschriebenen Ortsangaben in Beteiligungsverfahren beschäftigt.

Zusammenfassung

Im Kontext der Verkehswende sind konsultative Verfahren ein beliebtes Hilfsmittel, um Bürger*innen die Möglichkeit zu geben, ihre Interessen und Anliegen zu vertreten und einzubringen. Insbesondere bei mobilitätsbezogenen Fragen ist ein wichtiger Anaylseaspekt der gesammelten Beiträge, welche Orte (z.B. Straßen, Kreuzungen, Rad- oder Fußwege) Probleme aufweisen und verbesserungswürdig sind, um die Mobilität nachhaltig zu fördern. Eine automatisierte Identifikation von solchen Verortungen hat das Potential, die ressourcenintensive manuelle Auswertung zu unterstützen.

Ziel dieser Arbeit war es daher, mithilfe von Methoden aus dem Natural-Language-Processing (NLP) eine automatisierte Lösung zur Identifikation von Verortungen zu finden. Dazu wurde eine Verortung als die Beschreibung eines konkreten Ortes eines Vorschlags definiert, welche auf einer Karte markiert werden könnte. Beispiele für Verortungen sind Straßennamen, Stadtteile und eindeutig zuordenbare Plätze, wie z.B. “in der Innenstadt” oder “am Ausgang des Hauptbahnhofs”. Reine Lagebeschreibungen ohne eine konkrete Ortszugehörigkeit wurden dagegen nicht als Verortung betrachtet. Methodisch wurde die Aufgabe als eine Sequence-Labeling-Aufgabe betrachtet, da Verortungen häufig aus mehreren hintereinanderfolgenden Token, sogenannten Wortsequenzen, bestehen.

Im Vergleich verschiedener Modelle (spaCy NER, GermanBERT, GBERT, dbmdz BERT, GELECTRA, multilingual BERT, multilingual XLM-RoBERTa) auf zwei deutschsprachigen Beteiligungsdatensätzen zur Radinfrastruktur in Bonn und Köln Ehrenfeld zeigte sich, dass GermanBERT die besten Ergebnisse erzielt. Dieses Modell kann Token, die Teil einer textuellen Ortsbeschreibung sind, mit einem vielversprechenden macro F1-Score von 0,945 erkennen. In zukünftiger Arbeit sollen die erkannten Textphrasen dann in Geokoordinaten überführt werden, um die erkannten Ortszugehörigkeiten von Vorschlägen auch kartenbasiert abbilden zu können.

Publikation

Padjman, Suzan (2021): Unterstützung der Auswertung von verkehrsbezogenen Bürger*innenbeteiligungsverfahren durch die automatisierte Erkennung von Verortungen. Projektarbeit am Institut für Informatik, Lehrstuhl für Datenbanken und Informationssysteme, der Heinrich-Heine-Universität Düsseldorf. (Download)

Der Einfluss von (Online-)Konsultationsverfahren auf Legitimitätsüberzeugungen

In diesem Artikel in der Zeitschrift Policy & Internet gehen Tobias Escher und Bastian Rottinghaus der Frage nach, wie sich die Beteiligung an lokalen Konsultationsverfahren (zur Radverkehrsplanung) auf die Einstellung zur lokalen Politik auswirkt. Dazu untersuchten sie im Jahr 2018 insgesamt drei Beteiligungsverfahren, in denen die Städte Bonn, Köln (Bezirk Ehrenfeld) und Moers ihre Bürger*innen zur lokale Radinfrastruktur konsultiert haben. Dazu konnten die Bürger*innen jeweils für fünf Wochen auf einer Online-Plattform Vorschläge einreichen, kommentieren und bewerten. Insgesamt wurden so über 3.000 Vorschläge gesammelt, die in die spätere Radverkehrsplanung einfließen sollten (siehe weitere Informationen zum Projekt der Raddialoge).

Zusammenfassung

Um Legitimität für Policies und politische Institutionen zu schaffen, beziehen Regierungen die Bürger*innen regelmäßig in den Entscheidungsprozess ein, zunehmend auch mit Hilfe des Internets. Diese Studie untersucht, ob sich Online-Beteiligung tatsächlich positiv auf die Legitimitätsüberzeugungen der beteiligten Bürger*innen auswirkt und welche konkreten Aspekte des Beteiligungsprozesses, der einzelnen Teilnehmenden und des lokalen Kontexts zu diesen Veränderungen beitragen. Unsere Befragungen von Teilnehmenden an nahezu identischen Online-Konsultationen in drei deutschen Kommunen zeigen, dass der Beteiligungsprozess und die von ihm erwarteten Ergebnisse einen erheblichen Einfluss auf die Zufriedenheit mit lokalpolitischen Institutionen und kommunaler Politik haben. Während die meisten Teilnehmenden zumindest von etwas positiveren Einschätzungen berichten, die hauptsächlich von der Einschätzung der Wirkungen abhängen, führt die Beteiligung an dem Prozess für einige nicht zu mehr, sondern sogar zu weniger Legitimität. Dies gilt sowohl für die Teilnehmenden, die sich nicht öffentlich äußern, als auch für diejenigen, die sich intensiv beteiligen. Unsere Ergebnisse bestätigen auch die wichtige Rolle verfügbarer individueller Ressourcen und kontextbezogener Einstellungen wie Vertrauen in und Zufriedenheit mit der lokalen (nicht der nationalen) Politik. Schließlich zeigt unsere Analyse, dass Online-Beteiligung in der Lage ist, konstruktive Diskussionen zu ermöglichen, nützliche Ergebnisse zu liefern und Menschen zur Partizipation zu bewegen, die sich offline nicht beteiligt hätten.

Ergebnisse

Die von uns untersuchten Beteiligungsverfahren, zu denen die Stadt jeweils ihre Bürger*innen eingeladen hat, haben tatsächlich einen Einfluss auf die Einstellungen derjenigen, die sich an solchen Konsultationen beteiligen.
Für viele der Teilnehmenden tritt der erhoffte positive Effekt ein: Sie äußern sich positiver zu den lokalen Institutionen (Bürgermeister, Verwaltung) und der lokalen Politik insgesamt. Entscheidend für die Einschätzung ist dabei, ob man erwartet, dass die Politik die Vorschläge der Bürger*innen auch ernst nimmt und umsetzt. Das Ergebnis ist also wichtiger als der Prozess selbst.
Ein wichtiges Ergebnis ist: Beteiligungsprozesses können diese positive Wirkung auch für diejenigen entfalten, die zunächst eher unzufrieden mit der lokalen Politik sind. Dennoch spielt die bisherige Erfahrung mit der Politik vor Ort eine Rolle: Wer bereits eine höhere Zufriedenheit und ein höheres Vertrauen zur Kommune hat, der oder die wird durch Beteiligung bestärkt.
Gleichzeitig kann Partizipation auch zu weniger Zufriedenheit führen. Nachweisen konnten wir das zum einen für diejenigen, die sich intensiv in das Beteiligungsverfahren einbringen und sehr viele Vorschläge gemacht haben. Im Schnitt war diese Gruppe am Ende weniger zufrieden, wohl auch deshalb, weil ihre Erwartungen an den Einfluss ihrer Mühe enttäuscht wurden. Unzufriedener wurden auch diejenigen, die sich nicht aktiv eingebracht haben, sondern sich das Online-Verfahren nur angeschaut haben, ohne selbst Vorschläge zu machen. Diese Personen haben sich offenbar vor allem daran gestört, dass der Prozess ausschließlich online stattgefunden hat.
Insgesamt zeigen unsere Ergebnisse aber, dass solche Online-Parizipationsverfahren nicht nur konstruktive Beteiligung ermöglichen, sondern dass dadurch zusätzlich Gruppen erreicht werden: Fast die Hälfe der Befragten hätte sich nicht beteiligt, wenn das Verfahren nur mit Vor-Ort Formaten durchgeführt worden wäre.

Publikation

Escher, Tobias; Rottinghaus, Bastian (2023). Effects of online citizen participation on legitimacy beliefs in local government. Evidence from a comparative study of online participation platforms in three German municipalities. In: Policy & Internet 16(1): 173-208. DOI: 10.1002/poi3.371.

Masterarbeit zu Schüler*innenpartizipation während der Corona-Pandemie

Im Rahmen ihrer Masterarbeit im MA Sozialwissenschaften an der Heinrich-Heine-Universität Düsseldorf hat sich Maria Antonia Dausner mit den Herausforderungen von Schüler*innenpartizipation während der Corona-Pandemie beschäftigt, und dabei ausgewählte Grundschulen in NRW in den Blick genommen.

Zusammenfassung

Partizipation von Schüler:innen ist sowohl rechtlich in der UN-Kinderrechtekonvention verankert als auch aus demokratiepädagogischen und entwicklungspsychologischen Gründen von Bedeutung. In der Schule gibt es jedoch vielfältige Herausforderungen und Risiken, die diese im Alltag erschweren und dazu führen, dass Schüler:innenpartizipation oft nicht umfänglich gewährleistet wird. Während der Covid-19 Pandemie und den damit verbundene Schulschließungen wurde der Schulalltag unterbrochen und kollektive Lernprozesse konnten nicht stattfinden. Mit Bezug auf den komplexen Charakter von Schüler:innenpartizipation stellt sich daher die Frage, welche Folge die Herausforderungen im Rahmen der Schulschließungen und dem Online-Unterricht für Schüler:innenpartizipation haben. Es ist davon auszugehen, dass Schüler:innenpartizipation nicht in demselben Umfang weitergeführt wurde. Daher ist insbesondere von Interesse, welche Beispiele guter Schüler:innenpartizipation es gibt und wie diese aussehen können. Dazu wird folgende konkrete Forschungsfrage gestellt: Wie konnte gute Schüler:innenpartizipation während den Covid-19 bedingten Schulschließungen aussehen?

Um diese Frage zu beantworten, wurden qualitative leitfadengestützte Interviews an drei Grundschulen in Nordrhein-Westfalen durchgeführt. Diese Schulen wurden ausgewählt, da aufgrund ihrer Teilnahme am Landesprogramm-Kinderrechteschulen davon auszugehen ist, dass Schüler:innenpartizipation ein großer Stellenwert beigemessen wird. Es wurden insgesamt sechs Interviews mit der Schulleitung und Lehrkräften sowie Schüler:innen geführt, die nach dem Vorgehen der qualitativen Inhaltsanalyse von Mayring ausgewertet werden.

Anhand verschiedener Dimensionen von Partizipation zeigte sich, dass weniger Partizipationsformate weitergeführt wurden, Partizipation weniger intensiv war und Schüler:innen bei weniger Themen mitbestimmen konnten. Bei der Frage, was rückblickend hätte anders gemacht werden können, wurde gesagt, dass es kaum Verbesserungsvorschläge gibt und nichts anders gemacht worden wäre. Daran wird die Diskrepanz zwischen theoretischer Relevanz und praktischer Umsetzung deutlich und stellt insbesondere die Bedeutung von Schüler:innenpartizipation in Frage. Zudem zeigte sich, dass Schüler:innenpartizipation abhängig von dem Willen der Erwachsenen ist, diese zu ermöglichen und umfänglich umzusetzen. Eine konkrete Möglichkeit, Schüler:innenpartizipation weiterzuführen, stellte einen Wechsel in den digitalen Raum und das Nutzen von Lernplattformen sowie Videokonferenzen dar. Hier eröffnete sich ein neues Potential für Schüler:innenpartizipation, welches es zukünftig auszuschöpfen gilt. Trotz der Herausforderungen wurden teilweise auch in informellen Formaten Partizipationsmöglichkeiten für Schüler:innen geschaffen. Diese ermöglichten Raum für Austausch und Zusammenkommen, was vor dem veränderten (Schul-)Alltag der Schüler:innen von besonderer Bedeutung ist.

Publikation

Dausner, Maria Antonia (2022): Möglichkeiten von Schüler:innenpartizipation während den Covid-19 bedingten Schulschließungen – eine Analyse am
Beispiel von Grundschulen in Nordrhein-Westfalen. Arbeit zur Erlangung des M.A. Sozialwissenschaften am Institut für Sozialwissenschaften der Heinrich-Heine-Universität Düsseldorf. (Download)

Übersicht über Ansätze computerbasierter Textanalyse zur Unterstützung der Auswertung von Beiträgen aus Öffentlichkeitsbeteiligungen

In diesem Artikel in der Zeitschrift Digital Government: Research and Practice geben Julia Romberg und Tobias Escher einen Überblick über automatisierte Techniken die bereits zur Unterstützung der Auswertung von Beiträgen in Beteiligungsprozessen verwendet wurden. Auf Basis einer systematischen Literaturstudie bewerten sie die Leistungsfähigkeit der bisher eingesetzten Verfahren und zeigen weiteren Forschungsbedarf auf.

Zusammenfassung

Öffentliche Institutionen, die Bürger*innen im Rahmen politischer Entscheidungsprozesse konsultieren, stehen vor der Herausforderung, die Beiträge der Bürger*innen auszuwerten. Unter demokratischen Aspekten ist diese Auswertung von wesentlicher Bedeutung, benötigt gleichzeitig aber umfangreiche personelle Ressourcen. Eine bislang noch zu wenig erforschte Lösung für dieses Problem bietet die Nutzung von künstlicher Intelligenz, wie beispielsweise computer-unterstützter Textanalyse. Wir identifizieren drei generische Aufgaben im Auswertungsprozess, die von der automatisierten Verarbeitung natürlicher Sprache (NLP) profitieren könnten. Auf Basis einer systematischen Literaturrecherche in zwei Datenbanken zu Computerlinguistik und Digital Government geben wir einen detaillierten Überblick über die existierenden Ansätze und deren Leistungsfähigkeit. Auch wenn teilweise vielversprechende Ansätze existieren, beispielsweise um Beiträge thematisch zu gruppieren oder zur Erkennung von Argumenten und Meinungen, so zeigen wir, dass noch bedeutende Herausforderungen bestehen, bevor diese in der Praxis zuverlässig zur Unterstützung eingesetzt werden können. Zu diesen Herausforderungen zählt die Qualität der Ergebnisse, die Anwendbarkeit auf nicht-englischsprachige Korpora und die Bereitstellung von Software, die diese Algorithmen auch Praktikter*innen zugänglich macht. Wir diskutieren verschiedene Ansätze zur weiteren Forschung, die zu solchen praxistauglichen Anwendungen führen könnten. Die vielversprechendsten Ansätze integrieren die Expertise menschlicher Analyst*innen, zum Beispiel durch Ansätze des Active Learning oder interaktiver Topic Models.

Ergebnisse

Es gibt eine Reihe von Aufgaben im Auswertungsprozess, die durch die automatisierte Verarbeitung natürlicher Sprache (NLP) unterstützt werden könnten. Dazu gehören i) die Erkennung von Duplikaten, ii) die thematische Gruppierung von Beiträgen, und iii) die detaillierte Analyse einzelner Beiträge. Der Großteil der Literatur in dieser Literaturstudie konzentriert sich auf die automatisierte Erkennung und Analyse von Argumenten, einen Aspekt der detaillierten Analyse einzelner Beiträge.
Wir stellen eine umfangreiche Zusammenfassung der genutzten Datensätze und der verwendeten Algorithmen vor, und bewerten deren Leistungsfähigkeit. Trotz der ermutigenden Ergebnisse wurde die deutlichen Entwicklungssprünge, in den letzten Jahren im NLP-Bereich erfolgt sind, bislang kaum für diesen Anwendungsfall genutzt.
Eine besondere auffällige Lücke besteht in der mangelnden Verfügbarkeit von Anwendungen, die Praktiker*innen die einfache Nutzung von NLP-basierten Verfahren für die Auswertung ihrer Daten erlauben würden.
Der Aufwand zur Erstellung von annotierten Daten, die zum Training von Modellen des maschinellen Lernens notwendig sind, kann dazu führen, dass sich die erhofften Effizienzvorteile einer automatisierten Auswertung nicht einstellen.
Wir empfehlen verschiedene vielversprechendsten Ansätze zur weiteren Forschung. Viele davon integrieren die Expertise menschlicher Analyst*innen, zum Beispiel durch Ansätze des Active Learning oder interaktiver Topic Models.

Publikation

Romberg, Julia; Escher, Tobias (2023). Making Sense of Citizens’ Input through Artificial Intelligence: A Review of Methods for Computational Text Analysis to Support the Evaluation of Contributions in Public Participation. In: Digital Government: Research and Practice 5(1): 1-30. DOI: 10.1145/3603254.

Gutachten: Forschungsstand zu Möglichkeiten, Herausforderungen und Grenzen digitaler Beteiligung

Im Rahmen des Standortauswahlgesetzes (StandAG) ist das Bundesamt für die Sicherheit der nuklearen Entsorgung (BASE) mit der umfassenden Information und Beteiligung der Öffentlichkeit im Rahmen des Standortauswahlverfahrens zur Suche und Auswahl eines Standortes für die Endlagerung von hochradioaktiven Abfällen beauftragt. In diesem Zusammenhang hat das BASE im Februar 2022 ein Gutachten zu den „Möglichkeiten und Grenzen digitaler Beteiligungsinstrumente für die Beteiligung der Öffentlichkeit im Standortauswahlverfahren (DigiBeSt)“ beim Düsseldorfer Institut für Internet und Demokratie (DIID) der Heinrich-Heine-Universität Düsseldorf in Kooperation mit dem nexus-Institut Berlin beauftragt. Dafür wurde unter der Leitung von Tobias Escher eine Aufarbeitung des Forschungsstandes und der aktuellen Entwicklungen (Arbeitspaket 2) erstellt, die in einem ausführlichen Bericht zusammengefasst wurden.

Ausgewählte Erkenntnisse aus dem Bericht lauten:

Soziale Ungleichheiten in der digitalen Beteiligung beruhen v. a. auf dem
Second-Level Digital Divide, d.h. in Unterschieden in den medien- und inhaltsbezogenen Kompetenzen, die für die selbstständige und konstruktive Nutzung des Internets zur politischen Beteiligung notwendig sind.
Das Wissen zu Effektivität von Aktivierungsfaktoren ist nach wie vor oft lückenhaft und anekdotisch, dadurch sind Kosten und Nutzen einzelner Maßnahmen für die Initiator*innen häufig nur schwer abzuschätzen.
Zur (zielgruppengerechten) Mobilisierung eignet sich nachweislich die persönliche Einladung, aber auch die etablierten Massenmedien spielen nach wie vor eine wichtige Rolle.
Breite und inklusive Beteiligung erfordert die Kombination unterschiedlicher digitaler und analoger Partizipationsformate.
Beteiligungsformate auf nationale Ebene stehen aufgrund der Komplexität der Themen und der Größe der Zielgruppe vor besonderen Herausforderungen und erfordern daher kaskadierte Verfahren (Verzahnung von Beteiligung auf unterschiedlichen politischen Ebenen) sowie noch neu zu schaffende Institutionen.

Publikation

Lütters, Stefanie; Escher, Tobias; Soßdorf, Anna; Gerl, Katharina; Haas, Claudia; Bosch, Claudia (2024): Möglichkeiten und Grenzen digitaler Beteiligungsinstrumente für die Beteiligung der Öffentlichkeit im Standortauswahlverfahren (DigiBeSt). Hg. v. Düsseldorfer Institut für Internet und Demokratie und nexus Institut. Bundesamt für die Sicherheit der nuklearen Entsorgung (BASE). Berlin (BASE-RESFOR 026/24). Online verfügbar unter https://www.base.bund.de/DE/themen/fa/sozio/projekte-ende/projekte-ende.html .

Subjektives Machine Lerning am Beispiel der Konkretheit von Argumenten in der Öffentlichkeitsbeteiligung

In dieser Veröffentlichung im Workshop on Argument Mining entwickelt Julia Romberg eine Methode, um menschlichen Perspektivismus in die maschinelle Vorhersage einzubeziehen. Die Methode wird an der Aufgabe der Konkretheit von Argumenten in Beiträgen zur Bürger*innenbeteiligung getestet.

Zusammenfassung

Obwohl Argumentation sehr subjektiv sein kann, besteht die gängige Praxis beim überwachten maschinellen Lernen (supervised machine learning) darin, eine aggregierte Grundwahrheit zu konstruieren und daraus zu lernen. Dieser Ansatz führt zu einer Vernachlässigung individueller, aber potenziell wichtiger Perspektiven und kann in vielen Fällen dem subjektiven Charakter der Aufgaben nicht gerecht werden. Eine Lösung für dieses Manko sind multiperspektivische Ansätze, die im Bereich des Argument Mining bisher nur wenig Beachtung gefunden haben.

In dieser Arbeit stellen wir PerspectifyMe vor, eine Methode zur Integration von Perspektivismus durch Anreicherung einer Aufgabe mit Subjektivitätsinformationen aus dem Datenannotationsprozess. Wir veranschaulichen unseren Ansatz anhand des Anwendungsfalls der Klassifizikation der Konkretheit von Argumenten und liefern erste vielversprechende Ergebnisse auf dem kürzlich veröffentlichten CIMT PartEval Argument Concreteness Corpus.

Ergebnisse

Beim maschinellen Lernen wird oft von einer einzigen Grundwahrheit ausgegangen, was aber für subjektive Aufgaben nicht zutrifft.
PerspectifyMe ist eine einfache Methode, um den Perspektivismus in bestehende maschinelle Lernprozesse einzubinden, indem ein aggregiertes Label durch eine Subjektivitätsbewertung ergänzt wird.
Ein Beispiel für eine subjektive Aufgabe ist die Einstufung der Konkretheit eines Arguments (gering, mittel, hoch). Die Automatisierung dieser Aufgabe ist auch von Interesse für die Auswertung von Bürger*innenbeteiligungsverfahren.
Erste Ansätze zur Klassifikation der Konkretheit von Argumenten (aggregiertes Label) zeigen eine Accuracy von 0,80 und einen F1-Wert von 0,67.
Ob die Konkretheit eines Arguments eine subjektive Wahrnehmung triggert, kann mit einer Accuracy von 0,72 bzw. einem F1-Wert von 0,74 vorhergesagt werden.

Publikation

Romberg, Julia (2022). Is Your Perspective Also My Perspective? Enriching Prediction with Subjectivity. In: Proceedings of the 9th Workshop on Argument Mining: 115-125, Gyeongju, Republic of Korea. Association for Computational Linguistics. https://aclanthology.org/2022.argmining-1.11.

Automatisierte thematische Kategorisierung von Bürger*innenbeiträgen: Reduzierung des manuellen Annotationsaufwands durch Active Learning

In dieser Veröffentlichung in Electronic Government untersuchen Julia Romberg und Tobias Escher das Potenzial von Active Learning, um den manuellen Annotationsaufwand bei der thematischen Kategorisierung von Bürger*innenbeteiligungsbeiträgen zu reduzieren.

Zusammenfassung

Überwachtes maschinelles Lernen (supervised machine learning) bietet sich für diese Aufgabe an, indem die Vorschläge der Bürger nach bestimmten vordefinierten Themen klassifiziert werden. Durch die individuelle Natur vieler öffentlicher Beteiligungsverfahren ist der manuelle Aufwand zur Erstellung der benötigten Trainingsdaten jedoch oft zu teuer. Eine mögliche Lösung, um die Menge der Trainingsdaten zu minimieren, ist der Einsatz von Active Learning. Während sich dieses halbüberwachte Verfahren in den letzten Jahren stark verbreitet hat, wurden diese neuen vielversprechenden Ansätze nicht für die Auswertung von Beteiligungsbeiträgen angewendet.

Daher verwenden wir Daten aus Online-Beteiligungsprozessen in drei deutschen Städten, stellen zunächst Baselines für die Klassifikation auf und bewerten anschließend, wie verschiedene Strategien des Active Learnings den manuellen Annotationsaufwand reduzieren und gleichzeitig eine gute Modellleistung beibehalten können. Unsere Ergebnisse zeigen nicht nur, dass Modelle des überwachten maschinellen Lernens die Beiträge zur Bürger*innenbeteiligung zuverlässig thematisch kategorisieren können, sondern auch, dass Active Learning die Menge der benötigten Trainingsdaten deutlich reduziert. Dies hat wichtige Implikationen für die Praxis der Öffentlichkeitsbeteiligung, da es den Zeitaufwand für die Auswertung drastisch reduziert, wovon insbesondere Prozesse mit einer größeren Anzahl von Beiträgen profitieren können.

Ergebnisse

Wir vergleichen verschiedene moderne Ansätze zur Textklassifikation und zum Active Learning anhand einer Fallstudie von drei Beteiligungsprozessen zur Radverkehrsplanung in den deutschen Kommunen Bonn, Köln Ehrenfeld und Moers.
Das Modell BERT kann in etwa 77 % der Fälle die richtigen Themen vorhersagen.
Active Learning reduziert den manuellen Annotationsaufwand erheblich: Es reichte aus, 20 bis 50 % der Datensätze manuell zu kategorisieren, um die Genauigkeit von 77% zu halten. Die Effizienzgewinne wachsen mit der Größe des Datensatzes.
Zugleich arbeiten die Modelle mit einer effizienten Laufzeit.
Unsere Hypothese ist daher, dass Active Learning in den meisten Anwendungsfällen den menschlichen Aufwand erheblich reduzieren sollte.

Publikation

Romberg, Julia; Escher, Tobias (2022). Automated Topic Categorisation of Citizens’ Contributions: Reducing Manual Labelling Efforts Through Active Learning. In: Marijn Janssen, et al (Hrsg.), Electronic Government. EGOV 2022. Lecture Notes in Computer Science: 369-385, Springer, Cham. ISBN 978-3-031-15086-9.

Datenkorpus zur Unterstützung der Evaluation von Partizipation in der Verkehrsplanung durch multidimensionale Klassifikation

In dieser Veröffentlichung der Conference on Language Resources and Evaluation stellen Julia Romberg, Laura Mark und Tobias Escher eine Sammlung von annotierten Datensätzen vor, die die Entwicklung von Ansätzen des maschinellen Lernens zur Unterstützung der Auswertung von Beteiligungsbeiträgen fördert.

Zusammenfassung

Behörden in demokratischen Ländern konsultieren regelmäßig die Öffentlichkeit, um den Bürger*innen die Möglichkeit zu geben, ihre Ideen und Bedenken zu bestimmten Themen zu äußern. Bei dem Versuch, die (oft zahlreichen) Beiträge der Öffentlichkeit auszuwerten, um sie in die Entscheidungsfindung einfließen zu lassen, stehen die Behörden aufgrund begrenzter Ressourcen dabei oft vor Herausforderungen.

Wir identifizieren mehrere Aufgaben, deren automatisierte Unterstützung bei der Auswertung von Bürger*innenbeteiligung helfen kann. Dies sind i) die Erkennung von Argumenten, genauer gesagt von Prämissen und deren Schlussfolgerungen, ii) die Bewertung der Konkretheit von Argumenten, iii) die Erkennung von textlichen Beschreibungen von Orten, um die Ideen der Bürger*innen räumlich verorten zu können, und iv) die thematische Kategorisierung von Beiträgen. Um in zukünftiger Forschung Techniken entwickeln zu können, die diese vier Aufgaben adressieren, veröffentlichen wir den CIMT PartEval Corpus. Dieser neue und öffentlich verfügbare deutschsprachigen Korpus enthält mehrere tausend Bürgerbeiträge aus sechs mobilitätsbezogenen Planungsprozessen in fünf deutschen Kommunen. Er bietet Annotationen für jede dieser Aufgaben, die in deutscher Sprache für den Bereich der Bürgerbeteiligung bisher entweder überhaupt noch nicht oder nicht in dieser Größe und Vielfalt verfügbar waren.

Ergebnisse

Der CIMT PartEval Argument Component Corpus umfasst 17.852 Sätze aus deutschen Bürgerbeteiligungsverfahren, die als nicht-argumentativ, Prämisse (premise) oder Schlussfolgerung (major position) annotiert sind.
Der CIMT PartEval Argument Concreteness Corpus besteht aus 1.127 argumentativen Textabschnitten, die nach drei Konkretheitsstufen annotiert sind: niedrig, mittel und hoch.
The CIMT PartEval Geographic Location Corpus provides 4,830 location phrases and the GPS coordinates for 2,529 public participation contributions.
Der CIMT PartEval Thematic Categorization Corpus basiert auf einem neuen hierarchischen Kategorisierungsschema für Mobilität, das Verkehrsarten (nicht-motorisierter Verkehr: Fahrrad, zu Fuß, Roller; motorisierter Verkehr: öffentlicher Nahverkehr, öffentlicher Fernverkehr, kommerzieller Verkehr) und einer Reihe von Spezifikationen wie fließender oder ruhender Verkehr, neue Dienstleistungen sowie Inter- und Multimodalität erfasst. Insgesamt wurden 697 Dokumente nach diesem Schema annotiert.

Publikation

Romberg, Julia; Mark, Laura; Escher, Tobias (2022). A Corpus of German Citizen Contributions in Mobility Planning: Supporting Evaluation Through Multidimensional Classification. In: Proceedings of the Language Resources and Evaluation Conference: 2874–2883, Marseille, France. European Language Resources Association. https://aclanthology.org/2022.lrec-1.308.