Im Rahmen unseres Projekts haben wir an der manuellen Annotation einer Vielzahl von Datensätzen gearbeitet mit dem Ziel die Entwicklung von KI-Verfahren zu Auswertung von Beteiligungsbeiträgen zu unterstützen.
Überwachte maschinelle Lernverfahren (supervised machine learning) benötigen Trainingsdatensätze um Eigenschaften und Muster der jeweiligen Kodierungen erlernen zu können. Im Bereich von Bürger*innenbeteiligung fehlt es hier an umfassend kodierten deutschsprachigen Datensätzen. Um den Bedarf zu decken, haben wir deshalb an der Kodierung deutschsprachiger Beteiligungsverfahren aus dem Bereich Mobilität nach vier Dimensionen gearbeitet:
Erstens haben wir Verfahren thematisch nach Verkehrsmitteln, weiteren Ansprüchen an den Raum, sowie unmittelbar zu behebenden Mängeln kodiert.
Zweitens haben wir Verfahren nach argumentativen Sätzen kodiert und diese in Vorschläge und Zustandsbeschreibungen unterteilt.
Drittens haben wir argumentativen Sinneinheiten zugeordnet, wie konkret diese sind.
Die folgende Tabelle zeigt den aktuellen Stand der Kodierung und wird fortlaufend aktualisiert:
Im Einklang mit unserer Open Source-Richtlinie werden die kodierten Datensätzen der Öffentlichkeit nach Möglichkeit unter Creative Commons CC BY-SA License verfügbar gemacht.
Im Rahmen seiner Masterarbeit im MA Informatik an der Heinrich-Heine-Universität Düsseldorf hat sich Boris Thome mit der Klassifikation von Beteiligungsbeiträgen nach den enthaltenen Themen beschäftigt. Diese Arbeit führt die Arbeit von Julia Romberg und Tobias Escher fort, indem eine feinere Einteilung der Beiträge nach Unterkategorien untersucht wurde.
Zusammenfassung
Politische Behörden in demokratischen Ländern konsultieren die Öffentlichkeit regelmäßig zu bestimmten Themen, doch die anschließende Auswertung der Beiträge erfordert erhebliche personelle Ressourcen, was häufig zu Ineffizienzen und Verzögerungen im Entscheidungsprozess führt. Eine der vorgeschlagenen Lösungen ist die Unterstützung der menschlichen Analyst*innen bei der thematische Gruppierung der Beiträge durch KI.
Überwachtes maschinelles Lernen (supervised machine learning) bietet sich für diese Aufgabe an, indem die Vorschläge der Bürger nach bestimmten vordefinierten Themen klassifiziert werden. Durch die individuelle Natur vieler öffentlicher Beteiligungsverfahren ist der manuelle Aufwand zur Erstellung der benötigten Trainingsdaten jedoch oft zu teuer. Eine mögliche Lösung, um die Menge der Trainingsdaten zu minimieren, ist der Einsatz von Active Learning. In unser vorherigen Arbeit konnten wir zeigen, dass Active Learning den manuellen Annotationsaufwand zur Kodierung von Oberkategorien erheblich reduzieren kann. In dieser Arbeit wurde nachfolgend untersucht, ob dieser Vorteil auch dann noch gegeben ist, wenn die Oberkategorien in weitere Unterkategorien unterteilt werden. Eine besondere Herausforderung besteht darin, dass einige der Unterkategorien sehr selten sein können und somit nur wenige Beiträge umfassen.
In der Evaluation verschiedener Methoden wurden Daten aus Online-Beteiligungsprozessen in drei deutschen Städten verwendet. Die Ergebnisse zeigen, dass die maschinelle Klassifikation von Unterkategorien deutlich schwerer ist als die Klassifikation der Oberkategorien. Dies liegt an der hohen Anzahl von möglichen Unterkategorien (30 im betrachteten Datensatz), die zusätzlich sehr ungleich verteilt sind. Im Fazit ist weitere Forschung erforderlich, um eine praxisgerechte Lösung für die flexible Zuordnung von Unterkategorien durch maschinelles Lernen zu finden.
Publikation
Thome, Boris (2022): Thematische Klassifikation von Partizipationsverfahren mit Active Learning. Masterarbeit am Institut für Informatik, Lehrstuhl für Datenbanken und Informationssysteme, der Heinrich-Heine-Universität Düsseldorf. (Download)
Im Rahmen ihrer Masterarbeit im MA Informatik an der Heinrich-Heine-Universität Düsseldorf hat sich Suzan Padjman mit der Klassifikation von Argumentationskomponenten in Beteiligungsbeiträgen beschäftigt. Diese Arbeit führt die bisherige Arbeit unseres Teams fort, indem Fälle betrachtet werden, in denen argumentative Sätze sowohl einen Vorschlag als auch eine Zustandsbeschreibung enthalten können.
Zusammenfassung
Öffentlichkeitsbeteiligungsverfahren ermöglichen es den Bürger*innen, sich an kommunalen Entscheidungsprozessen zu beteiligen, indem sie ihre Meinung zu bestimmten Themen äußern. Kommunen haben jedoch oft nur begrenzte Ressourcen, um eine möglicherweise große Menge an Textbeiträgen zu analysieren, welche zeitnah und detailliert ausgewertet werden müssen. Eine automatisierte Unterstützung bei der Auswertung kann daher hilfreich sein, z.B. um Argumente zu analysieren.
Bei der Klassifikation von argumentativen Sätzen nach Typen (hier: Vorschlag oder Zustandsbeschreibung) kann es vorkommen, dass ein Satz mehrere Komponenten eines Arguments beinhaltet. In diesem Fall besteht die Notwendigkeit einer Multi-Label Klassifikation, bei der mehr als eine Kategorie zugeordnet werden kann.
Um dieses Problem zu lösen, wurden in der Arbeit verschiedene Methoden zur Multi-Label Klassifikation von Argumentationskomponenten verglichen (SVM, XGBoost, BERT und DistilBERT). Im Ergebnis zeigte sich, dass BERT-Modelle eine macro F1-Vorhersagegüte von bis zu 0,92 erreichen können. Dabei weisen die Modelle datensatzübergreifend eine robuste Performance auf – ein wichtiger Hinweis auf den praktischen Nutzen solcher Verfahren.
Publikation
Padjman, Suzan (2022): Mining Argument Components in Public Participation Processes. Masterarbeit am Institut für Informatik, Lehrstuhl für Datenbanken und Informationssysteme, der Heinrich-Heine-Universität Düsseldorf. (Download)
Im Rahmen ihrer Projektarbeit im MA Informatik an der Heinrich-Heine-Universität Düsseldorf hat sich Suzan Padjman mit der Entwicklung von Verfahren zur automatisierten Erkennung von textuell beschriebenen Ortsangaben in Beteiligungsverfahren beschäftigt.
Zusammenfassung
Im Kontext der Verkehswende sind konsultative Verfahren ein beliebtes Hilfsmittel, um Bürger*innen die Möglichkeit zu geben, ihre Interessen und Anliegen zu vertreten und einzubringen. Insbesondere bei mobilitätsbezogenen Fragen ist ein wichtiger Anaylseaspekt der gesammelten Beiträge, welche Orte (z.B. Straßen, Kreuzungen, Rad- oder Fußwege) Probleme aufweisen und verbesserungswürdig sind, um die Mobilität nachhaltig zu fördern. Eine automatisierte Identifikation von solchen Verortungen hat das Potential, die ressourcenintensive manuelle Auswertung zu unterstützen.
Ziel dieser Arbeit war es daher, mithilfe von Methoden aus dem Natural-Language-Processing (NLP) eine automatisierte Lösung zur Identifikation von Verortungen zu finden. Dazu wurde eine Verortung als die Beschreibung eines konkreten Ortes eines Vorschlags definiert, welche auf einer Karte markiert werden könnte. Beispiele für Verortungen sind Straßennamen, Stadtteile und eindeutig zuordenbare Plätze, wie z.B. “in der Innenstadt” oder “am Ausgang des Hauptbahnhofs”. Reine Lagebeschreibungen ohne eine konkrete Ortszugehörigkeit wurden dagegen nicht als Verortung betrachtet. Methodisch wurde die Aufgabe als eine Sequence-Labeling-Aufgabe betrachtet, da Verortungen häufig aus mehreren hintereinanderfolgenden Token, sogenannten Wortsequenzen, bestehen.
Im Vergleich verschiedener Modelle (spaCy NER, GermanBERT, GBERT, dbmdz BERT, GELECTRA, multilingual BERT, multilingual XLM-RoBERTa) auf zwei deutschsprachigen Beteiligungsdatensätzen zur Radinfrastruktur in Bonn und Köln Ehrenfeld zeigte sich, dass GermanBERT die besten Ergebnisse erzielt. Dieses Modell kann Token, die Teil einer textuellen Ortsbeschreibung sind, mit einem vielversprechenden macro F1-Score von 0,945 erkennen. In zukünftiger Arbeit sollen die erkannten Textphrasen dann in Geokoordinaten überführt werden, um die erkannten Ortszugehörigkeiten von Vorschlägen auch kartenbasiert abbilden zu können.
Publikation
Padjman, Suzan (2021): Unterstützung der Auswertung von verkehrsbezogenen Bürger*innenbeteiligungsverfahren durch die automatisierte Erkennung von Verortungen. Projektarbeit am Institut für Informatik, Lehrstuhl für Datenbanken und Informationssysteme, der Heinrich-Heine-Universität Düsseldorf. (Download)
In der Serie Meet-the-Team stellen wir jede Woche ein Mitglied der Forschungsgruppe vor, um einen Eindruck jenseits der wissenschaftlichen Arbeit zu vermitteln. Dazu hat uns unserer studentischer Mitarbeiter Philippe Sander ein paar Fragen gestellt.
Heute im Interview: Julia Romberg. Als Informatikerin entwickelt sie Verfahren zur (teil-) automatisierten Klassifikation von Beiträgen in Beteiligungsverfahren. Mehr Infos zu Julias Forschung finden sich hier.
Foto: Tilman Schenk
Was hat dich dazu inspiriert, eine Karriere in deinem Forschungsbereich anzustreben, und wie hast du in deinem Fachbereich begonnen?
Ich habe Informatik studiert, weil ich in der Schule Spaß an Mathematik hatte und etwas Technisches ausprobieren wollte. Im Master habe ich angefangen, mit Sprachdaten zu arbeiten. Da ich die menschliche Sprache schon immer sehr interessant fand, bin ich dann dabei geblieben.
Kannst du dein aktuelles Forschungsprojekt beschreiben und was du damit erreichen möchtest? Was findest du daran persönlich am interessantesten?
In meinem Forschungsprojekt geht es darum, die Auswertung von textuellen Beiträgen aus Bürger*innenbeteiligungsverfahren maschinell zu unterstützen. Eine Herausforderung dabei ist, dass oft große Mengen an Daten generiert werden z.B. als E-Mails oder über Online-Plattformen. Diese sollen in einem zeitlichen Rahmen ausgewertet werden, aber die Auswertung muss gleichzeitig demokratische Normen erfüllen (u.a. soll jede Stimme gehört werden). Das ist schwierig, wenn man das rein händisch macht, und genau da setze ich an.
Wie gehst du bei deiner Forschung vor? Welche Methoden, Theorien oder Frameworks verwendest du?
Ich setze Werkzeuge der automatischen Sprachverarbeitung ein, um zum einen die Beiträge thematisch vorzusortieren und zum anderen Vorschläge und Argumente der Bürger*innen zu identifizieren, sodass diese in der anschließenden manuellen Analyse hervorgehoben werden können.
Was sind einige der größten Herausforderungen, mit denen du in deiner Arbeit konfrontiert bist, und wie überwindest du sie?
Wir sind ein transdisziplinäres und interdisziplinäres Projekt. Die Kommunikation über verschiedene Disziplinen hinweg ist immer ein bisschen schwierig z.B. wegen unterschiedlicher Terminologien und des starken Fokus auf sehr spezifische Forschungsfragen. Deshalb haben wir uns am Anfang des Projekts Zeit genommen, um uns gegenseitig auf ein Level zu bringen, sodass wir uns verstehen können und sensibilisiert für diese Herausforderung sind. Ähnlich ist es auch, wenn man mit der Praxis kommuniziert, damit Personen ohne näheren Bezug zu dem Forschungsbereich unsere Forschung verstehen können. Meine Empfehlung für eine gute Wissenschaftskommunikation ist „learning by doing“, z.B. indem man regelmäßig Vorträge für ein Nicht-Fachpublikum aufbereitet.
Wie bleibst du auf dem neuesten Stand der Trends und Entwicklungen in deinem Fachgebiet?
Von Vorteil ist es natürlich, dass KI und Sprachverarbeitung mittlerweile das breite Interesse der Medien geweckt haben (Stichwort ChatGPT). Zudem ist das Lesen der aktuellen Literatur ein Muss. Die Schnelllebigkeit des Forschungsbereich macht es gleichzeitig aber auch schwer, einen vollumfänglichen Überblick zu behalten. Hierzu ist der Austausch mit Kolleg*innen ebenso wie die Teilnahme an Tutorials und Workshops wichtig, um auf dem aktuellen Stand der Forschung zu bleiben.
Wie arbeitest du mit anderen Forschern oder Experten in deinem Bereich zusammen, um deine Projekte zu verbessern?
Ich nehme teil an und organisiere Kolloquien und Workshops, in denen man sich zu verschiedenen thematischen Schwerpunkten austauscht. Anregungen aus solchen Gesprächen und Diskussionen fließen natürlich auch wieder in die eigene Arbeit mit ein, und manchmal ergeben sich sogar Kooperationen.
Welchen Einfluss hoffst du, dass deine Forschung auf die Gesellschaft oder das Feld haben wird?
Ich hoffe, dass die entwickelten Methoden Anwendung in der Praxis finden können.
Was sind einige aufkommende Trends oder zukünftige Richtungen, die du in deinem Forschungsgebiet siehst?
Ein aktueller Trend sind „prompt-based“-Ansätze, bei denen man Large Language Models (Sprachmodelle) konsultiert, um verschiedene Ziele zu erreichen.
Kannst du uns von interessanten oder bedeutsamen Erfahrungen berichten, die du während deiner Forschung gemacht hast?
Bevor ich hier im Projekt angefangen habe, habe ich an einem Lehrstuhl in der Informatik geforscht, weshalb die sozialwissenschaftliche und praxisnahe Orientierung eine große Umstellung war. In der Grundlagenforschung werden meist sehr fortschrittliche Konzepte entwickelt, aber eigentlich braucht die Praxis in der Regel erst mal bodenständige Lösungen.
Welchen Rat hast du für Student*innen und angehende Wissenschaftler*innen, die gerade erst in ihre Karriere starten?
Man sollte sich ein gutes Netzwerk suchen, und man sollte sich schon ziemlich am Anfang klar darüber werden, was genau man erforschen will. Es hilft, einen möglichst engen Rahmen zu setzen, um ein realistischen Projektmanagement zu entwickeln. Auch aus einem kleinen abgesteckten Rahmen ergibt sich in der Regel ziemlich viel Forschung. Besonders bei inter- und transdisziplinären Projekten sollte außerdem sichergestellt sein, dass genug Zeit für Forschung bleibt, die auch innerhalb der eigenen Disziplin von Relevanz ist.
Schließlich, kannst du uns ein wenig über dich außerhalb deiner Arbeit erzählen? Welche Hobbys oder Interessen verfolgst du in deiner Freizeit, und wie ergänzen sie deine Forschung?
Ich spiele Bass in einer Band und mache Yoga als Ausgleich. Beim Ashtanga-Yoga kommt man nur weiter, wenn man beharrlich ist. Ebenso ist es in der Wissenschaft: Man muss an einer Sache dran bleibt, bis sie sich auszahlt.
Die Einbindung der Öffentlichkeit in Entscheidungsprozesse ist ein weit verbreitetes Instrument in Demokratien. Einerseits dienen solche Verfahren dem Ziel, durch die Ideen und Vorschläge der Bürger*innen einen besser informierten Prozess zu erreichen und damit möglicherweise das Prozessergebnis, d.h. die daraus resultierende Politik, zu verbessern. Andererseits wird durch die Einbeziehung der Bürger*innen versucht, die Akzeptanz der getroffenen Entscheidungen in der Öffentlichkeit zu erhöhen.
Bei dem Versuch, die oft großen Mengen an Bürger*innenbeiträgen auszuwerten, sehen sich die Behörden regelmäßig mit Herausforderungen konfrontiert, die auf begrenzte Ressourcen (z.B. Personalmangel, Zeitmangel) zurückzuführen sind. Wenn es um textuelle Beiträge geht, bietet das Natural Language Processing (NLP) die Möglichkeit, die bisher noch überwiegend manuell durchgeführte Auswertung automatisiert zu unterstützen. Obwohl in diesem Bereich bereits einige Forschungsarbeiten durchgeführt wurden, sind wichtige Fragen bisher nur unzureichend oder gar nicht beantwortet worden.
In meiner Dissertation, welche ich im Jahr 2023 erfolgreich abgeschlossen habe, stand deshalb im Fokus, wie bestehende Forschungslücken mithilfe von Textklassifikationsmethoden überwunden werden können. Ein besonderer Fokus lag dabei auf den Aufgaben der thematischen Strukturierung von Beiträgen und der Argumentationsanalyse.
Zu Beginn der Arbeit wird ein systematischer Literaturüberblick über bisherige Ansätze zur maschinengestützten Auswertung von Textbeiträgen gegeben (Details finden Sie in diesem Artikel). Vor dem Hintergrund des identifizierten Mangels an Sprachressourcen wird der neu erarbeitete CIMT-Datenkorpus für die Entwicklung von Textklassifikationsmodellen für deutschsprachige Öffentlichkeitsbeteiligung vorgestellt (Details finden Sie in diesem Artikel).
Zunächst steht dann die thematische Strukturierung mit Fokus auf die inhaltliche und kontextuelle Einzigartigkeit von Verfahren im Mittelpunkt. Um den Einsatz individuell angepasster Machine Learning-Modelle lohnenswert zu gestalten, wird das Konzept des Active Learnings eingesetzt, um den manuellen Klassifikationsaufwand durch eine optimierte Trainingsdatenauswahl zu verringern. In einem Vergleich über drei Beteiligungsprozesse hinweg zeigt sich, dass die Kombination von Active Learning mit Transformer-basierten Architekturen den manuellen Aufwand bereits ab einigen hundert Beiträgen signifikant reduzieren kann, bei guter Vorhersagegenauigkeit und geringen Laufzeiten (Details finden Sie in diesem Artikel). Anschließend werden Maße vorgestellt, um weitere praxisrelevante Anforderungen der Einsetzbarkeit zu evaluieren. Diese geben Einblick in das Verhalten verschiedener Active Learning-Strategien hinsichtlich klassenbezogener Eigenschaften auf den häufig imbalancierten Datensätzen.
Danach wird der Schwerpunkt auf die Analyse der Argumentation der Bürger*innen verlagert. Der erste Beitrag ist ein robustes Modell zur Erkennung von Argumentationsstrukturen über verschiedene Prozesse der öffentlichen Beteiligung hinweg. Unser Ansatz verbessert die zuvor in der Anwendungsdomäne eingesetzten Techniken zur Erkennung von argumentativen Sätzen und insbesondere zur Klassifikation von Argumentkomponenten (Details finden Sie in diesem Artikel). Zudem wird die maschinelle Vorhersage der Konkretheit von Argumenten untersucht. Hierbei wird der subjektiven Natur von Argumentation Rechnung getragen, indem ein erster Ansatz zur direkten Modellierung verschiedener Perspektiven als Teil des maschinellen Lernprozesses des Argumentation Minings vorgestellt wird (Details finden Sie in diesem Artikel).
In dieser Veröffentlichung im Workshop on Argument Mining entwickelt Julia Romberg eine Methode, um menschlichen Perspektivismus in die maschinelle Vorhersage einzubeziehen. Die Methode wird an der Aufgabe der Konkretheit von Argumenten in Beiträgen zur Bürger*innenbeteiligung getestet.
Zusammenfassung
Obwohl Argumentation sehr subjektiv sein kann, besteht die gängige Praxis beim überwachten maschinellen Lernen (supervised machine learning) darin, eine aggregierte Grundwahrheit zu konstruieren und daraus zu lernen. Dieser Ansatz führt zu einer Vernachlässigung individueller, aber potenziell wichtiger Perspektiven und kann in vielen Fällen dem subjektiven Charakter der Aufgaben nicht gerecht werden. Eine Lösung für dieses Manko sind multiperspektivische Ansätze, die im Bereich des Argument Mining bisher nur wenig Beachtung gefunden haben.
In dieser Arbeit stellen wir PerspectifyMe vor, eine Methode zur Integration von Perspektivismus durch Anreicherung einer Aufgabe mit Subjektivitätsinformationen aus dem Datenannotationsprozess. Wir veranschaulichen unseren Ansatz anhand des Anwendungsfalls der Klassifizikation der Konkretheit von Argumenten und liefern erste vielversprechende Ergebnisse auf dem kürzlich veröffentlichten CIMT PartEval Argument Concreteness Corpus.
Ergebnisse
Beim maschinellen Lernen wird oft von einer einzigen Grundwahrheit ausgegangen, was aber für subjektive Aufgaben nicht zutrifft.
PerspectifyMe ist eine einfache Methode, um den Perspektivismus in bestehende maschinelle Lernprozesse einzubinden, indem ein aggregiertes Label durch eine Subjektivitätsbewertung ergänzt wird.
Ein Beispiel für eine subjektive Aufgabe ist die Einstufung der Konkretheit eines Arguments (gering, mittel, hoch). Die Automatisierung dieser Aufgabe ist auch von Interesse für die Auswertung von Bürger*innenbeteiligungsverfahren.
Erste Ansätze zur Klassifikation der Konkretheit von Argumenten (aggregiertes Label) zeigen eine Accuracy von 0,80 und einen F1-Wert von 0,67.
Ob die Konkretheit eines Arguments eine subjektive Wahrnehmung triggert, kann mit einer Accuracy von 0,72 bzw. einem F1-Wert von 0,74 vorhergesagt werden.
Publikation
Romberg, Julia (2022). Is Your Perspective Also My Perspective? Enriching Prediction with Subjectivity. In: Proceedings of the 9th Workshop on Argument Mining: 115-125, Gyeongju, Republic of Korea. Association for Computational Linguistics. https://aclanthology.org/2022.argmining-1.11.
In dieser Veröffentlichung in Electronic Government untersuchen Julia Romberg und Tobias Escher das Potenzial von Active Learning, um den manuellen Annotationsaufwand bei der thematischen Kategorisierung von Bürger*innenbeteiligungsbeiträgen zu reduzieren.
Zusammenfassung
Politische Behörden in demokratischen Ländern konsultieren die Öffentlichkeit regelmäßig zu bestimmten Themen, doch die anschließende Auswertung der Beiträge erfordert erhebliche personelle Ressourcen, was häufig zu Ineffizienzen und Verzögerungen im Entscheidungsprozess führt. Eine der vorgeschlagenen Lösungen ist die Unterstützung der menschlichen Analyst*innen bei der thematische Gruppierung der Beiträge durch KI.
Überwachtes maschinelles Lernen (supervised machine learning) bietet sich für diese Aufgabe an, indem die Vorschläge der Bürger nach bestimmten vordefinierten Themen klassifiziert werden. Durch die individuelle Natur vieler öffentlicher Beteiligungsverfahren ist der manuelle Aufwand zur Erstellung der benötigten Trainingsdaten jedoch oft zu teuer. Eine mögliche Lösung, um die Menge der Trainingsdaten zu minimieren, ist der Einsatz von Active Learning. Während sich dieses halbüberwachte Verfahren in den letzten Jahren stark verbreitet hat, wurden diese neuen vielversprechenden Ansätze nicht für die Auswertung von Beteiligungsbeiträgen angewendet.
Daher verwenden wir Daten aus Online-Beteiligungsprozessen in drei deutschen Städten, stellen zunächst Baselines für die Klassifikation auf und bewerten anschließend, wie verschiedene Strategien des Active Learnings den manuellen Annotationsaufwand reduzieren und gleichzeitig eine gute Modellleistung beibehalten können. Unsere Ergebnisse zeigen nicht nur, dass Modelle des überwachten maschinellen Lernens die Beiträge zur Bürger*innenbeteiligung zuverlässig thematisch kategorisieren können, sondern auch, dass Active Learning die Menge der benötigten Trainingsdaten deutlich reduziert. Dies hat wichtige Implikationen für die Praxis der Öffentlichkeitsbeteiligung, da es den Zeitaufwand für die Auswertung drastisch reduziert, wovon insbesondere Prozesse mit einer größeren Anzahl von Beiträgen profitieren können.
Ergebnisse
Wir vergleichen verschiedene moderne Ansätze zur Textklassifikation und zum Active Learning anhand einer Fallstudie von drei Beteiligungsprozessen zur Radverkehrsplanung in den deutschen Kommunen Bonn, Köln Ehrenfeld und Moers.
Das Modell BERT kann in etwa 77 % der Fälle die richtigen Themen vorhersagen.
Active Learning reduziert den manuellen Annotationsaufwand erheblich: Es reichte aus, 20 bis 50 % der Datensätze manuell zu kategorisieren, um die Genauigkeit von 77% zu halten. Die Effizienzgewinne wachsen mit der Größe des Datensatzes.
Zugleich arbeiten die Modelle mit einer effizienten Laufzeit.
Unsere Hypothese ist daher, dass Active Learning in den meisten Anwendungsfällen den menschlichen Aufwand erheblich reduzieren sollte.
Publikation
Romberg, Julia; Escher, Tobias (2022). Automated Topic Categorisation of Citizens’ Contributions: Reducing Manual Labelling Efforts Through Active Learning. In: Marijn Janssen, et al (Hrsg.),Electronic Government. EGOV 2022. Lecture Notes in Computer Science: 369-385, Springer, Cham. ISBN 978-3-031-15086-9.
In dieser Veröffentlichung der Conference on Language Resources and Evaluation stellen Julia Romberg, Laura Mark und Tobias Escher eine Sammlung von annotierten Datensätzen vor, die die Entwicklung von Ansätzen des maschinellen Lernens zur Unterstützung der Auswertung von Beteiligungsbeiträgen fördert.
Zusammenfassung
Behörden in demokratischen Ländern konsultieren regelmäßig die Öffentlichkeit, um den Bürger*innen die Möglichkeit zu geben, ihre Ideen und Bedenken zu bestimmten Themen zu äußern. Bei dem Versuch, die (oft zahlreichen) Beiträge der Öffentlichkeit auszuwerten, um sie in die Entscheidungsfindung einfließen zu lassen, stehen die Behörden aufgrund begrenzter Ressourcen dabei oft vor Herausforderungen.
Wir identifizieren mehrere Aufgaben, deren automatisierte Unterstützung bei der Auswertung von Bürger*innenbeteiligung helfen kann. Dies sind i) die Erkennung von Argumenten, genauer gesagt von Prämissen und deren Schlussfolgerungen, ii) die Bewertung der Konkretheit von Argumenten, iii) die Erkennung von textlichen Beschreibungen von Orten, um die Ideen der Bürger*innen räumlich verorten zu können, und iv) die thematische Kategorisierung von Beiträgen. Um in zukünftiger Forschung Techniken entwickeln zu können, die diese vier Aufgaben adressieren, veröffentlichen wir den CIMT PartEval Corpus. Dieser neue und öffentlich verfügbare deutschsprachigen Korpus enthält mehrere tausend Bürgerbeiträge aus sechs mobilitätsbezogenen Planungsprozessen in fünf deutschen Kommunen. Er bietet Annotationen für jede dieser Aufgaben, die in deutscher Sprache für den Bereich der Bürgerbeteiligung bisher entweder überhaupt noch nicht oder nicht in dieser Größe und Vielfalt verfügbar waren.
Ergebnisse
Der CIMT PartEval Argument Component Corpus umfasst 17.852 Sätze aus deutschen Bürgerbeteiligungsverfahren, die als nicht-argumentativ, Prämisse (premise) oder Schlussfolgerung (major position) annotiert sind.
Der CIMT PartEval Argument Concreteness Corpus besteht aus 1.127 argumentativen Textabschnitten, die nach drei Konkretheitsstufen annotiert sind: niedrig, mittel und hoch.
The CIMT PartEval Geographic Location Corpus provides 4,830 location phrases and the GPS coordinates for 2,529 public participation contributions.
Der CIMT PartEval Thematic Categorization Corpus basiert auf einem neuen hierarchischen Kategorisierungsschema für Mobilität, das Verkehrsarten (nicht-motorisierter Verkehr: Fahrrad, zu Fuß, Roller; motorisierter Verkehr: öffentlicher Nahverkehr, öffentlicher Fernverkehr, kommerzieller Verkehr) und einer Reihe von Spezifikationen wie fließender oder ruhender Verkehr, neue Dienstleistungen sowie Inter- und Multimodalität erfasst. Insgesamt wurden 697 Dokumente nach diesem Schema annotiert.
Publikation
Romberg, Julia; Mark, Laura; Escher, Tobias (2022). A Corpus of German Citizen Contributions in Mobility Planning: Supporting Evaluation Through Multidimensional Classification. In: Proceedings of the Language Resources and Evaluation Conference: 2874–2883, Marseille, France. European Language Resources Association. https://aclanthology.org/2022.lrec-1.308.
In dieser Veröffentlichung des Workshop on Argument Mining befassen sich Julia Romberg und Stefan Conrad mit der Robustheit von Klassifikationsalgorithmen für Argument Mining, um zuverlässige Modelle zu erstellen, die über verschiedene Datensätze hinweg generalisieren.
Zusammenfassung
Öffentlichkeitsbeteiligungsverfahren ermöglichen es den Bürger*innen, sich an kommunalen Entscheidungsprozessen zu beteiligen, indem sie ihre Meinung zu bestimmten Themen äußern. Kommunen haben jedoch oft nur begrenzte Ressourcen, um eine möglicherweise große Menge an Textbeiträgen zu analysieren, welche zeitnah und detailliert ausgewertet werden müssen. Eine automatisierte Unterstützung bei der Auswertung kann daher hilfreich sein, z.B. um Argumente zu analysieren.
In diesem Paper befassen wir uns (A) mit der Identifizierung von argumentativen Diskurseinheiten und (B) mit deren Klassifizierung als Prämisse (premise) oder Schlussfolgerung (major position) in deutschen Bürger*innenbeteiligungsprozessen. Das Ziel unserer Arbeit ist es, Argument Mining für den Einsatz in Kommunen nutzbar zu machen. Wir vergleichen verschiedene Argument-Mining-Ansätze und entwickeln ein generisches Modell, das erfolgreich Argumentstrukturen in verschiedenen Datensätzen der verkehrsbezogenen Stadtplanung erkennen kann. Wir führen einen neuen Datenkorpus ein, der fünf Beteiligungsprozesse umfasst. In unserer Evaluierung erreichen wir hohe Makro-F1-Werte (0,76 – 0,80 für die Identifizierung argumentativer Einheiten; 0,86 – 0,93 für deren Klassifizierung). Darüber hinaus verbessern wir frühere Ergebnisse für die Klassifizierung von argumentativen Einheiten in einem ähnlichen deutschen Online-Partizipationsdatensatz.
Ergebnisse
Wir haben eine umfassende Evaluierung von Methoden des maschinellen Lernens in fünf Bürger*innenbeteiligungsverfahren in deutschen Kommunen durchgeführt, die sich in Format (Online-Beteiligungsplattformen und Fragebögen) und Prozessgegenstand unterscheiden.
BERT übertrifft bei beiden Aufgaben bisher veröffentlichte Argument-Mining-Ansätze für öffentliche Beteiligungsprozesse auf deutschsprachigen Daten und erreicht Makro-F1 Werte von 0,76 – 0,80 für die Identifizierung argumentativer Einheiten und Makro-F1 Werte von 0,86 – 0,93 für deren Klassifikation.
In einer datensatzübergreifenden Evaluierung können BERT-Modelle Argumentstrukturen in Datensätzen, die nicht Teil des Trainings waren, mit vergleichbarer Güte erkennen.
Eine solche Robustheit des Modells über verschiedene Beteiligungsprozesse hinweg ist ein wichtiger Schritt auf dem Weg zur praktischen Anwendung des Argument Mining in Kommunen.
Publikation
Romberg, Julia; Conrad, Stefan (2021). Citizen Involvement in Urban Planning – How Can Municipalities Be Supported in Evaluating Public Participation Processes for Mobility Transitions?. In: Proceedings of the 8th Workshop on Argument Mining: 89-99, Punta Cana, Dominican Republic. Association for Computational Linguistics. https://aclanthology.org/2021.argmining-1.9.
