Schlagwort: Partizipation

KI zur Auswertung von Beteiligung? Das Potenzial von Sprachmodellen zur Erkennnung von Verkehrsmitteln in Beteiligungsbeiträgen

In diesem Artikel in der Zeitschrift Internationales Verkehrswesen stellen Laura Mark, Julia Romberg und Tobias Escher ein Sprachmodell vor, mit dessen Hilfe Verkehrsmittel in Beteiligungsbeiträgen zuverlässig erkannt werden. Sie zeigen damit, dass überwachtes maschinelles Lernen die Auswertung von Beteiligungsbeiträgen mobilitätsbezogener Online-Beteiligungsverfahren sinnvoll unterstützen kann.

Zusammenfassung

Konsultationen sind ein wichtiger Bestandteil der Verkehrsplanung und können dazu beitragen, Wissen aus der Bevölkerung in den Planungsprozess zu integrieren. Insbesondere durch Onlineformate kommen allerdings oft große Mengen an Beiträgen zustande, deren gründliche Auswertung ressourcenintensiv ist. Mit dem Einsatz von KI wird die Hoffnung verbunden, diese zu unterstützen.

Das in diesem Artikel vorgestellte Sprachmodell beruht auf dem Konzept des überwachten maschinellen Lernens zur Textklassifikation. Dabei werden vortrainierte Modelle mithilfe kleinerer Datensätze nachtrainiert. So kann ein Modell an einen speziellen Anwendungsbereich, wie beispielsweise verkehrsplanerische Konsultationsprozesse, angepasst werden.

Hier wurde eine vortrainierte deutschsprachige Version des leistungsfähigen RoBERTa Sprachmodells als Ausgangspunkt genommen. Anhand eines Kategorisierungsschemas, das hauptsächlich nach erwähnten Verkehrsmitteln unterscheidet, wurden 1.700 Beiträge aus sieben verkehrsplanerischen Konsultationsprozessen manuell kodiert. Die so entstandenen Daten wurden zum Teil als Trainingsdaten zum Fine-Tuning des Sprachmodells und zum Teil zur Evaluation genutzt.

Ergebnisse

  • Insgesamt konnte gezeigt werden, dass sich bereits heute verfügbare Sprachmodelle eignen, um die Auswertung von Konsultationsprozessen in der Praxis zu unterstützen. Das hier entwickelte Sprachmodell zur Erkennung der Verkehrsmittel kann dabei als Basis für eine konkrete Anwendung dienen.
  • Das nachtrainierte RoBERTa-Sprachmodell ist sehr gut in der Lage, die passenden Verkehrsmittel zuzuordnen. Das von uns vorgestellte Modell kann zuverlässig immer deutlich über 90% der Beiträge korrekt den darin genannten Verkehrsmitteln zuordnen.
  • Für die Verfahren, auf deren Beiträgen das Modell trainiert worden war, konnten im Durchschnitt 97% der Kategorien korrekt zugeordnet werden (auf einem separaten Testset). Für Beiträge aus anderen verkehrsbezogenen Beteiligungsverfahren konnten mit einer Genauigkeit von 91 bis 94% weiterhin sehr zuverlässig die passenden Verkehrsmittel zugeordnet werden.
  • Die Leistung des Modells verschlechtert sich also kaum, wenn es auf bislang unbekannte Daten aus mobilitätsbezogenen Beteiligungsverfahren angewandt wird. Das bedeutet, dass eine manuelle Kodierung im Vorfeld zumindest bei ähnlich aufgestellten Beteiligungsverfahren entfallen kann, was den Aufwand deutlich reduziert.

Publikation

Mark, Laura; Romberg, Julia; Escher, Tobias (2024). KI zur Auswertung von Beteiligung? Das Potenzial von Sprachmodellen zur Erkennung von Verkehrsmitteln in Beteiligungsbeiträgen. In: Internationales Verkehrswesen 76 (1): 12-16. DOI: 10.24053/iv-2024-0003

Die politische Gestaltung der Nachhaltigkeitstransformation: partizipativ und ökologisch?

In diesem Artikel in regierungsforschung.de, dem wissenschaftlichen Online-Magazin der NRW School of Governance, geht Tobias Escher der Frage nach, ob sich die Beteiligungsformate, die zur einer partizipativen Gestaltung der Nachhaltigkeitstransformation notwendig sind, auch ökologisch nachhaltig umsetzen lassen. Es wird also beleuchtet, wie sich der Anspruch an (ökologisch) nachhaltiges Regierungshandeln im demokratisch so wichtigen Bereich der öffentlichen politischen Mitbestimmung gewährleisten lässt.

Zusammenfassung

Die Transformation zu einer nachhaltigen Gesellschaft kann nur durch die Einbeziehung aller Stakeholder gelingen. Gleichzeitig erfordert nachhaltiges Regierungshandeln, dass auch diese Beteiligungsprozesse den Anforderungen an ebendiese Nachhaltigkeit genügen. Auf Basis einer systematischen Diskussion der Treibhausgasemissionen, die bei verschiedenen politischen Beteiligungsformaten anfallen, argumentiert dieser Beitrag, dass angesichts der funktionalen und normativen Bedeutung politischer Partizipation deren Ökobilanz regelmäßig nicht im Widerspruch zum Anspruch an nachhaltiges Regieren steht.

Ergebnisse

  • Bei der Durchführung von Beteiligungsformaten entstehen Treibhausgasemissionen durch notwendige Energie, die Mobilität der Teilnehmenden sowie gegebenenfalls deren Versorgung. Die Höhe der Emissionen hängt dabei entscheidend davon ab, ob die Formate in Präsenz oder digital durchgeführt werden (siehe Tabelle unten).
  • Für lokale Präsenzformate sind die Emissionen aus dem Betrieb des Veranstaltungsortes und der Mobilität vergleichsweise gering und betragen im betrachteten Szenario pro Person nur rund 2kg CO2-Äquivalente. Die Emissionen steigen um ein Vielfaches, sobald eine weitere Anreise (mit fossil betriebenen Verkehrsmitteln) notwendig ist – im zu Grunde liegenden Szenario um das zwölffache auf 24kg. Das entspricht in etwa den durchschnittlichen Emissionen aus einer Autofahrt von 100km Länge.
  • Im Gegensatz dazu entstehen durch Online-Beteiligungsformate nur sehr geringe Emissionen (im Szenario rund 0,3kg pro Person). Dennoch kann die Wahl der Beteiligungsformate sich nicht nur an deren kurzfristigen ökologischen Kosten orientieren, sondern muss auch normative Anforderung an Inklusion und Mitbestimmung berücksichtigen. Gerade digitale Beteiligungsformate stellen bedeutende Teilnahmehürden für ohnehin benachteiligte Bevölkerungsgruppen dar (siehe dazu auch unser DigiBeSt-Gutachten).
  • Insgesamt hat Beteiligung also zwar einen ökologischen Fußabdruck, dieser ist aber in aller Regel aus funktionalen und normativen Erwägungen gerechtfertigt. Regieren soll eben nicht nur nachhaltig, sondern vor allem demokratisch sein!
Präsenzbeteiligungdigitale Beteiligung
lokal(über)-regionalasynchronsynchron
Energie & KlimaHeizung & Klimatisierung VeranstaltungsortBetrieb Endgeräte & Rechen-zentrendaten-intensivere Kommu-nikation
MobilitätAnreise mit Verkehrs-mittelnAnreise mit Verkehrs-mittelnentfällt
Versorgung TeilnehmendeCateringÜber-nachtungentfällt
Direkte Umweltfolgen verschiedener Beteiligungsformate. Je dunkler die Farbe, desto größer sind die jeweiligen Emissionen aus dieser Quelle. Die Emissionen steigen grundsätzlich mit Anzahl der Teilnehmenden sowie Dauer des Beteiligungsformats.

Publikation

Escher, Tobias (2024). Die politische Gestaltung der Nachhaltigkeitstransformation: partizipativ und ökologisch? Essay. In: Regierungsforschung.de 15. https://regierungsforschung.de/die-politische-gestaltung-der-nachhaltigkeitstransformation-partizipativ-und-oekologisch/.

Die Konsultation von Bürgerinnen und Bürgern bei kommunalen Mobilitätsprojekten: Eine quantitative Erhebung konsultativer Beteiligungsverfahren in Deutschland

In diesem Artikel in der Zeitschrift Raumforschung und Raumordnung stellen Laura Mark, Katharina Holec und Tobias Escher die Ergebnisse einer Erhebung zu Umfang und Ausgestaltung von Konsultation bei kommunaler Planung mit Mobilitätsbezug vor. Aus diesen Ergebnissen lassen sich Aussagen über die Beteiligungslandschaft in Deutschland ableiten.

Die Ergebnisse wurden im Juni 2023 in einer früheren Fassung auf der 18. Jahrestagung des Arbeitskreises Mobilität und Verkehr (AK MoVe) vorgestellt.

Zusammenfassung

Kommunen als wesentliche Akteure der Verkehrswende nutzen bei der Planung verstärkt konsultative Öffentlichkeitsbeteiligung. Bislang ist jedoch unklar, in welchem Ausmaß sie Beteiligungsverfahren bei der mobilitätsbezogenen Planung einsetzen und wie diese gestaltet werden. Im Hinblick auf die Herausforderungen der Verkehrswende ist eine solche Bestandsaufnahme aber höchst relevant, um die praktische Bedeutung von Partizipationsverfahren abzuschätzen und die Rolle verschiedener Verfahrenstypen und -kontexte besser untersuchen zu können.

Die Erhebung schließt diese Lücke auf Basis einer Auswertung der konsultativen, diskursiven Beteiligungsangebote für mobilitätsbezogene Planungen deutscher Städte seit 2015. Untersucht wurden Städte mit Leitlinien für Bürgerbeteiligung, die mit einer Zufallsauswahl aus ‘typischen‘ Kommunen in Nordrhein-Westfalen, Baden-Württemberg und Sachsen sowie den drei deutschen Stadtstaaten verglichen wurden.

Auf Basis dieser rund 180 Städte und 350 Verfahren wird deutlich, dass diskursive Konsultationen zwar regelmäßig durchgeführt werden, vor allem in Kommunen mit Leitlinien sowie größeren Städten. Kritisch zu bewerten ist, dass die dabei eingesetzten Formate meist nur bestimmte Gruppen der Bevölkerung erreichen können und dass sich oft keine Angaben zu den Ergebnissen der Beteiligung auffinden lassen. Damit kommen die Potentiale diskursiver Bürger*innenbeteiligung bei der Bewältigung der kommunalen Verkehrswende bislang zu wenig zum Tragen.

Wesentliche Ergebnisse

  • Beteiligung an kommunalen Planungsverfahren mit Mobilitätsbezug ist keine Ausnahme mehr, aber auch noch nicht die Regel. Basierend auf den Daten unserer Stichprobe kann man davon ausgehen, dass es in den meisten Kommunen in Deutschland im betrachteten Zeitraum keine Möglichkeit gab, sich an solchen Verfahren zu beteiligen.
  • Generell beteiligten Städte mit Leitlinien ihre Bürger*innen häufiger, öfter und mit vielfältigeren Themen und Formaten. Mittel- und Großstädte beteiligten deutlich häufiger als Kleinstädte.
  • Bei den eingesetzten Beteiligungsformaten zeigen sich Schwächen: Der Großteil der Kommunen setzten auf selbst-selektierte Auswahlprozesse. Erste Versuche mit zielgruppenspezifischen Formaten oder vereinzelt auch Zufallsauswahl sind v.a. in den Kommunen mit Leitlinien und in den Stadtstaaten zu finden. Auch wurde ein großer Anteil der Verfahren rein online durchgeführt.
  • Für 5 bis 10% der Verfahren ließ sich kein aktueller Stand auffinden, für einen größeren Teil war unklar, was nach der Konsultation passierte. Dies trifft für alle Kommunen zu, wenn auch weniger stark auf solche mit Leitlinien und lässt sich als Mangel an Transparenz und Wirkung der Beteiligung werten.

Publikation

Mark, Laura; Holec, Katharina; Escher, Tobias (2024). Die Beteiligung von Bürgerinnen und Bürgern bei kommunalen Mobilitätsprojekten. Eine quantitative Erhebung konsultativer Beteiligungsverfahren in Deutschland. In: Raumforschung und Raumordnung: 1-16. DOI: 10.14512/rur.2239.

Datengrundlage

Die Datengrundlage, also die systematisch erhobene Zusammenstellung der Beteiligungsverfahren und deren Kodierung nach bestimmten Aspekten, findet sich zur Recherche und zum Download hier.

Ist das gerecht? Eine Bewertungshilfe für lokale Mobilitätsmaßnahmen

In diesem Artikel in der Zeitschrift Internationales Verkehrswesen stellen Laura Mark, Annika Busch-Geertsema, Jessica LeBris, Gesa Matthes und Kerstin Stark einen praxistauglichen Ansatz vor, um die Gerechtigkeit von Verkehrswend-Maßnahmen in verschiedenen Dimensionen zu überprüfen. Der Ansatz sowie der Artikel sind im Kontext des Arbeitskreises „Mobilität, Erreichbarkeit und soziale Teilhabe“ der Akademie für Raumentwicklung in der Leibniz-Gemeinschaft (ARL) entstanden.

Zusammenfassung

Vorgestellt wird ein praxistaugliches Instrument, um einen systematischen „zweiten Blick“ auf Verkehrswende-Maßnahmen mit einer Brille der Gerechtigkeit werfen zu können. Es kann dabei sowohl für die konzeptionelle Unterstützung bei Planung und Umsetzung, zur Reflexion während oder nach des Prozesses sowie für ein fortlaufendes Monitoring genutzt werden.

Anhand von drei Gerechtigkeitsdimensionen kann überprüft werden, welche Bevölkerungsgruppen von der Maßnahmen profitieren. Als Dimensionen dienen dabei Verteilungsgerechtigkeit, Anerkennung verschiedener Lebensrealitäten und Verfahrensgerechtigkeit, die weiter ausdifferenziert und in einer einfach handhabbaren Matrix miteinander verschnitten wurden.

Um die Anerkennung verschiedener Lebensrealitäten auszudifferenzieren, wird mit dem Persona-Ansatz gearbeitet. In einer Persona sind bestimmte Eigenschaften kombiniert, die Mobilitätsoptionen und -entscheidungen sowie Aktivitätsketten beeinflussen und einschränken können. Im Artikel wird eine Systematik für die Entwicklung eigener Personas vorgeschlagen, für die Anwendung können aber auch die bereits von den Autorinnen entwickelten Personas genutzt werden.

Im Artikel wird der Ansatz der Gerechtigkeitsdimensionen und der Personas genauer vorgestellt. Er kann hier heruntergeladen werden.

IV GerechtigkeitstoolHerunterladen

Außerdem kann das Bewertungswerkzeug einschließlich einer Nutzungsanleitung und Vorschlägen für Personas im Excel-Format auf der Seite des AK Mobilität der ARL heruntergeladen werden (nach unten scrollen).

Die Autorinnen freuen sich über Rückmeldung und ermutigen zur freien Verwendung und Weiterentwicklung.

Publikation

Mark, Laura; Busch-Geertsema, Annika; LeBris, Jessica; Matthes, Gesa; Stark, Kerstin (2023): Ist das gerecht? Eine Bewertungshilfe für lokale Mobilitätsmaßnahmen. In: Internationales Verkehrswesen 75 (4), S. 28–31.

Masterarbeit zur thematischen Klassifikation von Beteiligungsbeiträgen mit Active Learning

Im Rahmen seiner Masterarbeit im MA Informatik an der Heinrich-Heine-Universität Düsseldorf hat sich Boris Thome mit der Klassifikation von Beteiligungsbeiträgen nach den enthaltenen Themen beschäftigt. Diese Arbeit führt die Arbeit von Julia Romberg und Tobias Escher fort, indem eine feinere Einteilung der Beiträge nach Unterkategorien untersucht wurde.

Zusammenfassung

Politische Behörden in demokratischen Ländern konsultieren die Öffentlichkeit regelmäßig zu bestimmten Themen, doch die anschließende Auswertung der Beiträge erfordert erhebliche personelle Ressourcen, was häufig zu Ineffizienzen und Verzögerungen im Entscheidungsprozess führt. Eine der vorgeschlagenen Lösungen ist die Unterstützung der menschlichen Analyst*innen bei der thematische Gruppierung der Beiträge durch KI.

Überwachtes maschinelles Lernen (supervised machine learning) bietet sich für diese Aufgabe an, indem die Vorschläge der Bürger nach bestimmten vordefinierten Themen klassifiziert werden. Durch die individuelle Natur vieler öffentlicher Beteiligungsverfahren ist der manuelle Aufwand zur Erstellung der benötigten Trainingsdaten jedoch oft zu teuer. Eine mögliche Lösung, um die Menge der Trainingsdaten zu minimieren, ist der Einsatz von Active Learning. In unser vorherigen Arbeit konnten wir zeigen, dass Active Learning den manuellen Annotationsaufwand zur Kodierung von Oberkategorien erheblich reduzieren kann. In dieser Arbeit wurde nachfolgend untersucht, ob dieser Vorteil auch dann noch gegeben ist, wenn die Oberkategorien in weitere Unterkategorien unterteilt werden. Eine besondere Herausforderung besteht darin, dass einige der Unterkategorien sehr selten sein können und somit nur wenige Beiträge umfassen.

In der Evaluation verschiedener Methoden wurden Daten aus Online-Beteiligungsprozessen in drei deutschen Städten verwendet. Die Ergebnisse zeigen, dass die maschinelle Klassifikation von Unterkategorien deutlich schwerer ist als die Klassifikation der Oberkategorien. Dies liegt an der hohen Anzahl von möglichen Unterkategorien (30 im betrachteten Datensatz), die zusätzlich sehr ungleich verteilt sind. Im Fazit ist weitere Forschung erforderlich, um eine praxisgerechte Lösung für die flexible Zuordnung von Unterkategorien durch maschinelles Lernen zu finden.

Publikation

Thome, Boris (2022): Thematische Klassifikation von Partizipationsverfahren mit Active Learning. Masterarbeit am Institut für Informatik, Lehrstuhl für Datenbanken und Informationssysteme, der Heinrich-Heine-Universität Düsseldorf. (Download)

Masterarbeit zur automatisierten Klassifikation von Argumenten in Beteiligungsbeiträgen

Im Rahmen ihrer Masterarbeit im MA Informatik an der Heinrich-Heine-Universität Düsseldorf hat sich Suzan Padjman mit der Klassifikation von Argumentationskomponenten in Beteiligungsbeiträgen beschäftigt. Diese Arbeit führt die bisherige Arbeit unseres Teams fort, indem Fälle betrachtet werden, in denen argumentative Sätze sowohl einen Vorschlag als auch eine Zustandsbeschreibung enthalten können.

Zusammenfassung

Öffentlichkeitsbeteiligungsverfahren ermöglichen es den Bürger*innen, sich an kommunalen Entscheidungsprozessen zu beteiligen, indem sie ihre Meinung zu bestimmten Themen äußern. Kommunen haben jedoch oft nur begrenzte Ressourcen, um eine möglicherweise große Menge an Textbeiträgen zu analysieren, welche zeitnah und detailliert ausgewertet werden müssen. Eine automatisierte Unterstützung bei der Auswertung kann daher hilfreich sein, z.B. um Argumente zu analysieren.

Bei der Klassifikation von argumentativen Sätzen nach Typen (hier: Vorschlag oder Zustandsbeschreibung) kann es vorkommen, dass ein Satz mehrere Komponenten eines Arguments beinhaltet. In diesem Fall besteht die Notwendigkeit einer Multi-Label Klassifikation, bei der mehr als eine Kategorie zugeordnet werden kann.

Um dieses Problem zu lösen, wurden in der Arbeit verschiedene Methoden zur Multi-Label Klassifikation von Argumentationskomponenten verglichen (SVM, XGBoost, BERT und DistilBERT). Im Ergebnis zeigte sich, dass BERT-Modelle eine macro F1-Vorhersagegüte von bis zu 0,92 erreichen können. Dabei weisen die Modelle datensatzübergreifend eine robuste Performance auf – ein wichtiger Hinweis auf den praktischen Nutzen solcher Verfahren.

Publikation

Padjman, Suzan (2022): Mining Argument Components in Public Participation Processes. Masterarbeit am Institut für Informatik, Lehrstuhl für Datenbanken und Informationssysteme, der Heinrich-Heine-Universität Düsseldorf. (Download)

Projektarbeit zur automatisierten Erkennung von Verortungen in Beteiligungsbeiträgen

Im Rahmen ihrer Projektarbeit im MA Informatik an der Heinrich-Heine-Universität Düsseldorf hat sich Suzan Padjman mit der Entwicklung von Verfahren zur automatisierten Erkennung von textuell beschriebenen Ortsangaben in Beteiligungsverfahren beschäftigt.

Zusammenfassung

Im Kontext der Verkehrswende sind konsultative Verfahren ein beliebtes Hilfsmittel, um Bürger*innen die Möglichkeit zu geben, ihre Interessen und Anliegen zu vertreten und einzubringen. Insbesondere bei mobilitätsbezogenen Fragen ist ein wichtiger Analyseaspekt der gesammelten Beiträge, welche Orte (z.B. Straßen, Kreuzungen, Rad- oder Fußwege) Probleme aufweisen und verbesserungswürdig sind, um die Mobilität nachhaltig zu fördern. Eine automatisierte Identifikation von solchen Verortungen hat das Potential, die ressourcenintensive manuelle Auswertung zu unterstützen.

Ziel dieser Arbeit war es daher, mithilfe von Methoden aus dem Natural-Language-Processing (NLP) eine automatisierte Lösung zur Identifikation von Verortungen zu finden. Dazu wurde eine Verortung als die Beschreibung eines konkreten Ortes eines Vorschlags definiert, welche auf einer Karte markiert werden könnte. Beispiele für Verortungen sind Straßennamen, Stadtteile und eindeutig zuordenbare Plätze, wie z.B. “in der Innenstadt” oder “am Ausgang des Hauptbahnhofs”. Reine Lagebeschreibungen ohne eine konkrete Ortszugehörigkeit wurden dagegen nicht als Verortung betrachtet. Methodisch wurde die Aufgabe als eine Sequence-Labeling-Aufgabe betrachtet, da Verortungen häufig aus mehreren hintereinanderfolgenden Token, sogenannten Wortsequenzen, bestehen.

Im Vergleich verschiedener Modelle (spaCy NER, GermanBERT, GBERT, dbmdz BERT, GELECTRA, multilingual BERT, multilingual XLM-RoBERTa) auf zwei deutschsprachigen Beteiligungsdatensätzen zur Radinfrastruktur in Bonn und Köln Ehrenfeld zeigte sich, dass GermanBERT die besten Ergebnisse erzielt. Dieses Modell kann Token, die Teil einer textuellen Ortsbeschreibung sind, mit einem vielversprechenden macro F1-Score von 0,945 erkennen. In zukünftiger Arbeit sollen die erkannten Textphrasen dann in Geokoordinaten überführt werden, um die erkannten Ortszugehörigkeiten von Vorschlägen auch kartenbasiert abbilden zu können.

Publikation

Padjman, Suzan (2021): Unterstützung der Auswertung von verkehrsbezogenen Bürger*innenbeteiligungsverfahren durch die automatisierte Erkennung von Verortungen. Projektarbeit am Institut für Informatik, Lehrstuhl für Datenbanken und Informationssysteme, der Heinrich-Heine-Universität Düsseldorf. (Download)

Der Einfluss von (Online-)Konsultationsverfahren auf Legitimitätsüberzeugungen

In diesem Artikel in der Zeitschrift Policy & Internet gehen Tobias Escher und Bastian Rottinghaus der Frage nach, wie sich die Beteiligung an lokalen Konsultationsverfahren (zur Radverkehrsplanung) auf die Einstellung zur lokalen Politik auswirkt. Dazu untersuchten sie im Jahr 2018 insgesamt drei Beteiligungsverfahren, in denen die Städte Bonn, Köln (Bezirk Ehrenfeld) und Moers ihre Bürger*innen zur lokale Radinfrastruktur konsultiert haben. Dazu konnten die Bürger*innen jeweils für fünf Wochen auf einer Online-Plattform Vorschläge einreichen, kommentieren und bewerten. Insgesamt wurden so über 3.000 Vorschläge gesammelt, die in die spätere Radverkehrsplanung einfließen sollten (siehe weitere Informationen zum Projekt der Raddialoge).

Zusammenfassung

Um Legitimität für Policies und politische Institutionen zu schaffen, beziehen Regierungen die Bürger*innen regelmäßig in den Entscheidungsprozess ein, zunehmend auch mit Hilfe des Internets. Diese Studie untersucht, ob sich Online-Beteiligung tatsächlich positiv auf die Legitimitätsüberzeugungen der beteiligten Bürger*innen auswirkt und welche konkreten Aspekte des Beteiligungsprozesses, der einzelnen Teilnehmenden und des lokalen Kontexts zu diesen Veränderungen beitragen. Unsere Befragungen von Teilnehmenden an nahezu identischen Online-Konsultationen in drei deutschen Kommunen zeigen, dass der Beteiligungsprozess und die von ihm erwarteten Ergebnisse einen erheblichen Einfluss auf die Zufriedenheit mit lokalpolitischen Institutionen und kommunaler Politik haben. Während die meisten Teilnehmenden zumindest von etwas positiveren Einschätzungen berichten, die hauptsächlich von der Einschätzung der Wirkungen abhängen, führt die Beteiligung an dem Prozess für einige nicht zu mehr, sondern sogar zu weniger Legitimität. Dies gilt sowohl für die Teilnehmenden, die sich nicht öffentlich äußern, als auch für diejenigen, die sich intensiv beteiligen. Unsere Ergebnisse bestätigen auch die wichtige Rolle verfügbarer individueller Ressourcen und kontextbezogener Einstellungen wie Vertrauen in und Zufriedenheit mit der lokalen (nicht der nationalen) Politik. Schließlich zeigt unsere Analyse, dass Online-Beteiligung in der Lage ist, konstruktive Diskussionen zu ermöglichen, nützliche Ergebnisse zu liefern und Menschen zur Partizipation zu bewegen, die sich offline nicht beteiligt hätten.

Ergebnisse

  • Die von uns untersuchten Beteiligungsverfahren, zu denen die Stadt jeweils ihre Bürger*innen eingeladen hat, haben tatsächlich einen Einfluss auf die Einstellungen derjenigen, die sich an solchen Konsultationen beteiligen.
  • Für viele der Teilnehmenden tritt der erhoffte positive Effekt ein: Sie äußern sich positiver zu den lokalen Institutionen (Bürgermeister, Verwaltung) und der lokalen Politik insgesamt. Entscheidend für die Einschätzung ist dabei, ob man erwartet, dass die Politik die Vorschläge der Bürger*innen auch ernst nimmt und umsetzt. Das Ergebnis ist also wichtiger als der Prozess selbst.
  • Ein wichtiges Ergebnis ist: Beteiligungsprozesses können diese positive Wirkung auch für diejenigen entfalten, die zunächst eher unzufrieden mit der lokalen Politik sind. Dennoch spielt die bisherige Erfahrung mit der Politik vor Ort eine Rolle: Wer bereits eine höhere Zufriedenheit und ein höheres Vertrauen zur Kommune hat, der oder die wird durch Beteiligung bestärkt.
  • Gleichzeitig kann Partizipation auch zu weniger Zufriedenheit führen. Nachweisen konnten wir das zum einen für diejenigen, die sich intensiv in das Beteiligungsverfahren einbringen und sehr viele Vorschläge gemacht haben. Im Schnitt war diese Gruppe am Ende weniger zufrieden, wohl auch deshalb, weil ihre Erwartungen an den Einfluss ihrer Mühe enttäuscht wurden. Unzufriedener wurden auch diejenigen, die sich nicht aktiv eingebracht haben, sondern sich das Online-Verfahren nur angeschaut haben, ohne selbst Vorschläge zu machen. Diese Personen haben sich offenbar vor allem daran gestört, dass der Prozess ausschließlich online stattgefunden hat.
  • Insgesamt zeigen unsere Ergebnisse aber, dass solche Online-Parizipationsverfahren nicht nur konstruktive Beteiligung ermöglichen, sondern dass dadurch zusätzlich Gruppen erreicht werden: Fast die Hälfe der Befragten hätte sich nicht beteiligt, wenn das Verfahren nur mit Vor-Ort Formaten durchgeführt worden wäre.

Publikation

Escher, Tobias; Rottinghaus, Bastian (2023). Effects of online citizen participation on legitimacy beliefs in local government. Evidence from a comparative study of online participation platforms in three German municipalities. In: Policy & Internet 16(1): 173-208. DOI: 10.1002/poi3.371.

Metriken für eine stärker nutzendenzentrierte Evaluation der Klassifikationsgüte

In diesem Beitrag auf der 14th International Conference on Recent Advances in Natural Language Processing werden Metriken vorgestellt, um praxisrelevante Anforderungen der Einsetzbarkeit von KI-basierten Werkzeugen zu evaluieren.

Zusammenfassung

Eine Lösung für begrenzte Annotationsbudgets ist aktives Lernen (Active Learning / AL), ein gemeinschaftlicher Prozess von Mensch und Maschine zur strategischen Auswahl einer kleinen, aber informativen Menge von Beispielen. Während aktuelle Maßnahmen AL aus der Perspektive des maschinellen Lernens optimieren, argumentieren wir, dass für eine erfolgreiche Übertragung in die Praxis zusätzliche Kriterien auf die zweite Säule von AL, die menschlichen Annotator*innen und ihre Bedürfnisse, abzielen müssen. Beispielsweise wird der Nutzen von AL-Verfahren im Bereich der Textklassifikation durch gängige Gütemaße wie Accuracy oder F1 bewertet. Solche Maße greifen jedoch bei praxisnahen Datensätzen, die eine erhöhte Anzahl von unausgewogenen Klassen aufweisen, zu kurz, da hier weitere Kriterien wie das schnelle Finden aller Klassen (z.B. Themen) oder die Identifikation seltener Fälle eine Rolle spielen. Wir führen daher vier Maße ein, die die klassenbezogenen Anforderungen widerspiegeln, die Benutzer*innen an die Datenerfassung stellen.

In einem umfassenden Vergleich von Unsicherheits- (Uncertainty), Diversitäts- (Diversity) und hybriden Datenauswahlstrategien auf sechs verschiedenen Datensätzen stellen wir z.B. fest, dass eine starke F1-Leistung nicht unbedingt mit einer vollständigen Klassenabdeckung verbunden ist (d.h. es werden nicht alle Themen gefunden) und dass die verschiedenen Datenauswahlstrategien unterschiedliche Stärken und Schwächen bezüglich der klassenbezogenen Anforderungen aufzeigen. Unsere empirischen Ergebnisse unterstreichen, dass eine ganzheitliche Betrachtung bei der Bewertung von AL-Ansätzen unerlässlich ist, um ihre Nützlichkeit in der Praxis sicherzustellen. Zu diesem Zweck müssen Standardmaße für die Bewertung von maschinellen Textklassifikationsverfahren durch solche ergänzt werden, die die Bedürfnisse der Nutzer besser widerspiegeln.

Wesentliche Ergebnisse

  • In dieser Publikation werden vier neue klassenbezogene Gütemaße für AL-Ansätze vorgeschlagen, die berücksichtigen, wie gut und schnell seltene oder alle Klassen erkannt werden. Diese Kriterien werden von Standardmaßen (z.B. F1) nicht im Detail berücksichtigt.
  • Die neuen Maße ermöglichen praxisrelevante Einsichten in die Performanz insbesondere auf Datensätzen mit unterschiedlichen oft vorkommenden Klassen sowie einer großen Spanne an verschiedenen Klassen – Eigenschaften, die in der Praxis (z.B. bei der Themenerkennung in Beteiligungsverfahren) weit verbreitet sind.
  • Es zeigt sich, dass die Wahl einer geeigneten AL-Strategie nicht nur aufgrund von Standardmaßen getroffen werden sollte. Die besten Ansätze nach dem F1-Maß können z.B. nicht sicherstellen, dass auch alle Klassen gefunden werden, obgleich dies eine essenzielle Anforderung in der automatisierten Auswertung von Beteiligungsbeiträgen ist: kein Thema sollte vernachlässigt werden, keine Stimme untergehen. Die von uns entwickelten Maße können die Auswahl zusätzlich informieren und so praxisorientierte Lösungen liefern.

Publikation

Romberg, J. (2023). Mind the User! Measures to More Accurately Evaluate the Practical Value of Active Learning Strategies. Proceedings of the 14th International Conference on Recent Advances in Natural Language Processing, 996–1006. https://aclanthology.org/2023.ranlp-1.107/

Masterarbeit zu Schüler*innenpartizipation während der Corona-Pandemie

Im Rahmen ihrer Masterarbeit im MA Sozialwissenschaften an der Heinrich-Heine-Universität Düsseldorf hat sich Maria Antonia Dausner mit den Herausforderungen von Schüler*innenpartizipation während der Corona-Pandemie beschäftigt, und dabei ausgewählte Grundschulen in NRW in den Blick genommen.

Zusammenfassung

Partizipation von Schüler:innen ist sowohl rechtlich in der UN-Kinderrechtekonvention verankert als auch aus demokratiepädagogischen und entwicklungspsychologischen Gründen von Bedeutung. In der Schule gibt es jedoch vielfältige Herausforderungen und Risiken, die diese im Alltag erschweren und dazu führen, dass Schüler:innenpartizipation oft nicht umfänglich gewährleistet wird. Während der Covid-19 Pandemie und den damit verbundene Schulschließungen wurde der Schulalltag unterbrochen und kollektive Lernprozesse konnten nicht stattfinden. Mit Bezug auf den komplexen Charakter von Schüler:innenpartizipation stellt sich daher die Frage, welche Folge die Herausforderungen im Rahmen der Schulschließungen und dem Online-Unterricht für Schüler:innenpartizipation haben. Es ist davon auszugehen, dass Schüler:innenpartizipation nicht in demselben Umfang weitergeführt wurde. Daher ist insbesondere von Interesse, welche Beispiele guter Schüler:innenpartizipation es gibt und wie diese aussehen können. Dazu wird folgende konkrete Forschungsfrage gestellt: Wie konnte gute Schüler:innenpartizipation während den Covid-19 bedingten Schulschließungen aussehen?

Um diese Frage zu beantworten, wurden qualitative leitfadengestützte Interviews an drei Grundschulen in Nordrhein-Westfalen durchgeführt. Diese Schulen wurden ausgewählt, da aufgrund ihrer Teilnahme am Landesprogramm-Kinderrechteschulen davon auszugehen ist, dass Schüler:innenpartizipation ein großer Stellenwert beigemessen wird. Es wurden insgesamt sechs Interviews mit der Schulleitung und Lehrkräften sowie Schüler:innen geführt, die nach dem Vorgehen der qualitativen Inhaltsanalyse von Mayring ausgewertet werden.

Anhand verschiedener Dimensionen von Partizipation zeigte sich, dass weniger Partizipationsformate weitergeführt wurden, Partizipation weniger intensiv war und Schüler:innen bei weniger Themen mitbestimmen konnten. Bei der Frage, was rückblickend hätte anders gemacht werden können, wurde gesagt, dass es kaum Verbesserungsvorschläge gibt und nichts anders gemacht worden wäre. Daran wird die Diskrepanz zwischen theoretischer Relevanz und praktischer Umsetzung deutlich und stellt insbesondere die Bedeutung von Schüler:innenpartizipation in Frage. Zudem zeigte sich, dass Schüler:innenpartizipation abhängig von dem Willen der Erwachsenen ist, diese zu ermöglichen und umfänglich umzusetzen. Eine konkrete Möglichkeit, Schüler:innenpartizipation weiterzuführen, stellte einen Wechsel in den digitalen Raum und das Nutzen von Lernplattformen sowie Videokonferenzen dar. Hier eröffnete sich ein neues Potential für Schüler:innenpartizipation, welches es zukünftig auszuschöpfen gilt. Trotz der Herausforderungen wurden teilweise auch in informellen Formaten Partizipationsmöglichkeiten für Schüler:innen geschaffen. Diese ermöglichten Raum für Austausch und Zusammenkommen, was vor dem veränderten (Schul-)Alltag der Schüler:innen von besonderer Bedeutung ist.

Publikation

Dausner, Maria Antonia (2022): Möglichkeiten von Schüler:innenpartizipation während den Covid-19 bedingten Schulschließungen – eine Analyse am
Beispiel von Grundschulen in Nordrhein-Westfalen. Arbeit zur Erlangung des M.A. Sozialwissenschaften am Institut für Sozialwissenschaften der Heinrich-Heine-Universität Düsseldorf. (Download)