In diesem Artikel in der Zeitschrift Internationales Verkehrswesen stellen Laura Mark, Annika Busch-Geertsema, Jessica LeBris, Gesa Matthes und Kerstin Stark einen praxistauglichen Ansatz vor, um die Gerechtigkeit von Verkehrswend-Maßnahmen in verschiedenen Dimensionen zu überprüfen. Der Ansatz sowie der Artikel sind im Kontext des Arbeitskreises „Mobilität, Erreichbarkeit und soziale Teilhabe“ der Akademie für Raumentwicklung in der Leibniz-Gemeinschaft (ARL) entstanden.
Zusammenfassung
Vorgestellt wird ein praxistaugliches Instrument, um einen systematischen „zweiten Blick“ auf Verkehrswende-Maßnahmen mit einer Brille der Gerechtigkeit werfen zu können. Es kann dabei sowohl für die konzeptionelle Unterstützung bei Planung und Umsetzung, zur Reflexion während oder nach des Prozesses sowie für ein fortlaufendes Monitoring genutzt werden.
Anhand von drei Gerechtigkeitsdimensionen kann überprüft werden, welche Bevölkerungsgruppen von der Maßnahmen profitieren. Als Dimensionen dienen dabei Verteilungsgerechtigkeit, Anerkennung verschiedener Lebensrealitäten und Verfahrensgerechtigkeit, die weiter ausdifferenziert und in einer einfach handhabbaren Matrix miteinander verschnitten wurden.
Um die Anerkennung verschiedener Lebensrealitäten auszudifferenzieren, wird mit dem Persona-Ansatz gearbeitet. In einer Persona sind bestimmte Eigenschaften kombiniert, die Mobilitätsoptionen und -entscheidungen sowie Aktivitätsketten beeinflussen und einschränken können. Im Artikel wird eine Systematik für die Entwicklung eigener Personas vorgeschlagen, für die Anwendung können aber auch die bereits von den Autorinnen entwickelten Personas genutzt werden.
Im Artikel wird der Ansatz der Gerechtigkeitsdimensionen und der Personas genauer vorgestellt. Er kann hier heruntergeladen werden.
Außerdem kann das Bewertungswerkzeug einschließlich einer Nutzungsanleitung und Vorschlägen für Personas im Excel-Format auf der Seite des AK Mobilität der ARL heruntergeladen werden (nach unten scrollen).
Die Autorinnen freuen sich über Rückmeldung und ermutigen zur freien Verwendung und Weiterentwicklung.
Publikation
Mark, Laura; Busch-Geertsema, Annika; LeBris, Jessica; Matthes, Gesa; Stark, Kerstin (2023): Ist das gerecht? Eine Bewertungshilfe für lokale Mobilitätsmaßnahmen. In: Internationales Verkehrswesen 75 (4), S. 28–31.
In diesem Beitrag auf der 14th International Conference on Recent Advances in Natural Language Processing werden Metriken vorgestellt, um praxisrelevante Anforderungen der Einsetzbarkeit von KI-basierten Werkzeugen zu evaluieren.
Zusammenfassung
Eine Lösung für begrenzte Annotationsbudgets ist aktives Lernen (Active Learning / AL), ein gemeinschaftlicher Prozess von Mensch und Maschine zur strategischen Auswahl einer kleinen, aber informativen Menge von Beispielen. Während aktuelle Maßnahmen AL aus der Perspektive des maschinellen Lernens optimieren, argumentieren wir, dass für eine erfolgreiche Übertragung in die Praxis zusätzliche Kriterien auf die zweite Säule von AL, die menschlichen Annotator*innen, abzielen müssen. In der Textklassifikation , wo Praktiker*innen z.B. regelmäßig mit Datensätzen konfrontiert werden, die eine erhöhte Anzahl von unausgewogenen Klassen aufweisen, greifen Maße wie F1 zu kurz, wenn es darum geht, alle Klassen zu finden oder seltene Fälle zu identifizieren. Wir führen daher vier Maße ein, die die klassenbezogenen Anforderungen widerspiegeln, die Benutzer*innen an die Datenerfassung stellen.
In einem umfassenden Vergleich von Unschärfe-, Diversitäts- und hybriden Abfragestrategien auf sechs verschiedenen Datensätzen stellen wir fest, dass eine starke F1-Leistung nicht unbedingt mit einer vollständigen Klassenabdeckung verbunden ist. Uncertainty Sampling übertrifft Diversity Sampling bei der Auswahl von Minderheitsklassen und der effizienteren Abdeckung von Klassen, während Diversity Sampling bei der Auswahl von weniger monotonen Stapeln brilliert. Unsere empirischen Ergebnisse unterstreichen, dass eine ganzheitliche Betrachtung bei der Bewertung von AL-Ansätzen unerlässlich ist, um ihre Nützlichkeit in der Praxis sicherzustellen – das eigentliche, aber oft übersehene Ziel der Entwicklung. Zu diesem Zweck müssen Standardmaße für die Bewertung der Leistung von Textklassifikation durch solche ergänzt werden, die die Bedürfnisse der Nutzer besser widerspiegeln.
Wesentliche Ergebnisse
In dieser Publikation werden gänzlich neue Metriken vorgeschlagen, die auch berücksichtigen, wie gut z.B. seltene oder alle Klassen erkannt werden. Die Innovation zeigt sich nicht zuletzt darin, dass die vorgeschlagenen Metriken die Performanz der Klassifikationsmodelle anders bewerten als das etablierte F1-Kriterium.
Die vorgeschlagenen Metriken geben Einblick in das Verhalten verschiedener Active Learning-Strategien hinsichtlich klassenbezogener Eigenschaften auf den häufig imbalancierten Datensätzen. Diese Maße spiegeln stärker die Erfordernisse der Praxis wider, und können daher ggf. bei der Evaluation verschiedener KI-basierter Klassifikationsstrategien Anwendung finden.
Publikation
Romberg, J. (2023). Mind the User! Measures to More Accurately Evaluate the Practical Value of Active Learning Strategies. Proceedings of the 14th International Conference on Recent Advances in Natural Language Processing, 996–1006. https://aclanthology.org/2023.ranlp-1.107/
Soziale Ungleichheiten in der digitalen Beteiligung beruhen v. a. auf dem Second-Level Digital Divide, d.h. in Unterschieden in den medien- und inhaltsbezogenen Kompetenzen, die für die selbstständige und konstruktive Nutzung des Internets zur politischen Beteiligung notwendig sind.
Das Wissen zu Effektivität von Aktivierungsfaktoren ist nach wie vor oft lückenhaft und anekdotisch, dadurch sind Kosten und Nutzen einzelner Maßnahmen für die Initiator*innen häufig nur schwer abzuschätzen.
Zur (zielgruppengerechten) Mobilisierung eignet sich nachweislich die persönliche Einladung, aber auch die etablierten Massenmedien spielen nach wie vor eine wichtige Rolle.
Breite und inklusive Beteiligung erfordert die Kombination unterschiedlicher digitaler und analoger Partizipationsformate.
Beteiligungsformate auf nationale Ebene stehen aufgrund der Komplexität der Themen und der Größe der Zielgruppe vor besonderen Herausforderungen und erfordern daher kaskadierte Verfahren (Verzahnung von Beteiligung auf unterschiedlichen politischen Ebenen) sowie noch neu zu schaffende Institutionen.
Publikation
Lütters, Stefanie; Escher, Tobias; Soßdorf, Anna; Gerl, Katharina; Haas, Claudia; Bosch, Claudia (2024): Möglichkeiten und Grenzen digitaler Beteiligungsinstrumente für die Beteiligung der Öffentlichkeit im Standortauswahlverfahren (DigiBeSt). Hg. v. Düsseldorfer Institut für Internet und Demokratie und nexus Institut. Bundesamt für die Sicherheit der nuklearen Entsorgung (BASE). Berlin (BASE-RESFOR 026/24). Online verfügbar unter https://www.base.bund.de/DE/themen/fa/sozio/projekte-ende/projekte-ende.html .
Als Teilnehmende an einem Workshop des Center for Advanced Internet Studies (CAIS) in Bochum haben Julia Romberg und Tobias Escher die Ergebnisse aus der CIMT Forschung zur KI-unterstützten Auswertung von Beteiligungsbeiträgen vorgestellt und mit den anwesenden Expert*innen aus Forschung & Beteiligungspraxis über weitere Möglichkeiten diskutiert, um Künstliche Intelligenz für die Unterstützung von Öffentlichkeitsbeteiligung einzusetzen. Deutlich wurde dabei, dass die Praktiker*innen Potentiale nicht nur bei der Auswertung (Output), sondern auch bei der Aktivierung von Teilnehmenden (Input) sowie bei der Unterstützung der Interaktionen (Throughput) bei Beteiligungsverfahren sehen. Gleichwohl stehen diesen Potentialen Herausforderungen und Risiken gegenüber, unter anderem bei der adäquaten technischen Umsetzung sowie der Sicherstellung von Datenschutz und Diskriminierungsfreiheit.
Der von Dr. Dennis Frieß und Anke Stoll organisierte Workshop fand vom 8. bis 10. Februar 2023 in Bochum statt. Weitere Informationen finden sich auf der Website des Düsseldorfer Instituts für Internet und Demokratie.
Am 30. November haben wir Vertreter*innen der mit uns kooperierenden Kommunen eingeladen, um uns mit diesen über die ersten Ergebnisse aus den umfangreichen Befragungen unserer Forschungsgruppe auszutauschen. Im Mittelpunkt stand dabei die Frage, wie die jeweiligen Beteiligungsverfahren von den Teilnehmenden eingeschätzt werden, und welche Aspekte zur Teilnahme motivieren, oder davon abhalten.
Trotz der Verschiedenheit der von uns untersuchten fünf Projekte (und der bislang z.T. noch geringen Zahl der Teilnehmenden) weisen die Einschätzungen der an solchen Prozessen partizipierenden Personen relativ große Übereinstimmungen auf. Insgesamt zeigen sich eher positive Bewertungen für die Beteiligungsverfahren im Hinblick auf den Diskussionsverlauf und die Transparenz. Gleichzeitig gibt es aber auch in allen Verfahren vergleichbare Herausforderungen. So wird z.B. die Repräsentation der eigenen Interessen als relativ gut bewertet, es werden aber Lücken in der Repräsentation anderer Meinungen wahrgenommen. Auch gelingt nicht immer ein Ausgleich der Interessen. Darüber hinaus sind die Teilnehmenden eher skeptisch, was die tatsächlichen Wirkung der Beteiligungsergebnisse auf den politischen Prozess angeht, wenn sie diese auch nicht ausschließen.
Einschätzung des von den Teilnehmenden besuchten Beteiligungsformats. N=286 (Altona: 61, Marburg: 22, Offenburg: 40, Ottensen: 158, Wuppertal: 5)
Interessante Unterschiede zeigen sich auch zwischen Teilnehmenden und Nicht-Teilnehmenden. Beispielhaft zeigt die untenstehende Auswertung die Anworten auf die Frage danach, wie der Verkehr in der jeweiligen Kommune in fünf Jahren aussehen sollte. In der Regel befürworten Personen, die am Beteiligungsverfahren teilgenommen haben (T) grundsätzlich eher eine Umgestaltung zur Förderung von Fahrrad- und Fußverkehr als die Personen, die sich nicht an diesen Verfahren beteiligt haben (nT). So finden sich also unter den Teilnehmenden eher Befürworter*innen der Verkehrswende. Allerdings zeigen sich auch hier durchaus Unterschiede zwischen den Verfahren, die darauf hindeuten, dass die Motive sich einzubringen durchaus sehr verschieden ausfallen können – ein Aspekt, den wir in den zukünftigen Analysen weiter verfolgen werden.
Frage: Wie soll der Verkehr in der jeweiligen Kommune in fünf Jahren aussehen? Dargestellt nach teilgenommen (T) oder nicht teilgenommen (nT) am Partizipationsverfahren N=1.587 (Altona: 432, Marburg: 417, Offenburg: 254, Ottensen: 342, Wuppertal: 142)
Der Praxisworkshop hatte das Ziel, diese ersten Befunde gemeinsam zu reflektieren, gerade auch im Vergleich des jeweils „eigenen“ Verfahrens mit den Ergebnissen aus den anderen untersuchten Kommunen. Dieser Austausch hat uns wichtige Hinweise auf mögliche Zusammenhänge geliefert und verdeutlicht, wo weiterer Klärungsbedarf besteht.
Die dargestellten Beispiele sind ein erster Einblick in die große Fülle an Daten, die mit Hilfe der Befragungen gesammelt wurden und die im Jahr 2023 noch erweitert werden wird (siehe Hintergrund unten). Der gemeinsame Austausch mit den kommunalen Partner*innen hatte daher auch den Zweck, genauer zu klären, welche Informationen für die kommunale Beteiligungspraxis relevant sind, und in welchen Formaten die gemeinsamen Diskussionen am sinnvollsten fortgeführt werden können.
Wir bedanken uns recht herzlich bei unseren Partner*innen für Ihre Zeit und Ihre Ideen!
Zum Hintergrund
Im Rahmen unserer Forschung interessieren wir uns insbesondere dafür, welche Rolle Bürger*innenbeteiligung beim Gelingen der Verkehrswende spielen kann. Dafür untersuchen wir unter anderem fünf verschiedene Beteiligungsverfahren:
Für jedes Projekt wurde von uns ein umfangreiches Programm an Befragungen durchgeführt. Dafür haben wir zum einen eine Zufallsauswahl aus der gemeldeten Bevölkerung mit einem Fragebogen angeschrieben. Zum anderen wurden von uns im Rahmen der verschiedenen Beteiligungsformate Teilnehmer*innen befragt. Die folgende Tabelle vermittelt einen Überblick über die Befragungszeiträume einschließlich der Ausschöpfungsquoten der von uns durchgeführten Bevölkerungsbefragungen. Insgesamt wurden bislang rund 1.600 Personen befragt, von denen rund 300 an einem der untersuchten Beteiligungsverfahren teilgenommen haben.
Übersicht über durchgeführte Befragungen von Bevölkerung und Teilnehmenden (Prozentwerte geben Rücklaufquoten der Bevölkerungsbefragung wieder)
Am vergangenen Freitag haben wir im Rahmen unseres 2. Praxisworkshops erste Ergebnisse zu unseren aktuellen Arbeiten zur automatisierten Auswertung von Beteiligungsbeiträgen vorgestellt. Insgesamt hatten wir 12 Teilnehmende, die in verschiedenen Rollen (Stadtplanung, Bürger*innenbeteiligung, Dienstleistung als Planende oder für Partizipation) mit der Auswertung von Beteiligungsbeiträgen Erfahrung haben.
Zu Beginn haben wir einen Ansatz vorgestellt, um einzelne Sätze in Beteiligungsbeiträgen als Vorschlag oder Zustandsbeschreibung (beziehungsweise beides oder nichts davon) zu klassifizieren. Das funktioniert in der Praxis auch automatisiert schon ziemlich gut, wie auch unserer Veröffentlichung in den Proceedings of the 8th Workshop on Argument Mining zu entnehmen ist.
Beispiel für die Kategorisierung eines Beitrages in Sätze mit Vorschlag oder Zustandsbeschreibung: links die automatisierte Klassifikation, rechts die manuelle Kodierung. Auch wenn das Modell noch Fehler macht, ist die Zuverlässigkeit insgesamt schon sehr hoch.
Die Expertinnen und Experten konnten die Zuordnung in der Regel nachvollziehen, allerdings trifft es nur teilweise den Bedarf in der Beteiligungspraxis. So lassen sich aus Beschreibungen von Situationen vor Ort in der Regel auch häufig Vorschläge ableiten, bzw. aus Vorschlägen auch Einschätzungen der Situation vor Ort. Hier würde zunächst einmal vor allem eine Hervorhebung von solchen inhaltlich relevanten Sätzen (im Gegensatz zu allgemeinen Informationen im Beitrag) weiterhelfen, um eine Konzentration auf das Wesentliche zu ermöglichen. Auch wäre eine Unterscheidung in konkrete Vorschläge vs. allgemeine Forderungen oder Kritik an bestehenden Verhältnissen denkbar.
Eine von allem geteilte Feststellung war, dass der Auswertungsprozess immer das Lesen und Abwägen jedes einzelnen Beitrags durch die Verantwortlichen erfordert, nicht zuletzt um sicherzustellen, dass alle Beiträge gleich und fair behandelt werden. Während eine Vorsortierung oder eine Priorisierung wichtig ist, um die Bearbeitung durch die Verantwortlichen zu erleichtern, darf ein Algorithmus nie die finale Entscheidung über die aus einem Beitrag erwachsenden Konsequenzen haben. So ist auch sichergestellt, dass mögliche Fehlzuordnungen im Rahmen der automatisierten Klassifikation erkannt werden und die Entscheidungsprozesse transparent und nachvollziehbar bleiben.
Als Folge dieser grundlegenden Feststellung muss eine Automatisierung also vor allem darauf angelegt sein, die mit der Auswertung betrauten Personen in ihrer praktischen Arbeit zu unterstützen. Die Teilnehmenden des Workshops haben dabei vor allem die Rolle der thematischen Klassifikation von Beiträgen betont. Im Kontext der Verfahren im Fokus von CIMT, erfordert das hier vor allem die Zuordnung von Beiträgen zu verkehrsrelevanten Kategorien. Dabei gilt es zwischen generischen und prozess-spezifischen Kategorien zu unterscheiden. Einerseits gibt es eine ganze Reihe von Themen, die für alle Beteiligungsverfahren mit einem Mobilitätsfokus relevant sind. Dazu zählt die Erkennung von Verkehrsmitteln oder bestimmten verkehrsrelevanten Themen, z.B. Verkehrssicherheit oder Mobilitätsmanagement. Diese eignen sich insbesondere für Verfahren, die überwachtes Lernen anwenden, da die Erkennung vorab (auch auf anderen, vergleichbaren Datensätzen) trainiert werden kann. Im Gegensatz dazu haben viele der Beteiligungsverfahren aber auch immer spezielle Themen, die nicht vorab feststehen, sondern sich erst in der konkreten Beteiligung ergeben. Hier müsste dann gegebenenfalls auf nicht-überwachte Verfahren zurückgegriffen werden, die dann nach Abschluss eines Verfahrens die Menge der Beiträge nach Ähnlichkeiten (z.B. in der Wortverteilung) analysieren und clustern.
Zusätzliche inhaltliche Klassifikationen, die im Rahmen des Workshops vorgeschlagen wurden, umfassten:
die Verortung von Vorschlägen (an der wir auch schon arbeiten)
die Erkennung von Vorschlägen, die rasches Handeln erfordern (z.B. Hinweis auf akute Gefahrenstellen)
Unterscheidung der Konkretheit von Vorschlägen (an der wir auch schon arbeiten)
Darüber hinaus wollten wir von den Workshopteilnehmenden wissen, in welcher Form eine solche Automatisierung dann auch den Auswertungsprozess sinnvoll unterstützen kann. Dazu haben wir einige mögliche Vorschläge für die Visualisierung der durch die Modelle vorgenommenen Klassifikationen gezeigt.
Beispielhafte Visualisierung der Funktionalität einer möglichen Softwareanwendung, die zu einem Beitrag thematisch ähnliche Beiträge anzeigt und eine weitere Filterung (z.B. nach räumlicher Nähe) erlaubt.
Hier war eine deutliche Präferenz für die Möglichkeit, gleichzeitige mehrere Themenschwerpunkte auswählen und visualisieren zu können (Anzeige von Schnittmengen). Um die auf Natural Language Processing basierenden Modelle in der Praxis auch anwendbar zu machen, bedarf es darüber hinaus einer geeigneten Softwarelösung, für die noch weitere Anregungen gemacht wurden:
die Visualisierung der klassifizierten Beiträge, z.B. eine Übersicht über alle Beiträge einer Kategorie
Möglichkeit der manuellen Nachkodierung von Beiträgen zulassen
Ausgabe von Überblickstatistiken über alle Beiträge eines Verfahrens (z.B. Anzahl der Vorschläge in einer bestimmten Kategorie)
Angabe eines Zuverlässigkeitswerts als Indikator dafür, wie „sicher“ sich der Algorithmus bei der Zuordnung ist
weitergehende Informationen zu Beiträgen erfassbar machen, z.B.
gelesen/ungelesen
Bearbeitungsstatus
Verantwortlichkeiten
Wir bedanken uns bei allen Teilnehmenden für die Zeit und den wichtigen Input. Insgesamt konnten wir damit wertvolle Erkenntnisse für die weitere Entwicklung von Analysewerkzeugen gewinnen. Einige davon befinden sich aktuell bereits ohnehin in der Entwicklung (z.B. die Erkennung von Verortungen oder die thematische Kodierung). Wir sind zuversichtlich, dazu bald weitere Ergebnisse zu präsentieren und damit einen weiteren Schritt zu machen, um die Verantwortlichen in der Beteiligungspraxis gezielt bei der Auswertung zu unterstützen.
Wir freuen uns, dass Laura Mark bei dem genannten Arbeitskreis dabei ist und unsere Forschung mit Kolleg*innen diskutieren kann. In dem Arbeitskreis treffen sich Praktiker*innen und Wissenschaftler*innen regelmäßig, um zu verschiedenen Themen rund um Mobilität und soziale Teilhabe zu arbeiten. Der Arbeitskreis ist Mitte 2021 gestartet und die inhaltliche Arbeit nimmt nun immer mehr Gestalt an: Schnittstellen zu unserer Forschung sind dabei unter anderem die Frage nach der prozeduralen Gerechtigkeit von Planungsverfahren für die Verkehrswende – wer beteiligt sich und wessen Stimmen werden gehört? Wie sollen Planungs- und Beteiligungprozesse für eine nachhaltige Verkehrswende in Zukunft gestaltet sein, um Alle mitzunehmen? An dieser Stelle werden wir von der weiteren Arbeit und Veröffentlichungen und Veranstaltungen berichten, die im Rahmen dieses Abeitskreises entstehen!
Als transdisziplinäres Forschungsprojekt möchten wir in regelmäßigen Abständen Vertreter*innen aus der Praxis der kommunalen Bürgerbeteiligung zu Workshops einladen, um mit Ihnen konkrete Fragestellungen im Zusammenhang mit unserer Forschung zu diskutieren. Im Mittelpunkt unseres ersten Praxisworkshops im Sommer 2020 stand die Frage, wie die Auswertung von Beiträgen technisch unterstützt werden kann und welche Anforderungen Praktiker*innen an eine Softwarelösung zur (teil-)automatisierten Unterstützung der Auswertung von Bürger*innenbeteiligung haben.
Bei kommunalen Beteiligungsverfahren geben Bürger*innen Vorschläge und Meinungen zu vorgegebenen Fragen ab. Damit diese in die weitere Planung einfließen können, müssen die Beiträge von den zuständigen Verwaltungen oder entsprechend beauftragten Dienstleister*innen ausgewertet werden. Gerade bei Partizipationsverfahren mit hoher Beteiligung kann die Auswertung ein hohes Maß an Ressourcen binden.
Im Ergebnis wird deutlich, dass es einen tatsächlichen Bedarf nach IT-Unterstützung bei der Auswertung gibt, da diese bislang in der Regel noch vorwiegend händisch erfolgt und entsprechend zeitaufwendig ist. Zu diesen Anforderungen gehört vor allem die Möglichkeit, Beiträge thematisch nach inhaltlichen Aspekten zu gruppieren. Weiterhin besteht Bedarf zur Unterstützung bei der Erkennung von Duplikaten und der Identifikation und Bewertung von konkreten Maßnahmen aus den Beiträgen. Dabei lauten zwei wesentliche Anforderungen, dass alle Beiträge gleichberechtigt berücksichtigt werden und dass automatisiert getroffene Entscheidungen transparent und nachvollziehbar sind.
Zusätzlich wurde durch den aktuellen Anlass im Rahmen des Praxisworkshops eine Befragung nach dem Einfluss der Covid-19-Pandemie auf die Arbeit mit Bürger*innenbeteiligung durchgeführt. Zusammenfassend zeigt sich eine hohe Verunsicherung, wie Bürger*innenbeteiligung während der Pandemie gut umgesetzt werden kann, sowie eine hohe Diskrepanz zwischen den verschiedenen Beteiligungsformaten. Während die Online-Beteiligung als kontaktloses Medium von der Lage profitieren kann, ist die Vor-Ort-Beteiligung stark betroffen.
Der ausführliche Bericht ist als Working Paper verfügbar.
