Deutschland – Forschungs- und Entwicklungsdienste und zugehörige Beratung – Nachtrag zum Forschungsprojekt "Sicherheitsargumentation mittels erklärbarer KI für das automatisierte Fahren im Bahnbetrieb"

Im Rahmen des Projekts „Sicherheitsargumentation mittels erklärbarer KI für das automatisierte Fahren im Bahnbetrieb (XRAISE)“ untersuchen die Antragsteller, welche Methoden der erklärbaren Künstlichen Intelligenz (XAI) sich für die Sicherheitsbewertung von KI-Systemen im Schienenverkehr eignen. Hierzu wurden ein bahnspezifischer Datensatz aufgebaut, erste Modelle trainiert, Reviews erstellt und Experimente durchgeführt und analysiert. Ergebnisse aus dem bisherigen Projektverlauf, basierend auf Schlussfolgerungen der im Rahmen des Projektes durchgeführten Reviews und Experimente, zeigen, dass die Eignung von XAI-Methoden und Methodenkombinationen (sowohl Typen von Methoden als auch konkrete Einzelmethoden innerhalb dieser Typen) von Kontextfaktoren wie der konkreten Aufgabe, der Leistung des KI-Modells oder verschiedenen Eigenschaften der Bilder und der Nutzer abhängt. Eine verbindliche Festlegung auf eine einzelne Methode für die Sicherheitsprüfung ist daher nicht zielführend. Stattdessen wird angenommen, dass Anwenderinnen und Anwender flexibel zwischen verschiedenen Methoden und Modellversionen wechseln können, was es zu prüfen gilt. Insbesondere die Kombination aus salienz- und konzeptbasierten XAI-Methoden erwies sich im Rahmen der durchgeführten Experimente als vielversprechend. In der Evaluation zeigte sich jedoch, dass konzeptbasierte Methoden aufgrund begrenzter Datenbasis derzeit keine hinreichend aussagekräftigen Erklärungen liefern. Für das Training der untersuchten KI-Modelle sind nicht ausreichend annotierte Daten aus der relevanten Domäne (RGB-Bilder aus Perspektive einer Eisenbahn-lock) vorhanden. Dies war zu Projektbeginn nicht ersichtlich, da keine öffentlichen Benchmarks zu Modellen in der Domäne des Schienenverkehrs verfügbar waren und es kein kontext-spezifisches Vorwissen darüber gab, ab welcher Trainingsdaten-Menge die verschiedenen XAI-Methoden die untersuchten KI-Modelle plausibel erklären können. Um nun, wie im ursprünglichen Projektantrag geplant, die Nutzbarkeit der XAI-Methoden aussagekräftig beurteilen zu können, ist eine bessere Datenbasis notwendig. Die Nutzung des „unsupervised Pretrainings“ anderer Datenquellen (konkret: nicht annotierte Daten) stellt eine mögliche Lösung dar. Die Notwendigkeit dieser Erweiterung für den Projekterfolg war zu Projektbeginn nicht absehbar. Zur Erreichung der Projektziele bedarf es daher diesen Nachtrag, zusätzlich zu den im Projekt erfolgten Leistungen. Aufgrund der hohen Aktualität der Thematik, die sich schnell verändernden technischen Entwicklungen und hochaktuellen Forschungskenntnissen unterliegt, war bei der Vergabe zum einen der notwendige Datenumfang und die Relevanz konzeptbasierter XAI-Methoden noch nicht in dem Umfang bekannt. Folgende Ausführung der im Angebot beschriebenen Leistungen sind zum Erreichen des Projektziels jetzt unbedingt erforderlich: 1. Unüberwachtes Vortraining zur Verbesserung der Modellqualität und damit der Interpretierbarkeit konzeptbasierter XAI-Methoden. 2. Entwicklung eines interaktiven XAI-Systems, das einen methodenübergreifenden Vergleich und die nutzerorientierte Bewertung von KI-Erklärungen ermöglicht. Diese Maßnahmen sind notwendig, um eine fundierte Einschätzung der Eignung von XAI-Verfahren für sicherheitskritische Anwendungen sowie belastbare Empfehlungen für künftige Nachweisprozesse im automatisierten, fahrerlosen Schienenverkehr (z. B. GoA3 oder GoA4) zu ermöglichen. Zudem ermöglicht die Erstellung eines interaktiven Systems bessere Anschaulichkeit der Inhalte, die im Rahmen der Wissenschaftskommunikation zielführend eingesetzt werden können.