Wann ist ein KI-System in der Luftfahrt sicherheitskritisch?

Zusammenfassung

Ein KI-System[1] in der Luftfahrt ist sicherheitsrelevant, wenn ein Fehler[2] den Betrieb, das Safety-Niveau (evtl. indirekt durch hohe Workload der Nutzer) oder die Sicherheit von Menschen beeinträchtigen kann. Für die Bewertung zählen der konkrete Anwendungsfall, die Art der KI-Technologie und Interaktion mit Nutzern, der Einfluss der KI auf Entscheidungen und die möglichen Fehlerfolgen. Auch bestehende Modelle wie ChatGPT können relevant werden, sobald ihre Ergebnisse in einen sicherheitsbezogenen Prozess einfließen. Je schwerwiegender die Folgen eines Fehlers sein können, desto strenger fallen die vorgesehenen Anforderungen aus.

Das Team von AviaCert hat das EASA AI Concept Paper (Proposed Issue 03) analysiert und die umfangreichen Objectives auf die Fragen heruntergebrochen, die sich Luftfahrtorganisationen vor der Einführung eines KI-Systems stellen sollten. Dabei zeigt sich: Ausschlaggebend sind der konkrete Einsatz, der Einfluss der KI auf Entscheidungen und die möglichen Folgen eines Fehlers.

Wer ist vom EASA-Konzept betroffen?

Das EASA Concept Paper AI behandelt KI-Technologien, die in Anwendungsfällen mit Einfluss auf die flugbetriebliche Sicherheit eingesetzt werden. Dazu gehören sicherheitsbezogene KI-Systeme als Bestandteile zugelassener Produkte oder Ausrüstung sowie KI-Werkzeuge, die durch EASA-zertifizierte Organisationen eingesetzt werden. Betrachtet werden Machine Learning, logik- und wissensbasierte Ansätze und hybride Systeme (wie z.B. ChatGPT).

Nicht jedes KI-Tool in einem Luftfahrtunternehmen ist deshalb automatisch sicherheitskritisch. Ein System, das einen unverbindlichen Textentwurf erstellt, ist anders zu bewerten als eine KI, deren Ergebnis in eine betriebliche Entscheidung einfließt.

Das Concept Paper enthält dabei noch keine endgültigen oder detaillierten Leitlinien. Es bereitet auf zukünftige regulatorische Vorgaben und mögliche Zertifizierungsanforderungen vor. Für Unternehmen liefert es dennoch eine klare Richtung: Vor der Einführung muss der geplante Einsatz der KI beschrieben und bewertet werden.

Wie wird die Sicherheitskritikalität ermittelt?

Am Anfang steht die Charakterisierung und Klassifizierung der Anwendung. Dazu werden die Nutzer und ihre Zuständigkeiten, die Aufgabe des KI-Systems, die Betriebsszenarien und die vorgesehenen Einsatzbedingungen erfasst.

Anschließend wird mittels einer Sicherheits-/Risikobewertung untersucht, welche Gefahren entstehen können. Während in einigen Branchen bestehende Vorgaben hierzu verwendet werden können, wird u.a. im Aerodrome-Bereich ein konkretes Schema eingeführt. Die Bewertung berücksichtigt demnach:

• die möglichen Folgen eines KI-Fehlers,
• den Schweregrad dieser Folgen,
• die Wahrscheinlichkeit des Eintretens,
• die Bedingungen, unter denen sie entstehen kann.

Das EASA-Konzept unterscheidet Gefahrenklassen von H5 bis H1. H5 steht für einen Fall ohne Auswirkungen auf Nutzer oder Bevölkerung. H1 umfasst das Potenzial für Todesfälle und gilt als nicht annehmbares Risiko. Zugleich wird die durchschnittliche Häufigkeit eines Vorfalls quantifiziert eingeordnet. Auf Grundlage der Bewertung wird ein Assurance Level zugeordnet. AL 6 bedeutet beispielsweise, dass kein Einfluss auf die Sicherheit besteht. AL 1 hingegen steht für mögliche katastrophale Folgen.

Je schwerwiegender ein mögliches Versagen ist, desto umfassender muss nachgewiesen werden, dass das KI-System zuverlässig arbeitet.

Zusätzlich wird das KI-Level bestimmt. Es beschreibt die Funktion des Systems und die verbleibende Entscheidungsgewalt des Menschen. Die Bandbreite reicht von der automatisierten Informationsbeschaffung ohne Beteiligung an Entscheidungen über Kooperation mit Nutzern bis zum unbeaufsichtigten Treffen und Umsetzen von Entscheidungen.

Bei unserer Analyse wurde deutlich, dass sich die Sicherheitskritikalität nicht allein am verwendeten Tool festmachen lässt. Derselbe technische Ansatz kann je nach Aufgabe und Betriebsszenario unterschiedlich bewertet werden.

Wann wird ChatGPT für die Luftfahrt relevant?

Ein bestehendes „Off-the-Shelf“-Modell wie ChatGPT kann relevant werden, wenn seine Ausgaben in einen sicherheitsbezogenen Prozess einfließen.

Ein Beispiel wäre ChatGPT-gestützte Kommunikation mit Airlines zu Gate-Slots. Falsche Informationen könnten hier den Verwaltungsaufwand erhöhen. Die mögliche Folgenschwere wird in diesem Beispiel als gering eingestuft. Anders wäre die Situation, wenn ein KI-Ergebnis ungeprüft eine betriebliche Entscheidung mit Auswirkungen auf die flugbetriebliche Sicherheit steuert.

Für große „Off-the-Shelf“-Modelle sieht das Papier Grenzen bei den zulässigen Assurance Levels vor. Bei einer sicherheitsrelevanten Wiederverwendung soll vor der Integration unter anderem geprüft werden:

• Passt das erwartete Verhalten des Modells zur vorgesehenen Anwendung?
• Stimmen die Einsatzbedingungen mit den Fähigkeiten des Modells überein?
• Reicht die Leistung für den konkreten Anwendungsfall aus?
• Ist ausreichende technische Dokumentation verfügbar?
• Kann die Leistung des integrierten Modells verifiziert werden?

Gerade der Nachweis über Entwicklung, Daten, Leistungsfähigkeit und Grenzen kann bei extern entwickelten Modellen schwierig sein. Ein allgemein verfügbares Tool ist deshalb nicht automatisch für jeden betrieblichen Zweck geeignet.

Was muss das Management vor der Einführung klären?

Die Einführung eines KI-Systems ist keine reine IT-Entscheidung. Sie kann Safety Management, EASA-Compliance, Informationssicherheit, Ethik, Auditierung und Training betreffen.

Vor der Auswahl oder Integration sollte die Organisation klären:

1. Welche konkrete Aufgabe übernimmt die KI?
2. Trifft das KI-System Entscheidungen oder unterstützt es dabei?
3. Welche Folgen hätte ein falscher oder fehlender Output?
4. Wer prüft die Ergebnisse und wer kann eingreifen?
5. Wie werden Risiken und Abweichungen im Betrieb überwacht?
6. Unter welchen Bedingungen darf das System eingesetzt werden?
7. Welche Nachweise müssen für interne und externe Audits vorliegen?

Das Concept Paper sieht außerdem vor, Prozesse und Sicherheits- beziehungsweise Risikomanagementsysteme an die KI-Technologie anzupassen. Organisationen sollen KI-bezogene Risiken, unter anderem in Bezug auf Informationssicherheit, fortlaufend bewerten, die Auditierbarkeit, insb. durch Behörden, sicherstellen und ihre Trainingsprozesse an die Besonderheiten der Technologie anpassen.

Bei höheren KI-Levels müssen Verantwortlichkeiten für die relevanten Betriebsszenarien eindeutig zugewiesen werden. Das KI-System selbst kann keine Verantwortung übernehmen. Die zuständige Person oder Organisation benötigt die erforderliche Autorität, den passenden Zugriff und und die notwendigen Fähigkeiten, um dieser Verantwortung gerecht zu werden.

Der Anwendungsfall entscheidet

Vor der Beschaffung eines KI-Systems sollte deshalb nicht nur gefragt werden, was das Tool technisch kann. Zuerst muss klar sein, wo es eingesetzt wird, welche Entscheidungen es beeinflusst und was bei einem Fehler geschieht.

Die Analyse des EASA Concept Paper AI gibt uns bei AviaCert dafür einen frühen Einblick in die Fragen, mit denen sich Luftfahrtorganisationen künftig beschäftigen könnten.

Sie planen die Einführung von KI-Systemen in Ihre operativen Prozesse? Wenden Sie sich direkt an unsere Experten, um die geltenden EASA-Vorgaben von Anfang an zu berücksichtigen.

[1] KI-System: Ein Gesamtsystem, in dem eine KI enthalten ist. 

[2] Fehler: Z.B. ein Versagen des KI-Systems, ein inkorrekter Output oder ein Anwendungsfehler. Jegliche Fälle, wo ein unvorhergesehener Output entsteht, können somit sicherheitsrelevant sein.