KI in Asylverfahren birgt erhebliche Risiken

Wenn Asylverfahren mit sogenannter Künstlicher Intelligenz bearbeitet werden, entstehen erhebliche Risiken für die Grundrechte der Betroffenen, das stellt der wissenschaftliche Dienst des Europäischen Parlaments in einem Bericht fest. Dennoch würden immer mehr KI-basierte Technologien in dem Bereich eingesetzt. Asylverfahren sollen so schneller, mit weniger Aufwand und ohne Vorurteile abgeschlossen werden.

Der wissenschaftliche Dienst stellt in dem Bericht jedoch fest, dass KI-Technologien Ungenauigkeit, Voreingenommenheit, Diskriminierung, Verfahrensbeeinflussung und Datenschutzrisiken mit sich bringen. Sie kämen nur den Behörden zugute und würden dabei die Position der Asylbewerber*innen im System schwächen.

Was für KI-Technologien werden benutzt?

Im Bericht werden KI-Systeme aufgeführt, die europaweit genutzt werden. Auch Deutschland nutzt bereits einige davon. Das Bundesamt für Migration und Flüchtlinge (BAMF) verwendet beispielsweise ein KI-System, welches dazu trainiert ist, Dialekte zu erkennen, um so die Herkunft der Menschen festzustellen, die Asyl beantragen. Mit der KI-Technologie soll die Bestimmung des Herkunftslandes vereinfacht werden, besonders wenn keine Nachweise vorliegen. Das Herkunftsland und die dort drohende Art der Verfolgung haben Auswirkungen auf die Entscheidung im Asylverfahren.

Außerdem nutzt Deutschland technische Systeme zur Analyse von Handydaten. Antragstellende ohne anerkannte Ausweisdokumente müssen ihr Handy zur Durchsuchung den Behörden übergeben, damit ihr Antrag bestehen bleibt. Ein Computer erstellt einen Bericht aus allen Daten auf dem Handy, die Rückschlüsse auf das Herkunftsland ermöglichen: Vorwahlen eingespeicherter Handynummern, verwendete Sprachen in Nachrichten oder gespeicherte Standortdaten von Fotos. Wenn ein Anwalt des BAMF entscheidet, dass der Bericht notwendig ist für die Feststellung des Herkunftslandes, können Sachbearbeiter*innen diese analysierten Daten einsehen.

Grundrechte können nicht gewahrt werden

In seinem Bericht fasst der wissenschaftliche Dienst einen Bericht der europäische Agentur für Grundrechte (FRA) zusammen. Diese warnte bereits 2020, dass mehrere Grundrechte asylsuchender Menschen aus der Charta der Grundrechte der Europäischen Union bei der Verwendung von KI-Systemen durch die Behörden gefährdet würden. Dazu gehören die Würde des Menschen (Artikel 1), die Achtung des Privat- und Familienlebens (Artikel 7), der Schutz personenbezogener Daten (Artikel 8), die Gleichheit vor dem Gesetz und Nichtdiskriminierung (Artikel 20-21), das Recht auf einen wirksamen Rechtsbehelf und ein unparteiisches Gericht (Artikel 47) und das Recht auf eine gute Verwaltung (Artikel 41).

Menschen, die in der EU Asyl beantragen, fliehen meist vor Verfolgung und können sterben, wenn sie keinen Schutz bekommen. Der Bericht warnt davor, die folgenschwere Entscheidung über die Schutzbedürftigkeit mithilfe von Datenanalysen durch KI-Systeme zu treffen, da die Technologie nicht so verlässlich sei, wie sie wirke.

KI ist nicht neutral

Die Qualität einer KI ist nur so gut, wie die Qualität der Trainingsdaten. Nur eine KI, die mit sehr vielen Daten trainiert worden ist, kann aussagekräftige Ergebnisse liefern. Für jedes Herkunftsland müssen ausreichend Daten vorhanden sein. Jedoch fehlen meist Daten, so der Bericht. Auch seien die Trainingsdaten nicht gleichmäßig verteilt, sondern gefärbt durch vermehrt auftretende Herkunftsländer. Entsprechend seien Ergebnisse der KI-Systeme nicht aussagekräftig genug für Entscheidungen mit potenzieller Todesfolge, besonders bei Herkunftsländern, zu denen wenig Daten zur Verfügung stehen.

Zusätzlich treffen KI-Systeme Entscheidungen über Asylverfahren, die auf vorausgegangenen menschlichen Entscheidungen basieren. Vorurteile in menschlichen Entscheidungen würden dabei von den Systemen erlernt und repliziert. Wenn diese auch mit Daten von KI-beeinflussten Entscheidungen trainiert werden, reproduzierten sich die Vorurteile immer weiter. Somit sei die KI-Technologie, so der Bericht, eben nicht der vorgesehene unvoreingenommene Entscheidungsträger.

Daten sind eben auch nur Daten

Darüber hinaus weist die FRA darauf hin, dass die KI-Systeme etwas anhand der Daten entscheiden sollen, was logisch nicht unbedingt zusammenhängt. Nimmt man das Dialekterkennungssystem aus Deutschland als Beispiel, bedeutet ein Dialekt aus einer bestimmten Region nicht unbedingt eine Herkunft aus der Region und auch nicht die entsprechende Nationalität.

Deswegen müsse von Mitarbeiter*innen der zuständigen Behörden beachtet werden, dass die KI-Systeme keine klaren Ergebnisse liefern würden. Als Ergebnis würden sie nur Wahrscheinlichkeiten ausspucken, die auf unzureichenden Daten beruhen würden. Dazu käme die hohe Fehlerquote der KI-Systeme. Das Dialekterkennungssystem, welches das BAMF nutzt, ordnet zwei von zehn asylsuchenden Menschen mit arabischem Dialekt und fast drei von zehn asylsuchenden Menschen mit persischem Dialekt das falsche Herkunftsland zu. Menschen tendieren dazu, Technologien blind zu vertrauen, besonders einem intransparenten KI-System. Der Bericht weist auf das Risiko hin, dass Fehler eines KI-Systems den Verdacht einer Fehlbehauptung von Antragstellenden bestätigen könnten.

Ein faires Verfahren ist nicht sichergestellt

Auch wenn mit den Ergebnissen der KI-Systeme reflektiert umgegangen werde und sie nur in unterstützender Funktion genutzt würden, bestünden große Risiken. Aus juristischer Sicht sei die Fairness des Verfahrens beeinflusst. Als Schutz vor Diskriminierung und Fehlentscheidungen müssen alle Asylanträge objektiv, unvoreingenommen und individuell begutachtet werden.

Eine KI, die aus vorausgegangenen Entscheidungen lernt und so ihre Aussagen trifft, ist nicht objektiv und unvoreingenommen. Dazu generalisiere eine KI, wobei individuelle Besonderheiten jedes einzelnen Falles nicht mehr genug Beachtung fänden.

Ebenfalls juristisch wichtig ist die Möglichkeit eine Entscheidung im Asylverfahren anzufechten. Stütze sich diese Entscheidung aber auf die angebliche Neutralität der Technologie, kann ein Anfechten schwierig werden. Asylbehörden sind dazu verpflichtet, Entscheidungen ausreichend zu begründen, damit Bewerber*innen die nächsten rechtlichen Schritte einleiten können. Eine KI-unterstützte Entscheidung ließe sich durch die Intransparenz der Technologie schwer erklären, weshalb das Verfahren undurchsichtig und komplexer werden würde. Zentral stellt der wissenschaftliche Dienst des EU Parlaments fest, dass sich die Integration von KI in den Asylprozess gegen die Asylbewerber*innen richtet und nur für die Behörden einen Vorteil darstellt.

Abschließend wirft das Briefing Datenschutzbedenken auf, die durch die Einspeisung persönlicher Daten in KI-Systeme entstünden. Bei der Menge von personenbezogenen Daten, die durch KI-Systeme verarbeitet werden, könnte eine Datenschutz-Folgeabschätzung erforderlich werden, um festzustellen ob ein derart großer Eingriff in den Datenschutz verhältnismäßig ist.

Trotz Bedenken grünes Licht für KI-Systeme in Asylanträngen

Obwohl der aufgegriffene Report der FRA bereits 2020 Risiken bei KI-Systemen zur Unterstützung bei Asylansträgen festgestellt hat, werden KI-Systeme weiter in den Asylprozess integriert. Trotz der Gefahren für die Grundrechte versäumt die 2024 verabschiedete KI-Verordnung der EU, die KI-Nutzung für Asylverfahren zu regulieren und Risiken zu beseitigen. Stattdessen gelten die Transparenzregelungen der Verordnung speziell in den Bereichen der Migration und des Asyls nicht.