Datenschutz & Sicherheit

Diese Behörden sollen die KI-Verordnung umsetzen

Sogenannte Künstliche Intelligenz zieht vermehrt in unseren Alltag ein. Sie steckt im Smartphone, soll Verwaltung und Unternehmen effizienter machen und die Bildung umkrempeln. Doch der KI-Einsatz birgt Risiken. Um diesen zu begegnen, hat die EU vor gut einem Jahr die KI-Verordnung (AI Act) verabschiedet. Sie soll einen einheitlichen Rechtsrahmen bieten, der Entwicklung, Einsatz und Vermarktung von KI-Systemen je nach Risiko reguliert.

Die meisten Regelungen der Verordnung gelten erst ab dem 2. August 2026. Doch bereits Anfang August dieses Jahres sollten die EU-Mitgliedstaaten auf nationaler Ebene Behörden einrichten, die künftig Anbieter von KI-Systemen kontrollieren. Die Ampel-Regierung hatte dafür Ende 2024 einen Gesetzentwurf vorgelegt, den die damalige Koalition nicht mehr verabschieden konnte. Die schwarz-rote Bundesregierung will das nun mit einiger Verspätung nachholen.

Dafür hat das Bundesdigitalministerium (BMDS) jüngst einen Referentenentwurf vorgelegt, den wir veröffentlichen. Er unterscheidet sich nur geringfügig von dem Entwurf der Ampelregierung und trägt den Titel „Gesetz zur Marktüberwachung und Innovationsförderung von künstlicher Intelligenz“.

Die Bundesnetzagentur steht im Zentrum

Das Gesetz benennt die in Deutschland für die KI-Aufsicht zuständigen Behörden und deren Aufgaben. Eine zentrale Rolle soll die Bundesnetzagentur (BNetzA) einnehmen. Diese Entscheidung hatte sich in den vergangenen Monaten bereits abgezeichnet. Laut Gesetzentwurf soll die Behörde als Marktüberwachungsbehörde und als notifizierende Behörde agieren.

Marktüberwachungsbehörden sind staatliche Stellen, die überwachen, ob auf dem Markt bereitgestellte Produkte den gesetzlich festgelegten Anforderungen entsprechen. Notifizierende Behörden sind staatliche oder öffentliche Stellen, die ihrerseits weitere Stellen benennen und beaufsichtigen.

Für die Überwachung von bestimmten Hochrisiko-KI-Systemen soll zudem eine direkt bei der BNetzA angesiedelte KI-Marktüberwachungskammer eingerichtet werden. Außerdem dient die Behörde als zentrale Anlauf- und Beschwerdestelle. Sie soll Unternehmen darüber informieren, wie sie die Regelungen der KI-Verordnung anwenden, Schulungen anbieten und Vernetzung zwischen Marktakteuren und Behörden vorantreiben.

Ministerium will Doppelstrukturen vermeiden

Das BMDS betont im Gesetzentwurf, keine neue Aufsichtsbehörde für KI-Anbieter schaffen zu wollen. So würden Doppelstrukturen vermieden. Die BNetzA besteht seit 1998 und untersteht als Bundesoberbehörde dem Bundeswirtschaftsministerium. Bislang ist sie für den Wettbewerb auf den Netzmärkten Elektrizität, Gas, Telekommunikation, Post und Eisenbahnverkehr zuständig.

Fortan soll sie also auch KI-Anbieter kontrollieren und dabei vor allem jene Bereiche beaufsichtigen, für die es bislang keine Aufsichtsstruktur gibt. Der Gesetzentwurf nennt hier unter anderem Biometrie, kritische Infrastruktur, KI am Arbeitsplatz und in Bildungseinrichtungen sowie Migration, Asyl, Grenzkontrolle und Justiz.

Aufsichtsmosaik neben der BNetzA

Neben der BNetzA sollen auch andere Behörden, die bereits in anderen Sektoren mit Produktregulierung betraut sind, für die sogenannte Marktüberwachung und Notifizierung für KI-Systeme verantwortlich sein. Der Gesetzentwurf strebt ein Mosaik verschiedener Aufsichtsbehörden rund um die BNetzA an.

So soll das Bundesamt für die Sicherheit in der Informationstechnik (BSI) übergangsweise Aufgaben im Bereich der IT-Sicherheit übernehmen. Damit wäre die Behörde bis auf weiteres auch für die Zulassung von bestimmten Hochrisiko-KI-Systemen zuständig. Langfristig soll diese Funktion eine Stelle übernehmen, die noch in der nationalen Umsetzung der europäischen Cyberresilienz-Verordnung festgelegt werden muss. Das BSI hat sich bereits für diese Aufsicht beworben.

Für den Einsatz von Hochrisiko-KI-Systemen im Finanzbereich, also etwa in Banken und Versicherungen, wäre hingegen die Bundesanstalt für Finanzdienstleistungsaufsicht (BaFin) zuständig. Daneben sollen unter anderem Datenschutzbehörden, der Kinder- und Jugendmedienschutz sowie das Bundeskartellamt einbezogen werden, sofern deren Zuständigkeitsbereich berührt ist.

Neue Kammer, Stellen und Zentren

Über die bestehenden Behörden hinaus sieht der Gesetzentwurf auch die Einrichtung neuer Aufsichtseinrichtungen vor.

So soll etwa eine Unabhängige KI-Marktüberwachungskammer (UKIM) die Marktüberwachung in sensiblen Bereichen wie Biometrie, Strafverfolgung oder Migration übernehmen.

Die UKIM hätte einen hybriden Charakter. Sie ist einerseits als unabhängige Behörde konzipiert, die aus Sicht des BMDS wegen der „hohen Schutzgüter“, die betroffen sein könnten, „möglichst hochrangig besetzt sein“ sollte. Andererseits ist sie als eigenständige Kammer direkt bei der Bundesnetzagentur angedockt. Den Vorsitz des Gremiums soll der:die Präsident:in der Bundesnetzagentur innehaben; beisitzende Mitglieder sind die Vizepäsident:innen der BNetzA. Einmal im Jahr soll die UKIM dem Bundestag einen Tätigkeitsbericht vorlegen.

Ein neues Koordinierungs- und Kompetenzzentrum (KoKIVO) soll dafür sorgen, das alle Rechtsfragen mit Blick auf die KI-Verordnung einheitlich beantwortet werden. Außerdem unterstützt die KoKIVO „mit Sachverstand auf Anfrage“ Behörden bei komplexen Entscheidungen. Und sie soll den Austausch zwischen Zivilgesellschaft, Wirtschaft und Wissenschaft fördern.

Als Bindeglied zwischen den verschiedenen Behörden auf EU- und nationaler Ebene sowie der Öffentlichkeit soll eine zentrale Anlaufstelle dienen. Die Kontrollbehörden sind verpflichtet, sie über ihre jeweiligen Aufgaben und Kontaktpersonen zu unterrichten. Und bei einer zentralen Beschwerdestelle sollen jene Anbieter gemeldet werden können, die mutmaßlich gegen die KI-Verordnung verstoßen. Die Stelle ist ebenfalls bei der Bundesnetzagentur angesiedelt; die BNetzA leitet die Beschwerden an andere Behörden weiter, wenn diese zuständig sind.

Kilian Vieth-Ditlmann von der NGO AlgorithmWatch bedauert auf Anfrage von netzpolitik.org, dass der Gesetzentwurf keine Vorgaben zu einem möglichst nutzerfreundlichen Beschwerdesystem sowie Transparenzanforderungen macht. „Es braucht ein verbindliches nationales KI-Transparenzregister für die öffentliche Hand, das die begrenzten Informationen in der EU-Datenbank der Hochrisiko-KI-Systeme umfassend ergänzt“, sagt Vieth-Ditlmann. „Das ließe sich zumindest für die Bundesebene direkt gesetzlich regeln. Und dafür wäre ebenfalls die Bundesnetzagentur die ideale Aufsichtsbehörde.“

Nicht zuletzt sieht der Gesetzentwurf vor, sogenannte KI-Reallabore zu schaffen. Sie bieten Unternehmen geschützte Umgebungen, wo sie ihre KI-Anwendungen testen können, bevor sie an den Markt gehen. Auch die Labore sind bei der BNetzA angesiedelt. Wie sie im Detail ausgestaltet sind, soll das BMDS mittels einer Rechtsverordnung noch regeln.

Zivilgesellschaft hofft auf breite Beteiligung

Der Entwurf befindet sich nun in der Ressortabstimmung. Bis zum 19. September können unter anderem die anderen Ministerien und das Bundeskanzleramt ihre Stellungnahmen zu dem Entwurf abgeben. Die Länder- und Verbändebeteiligung ist ab dem 4. September geplant.

Kilian Vieth-Ditlmann von AlgorithmWatch hofft, dass die Bundesregierung auch jenseits davon eine breite Beteiligung anstrebt. „Das Thema ist wichtig und betrifft alle gesellschaftlichen Gruppen“, sagt Vieth-Ditlmann. „Es geht um Diskriminierungsschutz, Verbraucherschutz, Datenschutz und Umweltschutz. Gerade die Zivilgesellschaft kann hier wichtige Expertise beitragen.“

Der Gesetzentwurf im Volltext

Referentenentwurf des Bundesministeriums für Digitales und Staatsmodernisierung

Entwurf eines Gesetzes zur Durchführung der Verordnung (EU) 2024/1689 des Europäischen Parlaments und des Rates vom 13. Juni 2024 zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz und zur Änderung der Verordnungen (EG) Nr. 300/2008, (EU) Nr. 167/2013, (EU) Nr. 168/2013, (EU) 2018/858, (EU) 2018/1139 und (EU) 2019/2144 sowie der Richtlinien 2014/90/EU, (EU) 2016/797 und (EU)

2020/1828 (Verordnung über künstliche Intelligenz) (Gesetz zur Durchführung der KI-Verordnung)

A. Problem und Ziel

B. Lösung

Der vorliegende Gesetzentwurf dient der Durchführung der Verordnung (EU) 2024/1689. Die Durchführungsgesetzgebung muss von den Mitgliedstaaten bis zum 2. August 2025 abgeschlossen werden. Mit Artikel 1 werden die für die Durchführung der Verordnung (EU) 2024/1689 zuständigen Behörden benannt, deren Aufgaben geregelt sowie Kooperationsvorschriften und die erforderlichen Vorschriften für das Bußgeldverfahren erlassen. Mit Artikel 2 bis 4 werden einschlägige Gesetze geändert, um sie an die Verordnung (EU) 2024/1689 anzupassen.

Alternativen Keine.

D. Haushaltsausgaben ohne Erfüllungsaufwand

Aufgrund der Neuregelungen entstehen für die Bundesnetzagentur jährliche Personaleinzelkosten für die Wahrnehmung der Fachaufgaben in Höhe von insgesamt 9.790.000 Euro, Sacheinzelkosten in Höhe von 3.320.000 Euro sowie Gemeinkosten in Höhe von 3.854.000 Euro. Nach den Ergebnissen zur Ermittlung und Darstellung des Erfüllungsaufwands sind für die Wahrnehmung der Fachaufgaben insgesamt 99,7 Planstellen (54,0 hD, 36,0 gD und 9,7 mD), für den Querschnittsbereich werden weitere 29,4 Planstellen erforderlich. Die Personal- und Sacheinzelkosten für den Querschnittsbereich sind im Gemeinkostenzuschlag in Höhe von 29,4 Prozent auf die jährlichen Personal- und Sacheinzelkosten für die Fachaufgaben enthalten. Die Kosten wurden auf Grundlage des Rundschreibens für Wirtschaftlichkeitsuntersuchungen und Kostenberechnungen des BMF vom 08.07.2024 (Gz.: BMF II A 3 – H 1012-10/21/10003 :008) ermittelt. Es entstehen einmalige Sachkosten in Höhe von 3.000.000 Euro und laufende Sachkosten in Höhe von 6.300.000 Euro insbesondere für den Betrieb und die Weiterentwicklung erforderlicher IT-Verfahren und den Betrieb eines Reallabors. Zudem ist die Einrichtung einer digitalen VS-Registratur für den vertraulichen Umgang mit Daten sowie einer Service-, Beschwerde- und Meldestelle für schwere Vorfälle erforderlich. Ein Koordinierungs – und Kompetenzzentrum (KoKIVO) muss ebenfalls etabliert werden. Die Marktüberwachung muss zur Durchführung ihrer hoheitlichen Aufgaben mit entsprechendem Werkzeug ausgestattet werden. Die Personal- und Sachkosten können teilweise über Gebühren oder Bußgelder refinanziert werden. Dabei fließen die Gebühren haushaltstechnisch unmittelbar in den Bundeshaushalt und stehen der Bundesnetzagentur für die Bewirtschaftung der laufenden sowie der einmaligen Personal- und Sachkosten nicht zur Verfügung. Die stellenmäßigen Mehrbedarfe, die bei der Bundesnetzagentur anfallen, sollen aus dem Gesamthaushalt ausgeglichen werden.

[Hier sind in der weiteren Abstimmung noch Haushaltsangaben anderer Stellen, z.B. BaFin, BSI, Länder, Kommunen zu ergänzen. Finale Fassung bis Kabinettsvorlage]

E. Erfüllungsaufwand

Die Verpflichtungen für die Wirtschaft und die Bürgerinnen und Bürger ergeben sich aus der unmittelbar geltenden Verordnung (EU) 2024/1689. Mit diesem Durchführungsgesetz werden für sie keine neuen Verpflichtungen geschaffen, sondern lediglich die zuständigen Behörden benannt und deren Aufgaben und Zusammenarbeit geregelt. Ein Erfüllungsaufwand ergibt sich daher aus diesem Gesetz nicht für die Wirtschaft und die Bürgerinnen und Bürger.

E.1 Erfüllungsaufwand für Bürgerinnen und Bürger

Siehe Ausführungen unter E.

E.2 Erfüllungsaufwand für die Wirtschaft Siehe Ausführungen unter E.

E.3 Erfüllungsaufwand der Verwaltung

[Hier Darstellung des Erfüllungsaufwands für die Verwaltung. Finale Fassung bis Kabinettsvorlage.]

F. Weitere Kosten

Keine.

Referentenentwurf des Bundesministeriums für Digitales und

Staatsmodernisierung

Entwurf eines Gesetzes zur Durchführung der Verordnung (EU)

2024/1689 des Europäischen Parlaments und des Rates vom 13. Juni 2024 zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz und zur Änderung der Verordnungen (EG) Nr. 300/2008, (EU) Nr.

167/2013, (EU) Nr. 168/2013, (EU) 2018/858, (EU) 2018/1139 und (EU) 2019/2144 sowie der Richtlinien 2014/90/EU, (EU) 2016/797 und (EU) 2020/1828 (Verordnung über künstliche Intelligenz) (Gesetz zur Durchführung der KI-Verordnung)

Vom … Der Bundestag hat das folgende Gesetz beschlossen:

Artikel 1

Gesetz zur Marktüberwachung und Innovationsförderung von künstlicher Intelligenz (KI-Marktüberwachungs- und Innovationsförderungsgesetz – KI-MIG) T e i l 1 A l l g e m e i n e V o r s c h r i f t e n

Anwendungsbereich

Dieses Gesetz gilt für KI-Systeme im Anwendungsbereich von Artikel 2 der Verordnung (EU) 2024/1689 des Europäischen Parlaments und des Rates vom 13. Juni 2024 zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz und zur Änderung der Verordnungen (EG) Nr. 300/2008, (EU) Nr. 167/2013, (EU) Nr. 168/2013, (EU) 2018/858, (EU) 2018/1139 und (EU) 2019/2144 sowie der Richtlinien 2014/90/EU, (EU) 2016/797 und (EU) 2020/1828 (Verordnung über künstliche Intelligenz) (ABl. L, 2024/1689, 12.7.2024). T e i l 2 Z u s t ä n d i g e B e h ö r d e n u n d Z u s a m m e n a r b e i t

Abschnitt 1

Zuständige Behörden

Marktüberwachungsbehörden

Die Bundesnetzagentur für Elektrizität, Gas, Telekommunikation, Post und Eisenbahnen (Bundesnetzagentur) ist die zuständige Marktüberwachungsbehörde, soweit in diesem Gesetz nichts anderes bestimmt ist.
Die Behörden, die durch Bundes- oder Landesrecht zu Marküberwachungsbehörden zur Ausführung der in Anhang I Abschnitt A der Verordnung (EU) 2024/1689 genannten Harmonisierungsrechtsvorschriften bestimmt wurden, nehmen auch die Aufgaben als zuständige Marktüberwachungsbehörden gemäß der Verordnung (EU) 2024/1689 wahr, wenn KI-Systeme mit Produkten in Zusammenhang stehen, auf die die im Anhang I Abschnitt A genannten Vorschriften Anwendung finden.
Die Bundesanstalt für Finanzdienstleistungsaufsicht ist die zuständige Marktüberwachungsbehörde gemäß der Verordnung (EU) 2024/1689 für in direktem Zusammenhang mit einer regulierten Finanztätigkeit stehende Hochrisiko-KI-Systeme nach Artikel 6 der Verordnung (EU) 2024/1689, die durch

Institute nach § 1 Absatz 1b des Kreditwesengesetzes in der Fassung der Bekanntmachung vom 9. September 1998 (BGBl. I S. 2776), das zuletzt durch Artikel 9 des Gesetzes vom 28. Februar 2025 (BGBl. 2025 I Nr. 69) geändert worden ist,
Emittenten vermögenswertereferenzierter Token nach Artikel 3 Absatz 1 Nummer 6 der Durchführungsverordnung (EU) 2023/1114 des Europäischen Parlaments und des Rates vom 31. Mai 2023 über Märkte für Kryptower-te und zur Änderung der Verordnungen (EU) Nr. 1093/2010 und (EU) Nr. 1095/2010 sowie der Richtlinien 2013/36/EU und (EU) 2019/1937“ (ABl. L 150 vom 9.6.2023, S. 40–205),
Anbieter von Kryptowerte-Dienstleistungen nach Artikel 3 Absatz 1 Nummer 15 der Verordnung (EU) 2023/1114 des Europäischen Parlaments und des Rates vom 31. Mai 2023 über Märkte für Kryptowerte und zur Änderung der Verordnungen (EU) Nr. 1093/2010 und (EU) Nr. 1095/2010 sowie der Richtlinien 2013/36/EU und (EU) 2019/1937 (ABl. L 150 vom 09.06.2023, S. 40-205),
Investmentholdinggesellschaften nach § 2 Absatz 27 des Wertpapierinstitutsgesetzes vom 12. Mai 2021 (BGBl. I S. 990), das zuletzt durch Artikel 5 des Gesetzes vom 27. Dezember 2024 (BGBl. 2024 I Nr. 438) geändert worden ist,
Finanzholding-Gesellschaften nach § 1 Absatz 35 des Kreditwesengesetzes in Verbindung mit Artikel 4 Absatz 1 Nummer 20 der Verordnung (EU) Nr. 575/2013 des Europäischen Parlaments und des Rates vom 26. Juni 2013 über Aufsichtsanforderungen an Kreditinstitute und zur Änderung der Verordnung (EU) Nr. 648/2012 (ABl. L 176 vom 27.06.2013, S. 1-337),
gemischte Finanzholding-Gesellschaften nach § 1 Absatz 35 des Kreditwesengesetzes in Verbindung mit Artikel 4 Absatz 1 Nummer 21 der Verordnung (EU) Nr. 575/2013,
Kreditdienstleistungsinstitute im Sinne des § 2 Absatz 2 des Kreditzweitmarktgesetzes vom 22. Dezember 2023 (BGBl. 2023 I Nr. 411, S. 2),
Zahlungsinstitute im Sinne des § 2 Absatz 1 Nummer 1 des Zahlungsdiensteaufsichtsgesetzes vom 17. Juli 2017 (BGBl. I S. 2446; 2019 I S. 1113), das zuletzt durch Artikel 11 des Gesetzes vom 28. Februar 2025 (BGBl. 2025 I Nr. 69) geändert worden ist,
E-Geld-Institute im Sinne des § 2 Absatz 1 Satz 1 Nummer 1 des Zahlungsdiensteaufsichtsgesetzes,
Wertpapierinstitute im Sinne des § 2 Absatz 1 des Wertpapierinstitutsgesetzes,
Datenbereitstellungsdienste im Sinne des § 1 Abs. 3a des Kreditwesengesetzes,
Schwarmfinanzierungsdienstleister im Sinne des Artikel 2 Absatz 1 Buchstabe e der Verordnung (EU) 2020/1503 des Europäischen Parlaments und des Rates vom 7. Oktober 2020 über Europäische Schwarmfinanzierungsdienstleister für Unternehmen und zur Änderung der Verordnung (EU) 2017/1129 und der Richtlinie (EU) 2019/1937 (ABl. L 347 vom 20.10.2020, S. 1–49),
zentrale Gegenparteien im Sinne des § 1 Absatz 31 des Kreditwesengesetzes,
Zentralverwahrer im Sinne des § 1 Absatz 6 des Kreditwesengesetzes,
Verwaltungsgesellschaften im Sinne des § 1 Absatz 14 des Kapitalanlagegesetzbuch vom 4. Juli 2013 (BGBl. I S. 1981), das zuletzt durch Artikel 6 des Gesetzes vom 27. Dezember 2024 (BGBl. 2024 I Nr. 438) geändert worden ist,
Versicherungsunternehmen im Sinne des § 7 Nummer 33 und 34 des Versicherungsaufsichtsgesetzes vom 1. April 2015 (BGBl. I S. 434), das zuletzt durch Artikel 11 des Gesetzes vom 27. Dezember 2024 (BGBl. 2024 I Nr. 438) geändert worden ist,
Pensionsfonds im Sinne des § 236 Absatz 1 Satz 1 des Versicherungsaufsichtsgesetzes,
separate Abrechnungsverbände der öffentlich-rechtlichen Versorgungseinrichtungen, die im Wege der freiwilligen Versicherung Leistungen der Altersvorsorge anbieten, gemäß § 2 Absatz 1 des Versicherungsaufsichtsgesetzes,
Versicherungs-Holdinggesellschaften im Sinne des § 7 Nummer 31 des Versicherungsaufsichtsgesetzes sowie Unternehmen im Sinne des § 293 Absatz 4 des Versicherungsaufsichtsgesetzes,
gemischte Versicherungs-Holdinggesellschaften im Sinne des § 7 Nummer 11 des Versicherungsaufsichtsgesetzes,
gemischte Finanzholding-Gesellschaften im Sinne des § 7 Nummer 10 des Versicherungsaufsichtsgesetzes,
Versicherungs-Zweckgesellschaften im Sinne des § 168 Absatz 1 Satz 1 des Versicherungsaufsichtsgesetzes,
Sicherungsfonds gemäß § 223 Absatz 1 Satz 1 des Versicherungsaufsichtsgesetzes und juristische Personen des Privatrechts, denen Aufgaben und Befugnisse eines oder beider Sicherungsfonds gemäß § 224 des Versicherungsaufsichtsgesetzes übertragen worden sind,
den Pensions-Sicherungs-Verein Versicherungsverein auf Gegenseitigkeit im Sinne des § 14 Absatz 1 des Betriebsrentengesetzes vom 19. Dezember 1974 (BGBl. I S. 3610), das zuletzt durch Artikel 14 des Gesetzes vom 20. Dezember 2022 (BGBl. I S. 2759) geändert worden ist, oder
Niederlassungen von Einrichtungen der betrieblichen Altersversorgung im Sinne des Artikels 6 Nummer 1 der Richtlinie (EU) 2016/2341 des Europäischen Parlaments und des Rates vom 14. Dezember 2016 über die Tätigkeiten und die Beaufsichtigung von Einrichtungen der betrieblichen Altersversorgung (EbAV) (ABl. L 354 vom 23.12.2016, S. 37-85), die ihren Sitz in einem Drittstaat haben,

in Verkehr gebracht, in Betrieb genommen oder verwendet werden. Die Bundesanstalt für Finanzdienstleistungsaufsicht ist ferner zuständige Marktüberwachungsbehörde, soweit die Europäische Zentralbank zuständige Aufsichtsbehörde gemäß Artikel 4 Absatz 1 Buchstabe a bis i und Artikel 4 Absatz 2 der Verordnung (EU) Nr. 1024/2013 des Rates vom 15. Oktober 2013 zur Übertragung besonderer Aufgaben im Zusammenhang mit der Aufsicht über Kreditinstitute auf die Europäische Zentralbank (ABl. L 287 vom 29.10.2013, S. 63) ist. Die Bundesanstalt für Finanzdienstleistungsaufsicht ist auch zuständige Marktüberwachungsbehörde nach Satz 1 soweit die Zuständigkeit für die Beaufsichtigung gemäß Artikel 43 Absatz 10 oder Artikel 44 Absatz 4 der Verordnung (EU) 2023/1114 in Bezug auf den Emittenten eines signifikanten vermögenswertereferenzierten Tokens auf die Europäische Bankenaufsichtsbehörde übertragen ist und der Emittent weiterhin im Inland geschäftsansässig ist.

Steht das Inverkehrbringen, die Inbetriebnahme oder die Verwendung eines KISystems in direktem Zusammenhang mit der Erbringung von Finanzdienstleistungen, welche von Finanzinstituten erbracht werden, die nicht von der Bundesanstalt nach Absatz 3 überwacht werden, so obliegt die Marktüberwachung gemäß der Verordnung (EU) 2024/1689 den in jenen Rechtsvorschriften für die Finanzaufsicht über diese Institute benannten Behörden.
Für die Fälle des Artikels 74 Absatz 8 der Verordnung (EU) 2024/1689 wird gemäß § 4 bei der Bundesnetzagentur eine Unabhängige KI-Marktüberwachungskammer (UKIM) eingerichtet, die die Marktüberwachung durchführt.
Die nach den Absätzen 1 bis 5 zuständigen Behörden können gemäß Artikel 69 der Verordnung (EU) 2024/1689 auch Sachverständige des wissenschaftlichen Gremiums hinzuziehen, um ihre Durchsetzungstätigkeiten im Rahmen der Verordnung (EU) 2024/1689 zu unterstützen.

Notifizierende Behörden und Akkreditierung

Die Bundesnetzagentur ist die zuständige notifizierende Behörde, soweit in diesem Gesetz nichts anderes bestimmt ist.
Die Behörden, die durch Bundes- oder Landesrecht zu notifizierenden Behörden zur Ausführung der in Anhang I Abschnitt A der Verordnung (EU) 2024/1689 genannten Harmonisierungsrechtsvorschriften bestimmt wurden, nehmen auch die Aufgaben als zuständige notifizierende Behörden gemäß der Verordnung (EU) 2024/1689 wahr, wenn KISysteme mit Produkten in Zusammenhang stehen, auf die die im Anhang I Abschnitt A genannten Vorschriften Anwendung finden.
Für die in Anhang III Nummer 1 der Verordnung (EU) 2024/1689 aufgeführten Hochrisiko-KI-Systeme ist die nach Artikel 52 Absatz 2 der Verordnung (EU) 2024/2847 des Europäischen Parlaments und des Rates vom 23. Oktober 2024 über horizontale Cybersicherheitsanforderungen für Produkte mit digitalen Elementen und zur Änderung der Verordnungen (EU) Nr. 168/2013 und (EU) 2019/1020 und der Richtlinie (EU) 2020/1828 (Cyberresilienz-Verordnung) (ABl. L, 2024/2847, 20.11.2024) benannte Marktüberwachungsbehörde die zuständige notifizierende Behörde. Bis zur Benennung der Marktüberwachungsbehörde nach Artikel 52 Absatz 2 der Verordnung (EU) 2024/2847 nimmt das Bundesamt für Sicherheit in der Informationstechnik die in Satz 1 genannten Aufgabe wahr.
Die Bewertung und Überwachung von Konformitätsbewertungsstellen, die Konformitätserklärungen im Anwendungsbereich der Verordnung (EU) 2024/1689 erteilen und ihren Sitz in Deutschland haben, obliegt der Deutschen Akkreditierungsstelle, sofern eine Akkreditierung von Konformitätsbewertungsstellen in den Bereichen der in Anhang I Abschnitt A der Verordnung (EU) 2024/1689 genannten Harmonisierungsvorschriften der Europäischen Union stattfindet. Für die Akkreditierung gelten die Anforderungen der Verordnung (EG) Nr. 765/2008 des Europäischen Parlaments und des Rates vom 9. Juli 2008 über die Vorschriften für die Akkreditierung und Marktüberwachung im Zusammenhang mit der Vermarktung von Produkten und zur Aufhebung der Verordnung (EWG) Nr. 339/93 des Rates (ABl. L 218 vom 13.8.2008, S. 30), die zuletzt durch die Verordnung (EU) 2019/1020 (ABl. L 169 vom 25.6.2019, S. 1) geändert worden ist, und das Akkreditierungsstellengesetz vom 31. Juli 2009 (BGBl. I S. 2625), das zuletzt durch Artikel 47 des Gesetzes vom 23. Oktober 2024 (BGBl. 2024 I Nr. 323) geändert worden ist.
Die Akkreditierung kann unter Bedingungen oder Auflagen erteilt werden. Sie kann befristet und mit dem Vorbehalt des Widerrufs sowie auch nachträglich mit Auflagen erteilt werden.
Die nach den Absätzen 1 bis 4zuständigen Behörden und Stellen können gemäß Artikel 69 der Verordnung (EU) 2024/1689 auch Sachverständige des wissenschaftlichen Gremiums hinzuziehen, um ihre Durchsetzungstätigkeiten im Rahmen der Verordnung (EU) 2024/1689 zu unterstützen.

Unabhängige KI-Marktüberwachungskammer

Die UKIM ist mit dem Präsidenten der Bundesnetzagentur als Vorsitzendem oder der Präsidentin der Bundesnetzagentur als Vorsitzender und den beiden Vizepräsidenten oder Vizepräsidentinnen der Bundesnetzagentur als beisitzenden Mitgliedern besetzt. Die Entscheidungen der UKIM werden mit einfacher Mehrheit der Mitglieder getroffen. Bei Stimmengleichheit entscheidet die Stimme des Vorsitzenden oder der Vorsitzenden.
Die UKIM wird unterstützt durch eine Geschäftsstelle. Sie kann zur Erfüllung ihrer Aufgaben über Personen- und Sachmittel der Bundesnetzagentur verfügen. Die Mitarbeitenden der Bundesnetzagentur unterstehen während ihrer Tätigkeit für die UKIM ausschließlich den Mitgliedern der UKIM.
Die UKIM handelt völlig unabhängig. Sie unterliegt weder direkter noch indirekter Beeinflussung von außen und ersucht weder um Weisungen noch nimmt sie Weisungen entgegen.
Die UKIM legt dem Bundestag jährlich einen Tätigkeitsbericht vor. Der Bericht ist erstmals für das Jahr 2026 zu erstellen.
Die Aufgaben der UKIM gemäß Absatz 1 erstrecken sich nicht auf die Überprüfung des Einsatzes von Hochrisiko-KI-Systemen gemäß Artikel 26 Absatz 10 und Artikel 5 Absätze 2 und 3 der Verordnung (EU) 2024/1689 im Einzelfall.

Koordinierungs- und Kompetenzzentrum für die Verordnung (EU) 2024/1689

Bei der Bundesnetzagentur wird ein zentrales Koordinierungs- und Kompetenzzentrum für die Verordnung (EU) 2024/1689 eingerichtet („Koordinierungs- und Kompetenzzentrum KI-VO“ – „KoKIVO“). Das KoKIVO hat die Aufgaben,

die nach diesem Gesetz zuständigen Marktüberwachungsbehörden, notifizierenden Behörden und Akkreditierungsstellen bei komplexen Entscheidungen im Anwendungsbereich der Verordnung (EU) 2024/1689 mit Sachverstand auf Anfrage zu unterstützen, wofür es weitere im Einzelfall in ihrer Zuständigkeit betroffene Bundesbehörden einbinden und externen Sachverstand hinzuziehen kann,
die Zusammenarbeit der nach diesem Gesetz zuständigen Behörden zu koordinieren und darauf hinzuwirken, dass die horizontalen Rechtsfragen einheitlich beantwortet werden, sowie
die Aufstellung von Verhaltenskodizes im Sinne des Artikels 95 Absatz 2 der Verordnung (EU) 2024/1689 zu erleichtern.

Für die Erfüllung seiner Aufgabe nach Satz 2 Nummer 2 kann das KoKIVO geeignete Ausschüsse, insbesondere bestehend aus den zuständigen Behörden, einrichten.

Zentrale Anlaufstelle

Zentrale Anlaufstelle im Sinne des Artikels 70 Absatz 2 Satz 3 der Verordnung (EU) 2024/1689 ist die Bundesnetzagentur.
Die Marktüberwachungsbehörden und die notifizierenden Behörden stellen der zentralen Anlaufstelle Informationen über ihre Aufgaben, ihre elektronische Kontaktadresse, jeweils Kontaktdaten einer Ansprechperson und einer diese vertretende Person zur Verfügung. Die Marktüberwachungsbehörden und die notifizierenden Behörden informieren die zentrale Anlaufstelle unverzüglich über Änderungen zu den Informationen nach Satz 1. Die zentrale Anlaufstelle macht die elektronischen Kontaktadressen dieser Behörden und ihre eigene öffentlich zugänglich. Die zentrale Anlaufstelle teilt der Kommission die Namen und die Aufgaben der Marktüberwachungsbehörden und der notifizierenden Behörden, die in Satz 1 genannten elektronischen Kontaktadressen sowie alle späteren Änderungen dieser Kontaktadressen mit.
Die zentrale Anlaufstelle nimmt Eingaben des nach Artikel 64 der Verordnung (EU) 2024/1689 eingerichteten Büros für Künstliche Intelligenz, der Öffentlichkeit und anderer Ansprechpartner auf Ebene der Mitgliedstaaten und der Union entgegen und leitet diese an die zuständigen nationalen Stellen weiter.
Soweit in diesem Gesetz nichts anderes bestimmt ist, erfüllen die nach diesem Gesetz zuständigen Behörden die Berichtspflichten nach der Verordnung (EU) 2024/1689 über die zentrale Anlaufstelle. Hierfür stellen die verpflichteten Behörden der zentralen Anlaufstelle die Dokumente in elektronischer Form und in einem unveränderlichen Format zur Verfügung.

Unterrichtung nach Artikel 79, 81 und 82 der Verordnung (EU) 2024/1689

Die Unterrichtung der Kommission und anderer Mitgliedstaaten bei Nichtkonformität eines KI-Systems nach Artikel 79 Absatz 3 und Absatz 5 Satz 2 und Absatz 7 sowie nach Artikel 81 Absatz 2 Satz 1 und 2 der Verordnung (EU) 2024/1689 hat die zuständige Marktüberwachungsbehörde unverzüglich über die Bundesanstalt für Arbeitsschutz und Arbeitsmedizin vorzunehmen.
Die Unterrichtung bei Risiken trotz Konformität eines KI-Systems nach Artikel 82 Absatz 3 der Verordnung (EU) 2024/1689 hat die zuständige Marktüberwachungsbehörde unverzüglich über die Bundesanstalt für Arbeitsschutz und Arbeitsmedizin vorzunehmen.

Zentrale Beschwerdestelle

Unbeschadet der Vorgaben des Artikels 85 der Verordnung (EU) 2024/1689 können Beschwerden wegen eines Verstoßes gegen die Verordnung (EU) 2024/1689 bei der Bundesnetzagentur eingereicht werden. Betrifft die Beschwerde die Zuständigkeit einer nach § 2 Absatz 2 bis 5 zuständigen Behörde, so leitet die Bundesnetzagentur die Beschwerde an diese weiter. Betrifft die Beschwerde auch die Zuständigkeit einer sonstigen Behörde oder öffentlichen Stelle gemäß § 9 Absatz 2, leitet die Bundesnetzagentur die Beschwerde auch an diese weiter. Unbeschadet der Informationspflichten zu personenbezogenen Daten nach der Verordnung (EU) 2016/679 ist im Fall des Satzes 2 der Beschwerdeführer über die Zuständigkeit einer Behörde nach § 2 Absatz 2 bis 5 für seine Beschwerde sowie die erfolgte Weiterleitung zu informieren.
Zur Erfüllung ihrer Aufgaben als zentrale Beschwerdestelle richtet die Bundesnetzagentur ein Beschwerdemanagementsystem ein, das leicht zugänglich, barrierefrei und benutzerfreundlich ist und die Einreichung hinreichend präziser und angemessen begründeter Beschwerden ermöglicht.
Wird eine Beschwerde wegen eines Verstoßes gegen die Verordnung (EU) 2024/1689 bei einer Marktüberwachungsbehörde nach § 2 Absatz 2 bis 5 eingereicht, so leitet diese Marktüberwachungsbehörde die Beschwerde an die Bundesnetzagentur weiter, sofern sie nicht in die Zuständigkeit der nach § 2 Absatz 2 bis 5 zuständigen Behörde fällt; andernfalls stellt die Marktüberwachungsbehörde der Bundesnetzagentur in Textform eine Kopie der Beschwerde zur Verfügung.

Abschnitt 2

Zusammenarbeit

Zusammenarbeit der zuständigen Behörden

Die Marktüberwachungsbehörden und die notifizierenden Behörden arbeiten zur Erfüllung ihrer Aufgaben im Rahmen ihrer jeweiligen Zuständigkeiten kooperativ und vertrauensvoll zusammen. Sie teilen einander Beobachtungen und Feststellungen mit, die für die Erfüllung der beiderseitigen Aufgaben von Bedeutung sein können.
Die Marktüberwachungsbehörden und sonstige Behörden sowie Behörden und öffentliche Stellen nach Artikel 77 Absatz 1 der Verordnung (EU) 2024/1689, deren Zuständigkeit bei konkreten Marktüberwachungstätigkeiten oder bei Prüfungen und Maßnahmen gemäß Artikel 79 der Verordnung (EU) 2024/1689 betroffen sind, informieren sich gegenseitig über Maßnahmen, die sie zu ergreifen beabsichtigen. Im Rahmen der Durchführung von Maßnahmen teilen sie einander Beobachtungen und Feststellungen mit, die sie für die Erfüllung der beiderseitigen Aufgaben nach diesem Gesetz oder der Verordnung (EU) 2024/1689 benötigen.
Kommen die Marktüberwachungsbehörden zu dem Ergebnis, dass öffentliche Stellen im Sinne von § 2 Absatz 1 und 2 des Bundesdatenschutzgesetzes vom 30. Juni 2017 (BGBl. I S. 2097), das zuletzt durch Artikel 7 des Gesetzes vom 6. Mai 2024 (BGBl. 2024 I Nr. 149) geändert worden ist, gegen die Verordnung (EU) 2024/1689 verstoßen, teilen sie dies der zuständigen Rechts- oder Fachaufsichtsbehörde mit und geben dieser vor Durchführung von Maßnahmen gegenüber der öffentlichen Stelle Gelegenheit zur Stellungnahme innerhalb einer angemessenen Frist. Von der Einräumung der Gelegenheit zur Stellungnahme kann abgesehen werden, wenn eine sofortige Entscheidung wegen Gefahr im Verzug oder im öffentlichen Interesse notwendig erscheint oder ihr ein zwingendes öffentliches Interesse entgegensteht. Die Stellungnahme der Rechts- oder Fachaufsichtsbehörde soll auch eine Darstellung der aufsichtsrechtlichen Maßnahmen enthalten, die aufgrund der Mitteilung der Behörde oder öffentlichen Stelle nach Absatz 2 Satz 1 getroffen worden sind.
Die Marktüberwachungsbehörden beziehen bei der Wahrnehmung ihrer Aufgaben nach der Verordnung (EU) 2024/1689 insbesondere auch die folgenden Behörden ein, soweit deren jeweiliger Zuständigkeitsbereich berührt ist:

die Datenschutzbehörden des Bundes und der Länder [Genaue Ausgestaltung der Zusammenarbeit in Prüfung; daher Änderungen, insb. Ergänzungen vorbehalten] 2. das Bundesamt für Sicherheit in der Informationstechnik und
das Bundeskartellamt.

(5) Die in Absatz 1 bis 4 genannten Behörden können im Rahmen ihrer Zuständigkeit unabhängig von der jeweils gewählten Verfahrensart untereinander Informationen einschließlich personenbezogener Daten und Betriebs- und Geschäftsgeheimnisse austauschen, soweit dies zur Erfüllung ihrer jeweiligen Aufgaben erforderlich ist. Sie können diese Informationen in ihren Verfahren verwerten. Beweisverwertungsverbote bleiben unberührt. Die Regelungen über die Rechtshilfe in Strafsachen sowie Amts- und Rechtshilfeabkommen bleiben unberührt.

Zusammenarbeit der Marktüberwachungsbehörden mit der nach Artikel 52 Absatz 2 der Verordnung (EU) 2024/2847 benannten Behörde

Die nach diesem Gesetz zuständigen Marktüberwachungsbehörden und die nach Artikel 52 Absatz 2 der Verordnung (EU) 2024/2847 benannte Marktüberwachungsbehörde arbeiten zur Erfüllung ihrer Aufgaben im Rahmen ihrer jeweiligen Zuständigkeiten kooperativ und vertrauensvoll zusammen. Sie teilen einander Beobachtungen und Feststellungen mit, die für die Erfüllung der beiderseitigen Aufgaben im jeweiligen Zuständigkeitsbereich von Bedeutung sein können.
Im Wege der Zusammenarbeit informiert die nach Artikel 52 Absatz 2 der Verordnung (EU) 2024/2847 benannte Marktüberwachungsbehörde die jeweils nach diesem Gesetz zuständige Marküberwachungsbehörde über Verdachtsfälle hinsichtlich der Nichtkonformität von Cybersicherheit bei Hochrisiko-KI-Systemen. Die nach diesem Gesetz zuständige Marktüberwachungsbehörde prüft daraufhin, ob sie Marktüberwachungsmaßnahmen ergreift. Hierfür erstellen die Bundesnetzagentur und die nach Artikel 52 Absatz 2 der Verordnung (EU) 2024/2847 benannte Marktüberwachungsbehörde gemeinsame Vorgaben für die Prüfung der Cybersicherheit im Bereich der Hochrisiko-KI-Systeme. Über das Ergebnis der Prüfung informiert die nach diesem Gesetz zuständige Marktüberwachungsbehörde die nach Artikel 52 Absatz 2 der Verordnung (EU) 2024/2847 benannte Marktüberwachungsbehörde.
Die nach Artikel 52 Absatz 2 der Verordnung (EU) 2024/2847 benannte Marktüberwachungsbehörde arbeitet mit

an der Erstellung der Leitlinien der Europäischen Kommission nach Artikel 96 Absatz

1 Buchstabe a in Verbindung mit Artikel 15 Absatz 5 der Verordnung (EU) 2024/1689,

bei der Entwicklung europäisch harmonisierter Normen nach Artikel 40 der Verordnung (EU) 2024/1689 zu den Anforderungen an die Cybersicherheit nach Artikel 15 Absatz 5 der Verordnung (EU) 2024/1689 und
bei der Festlegung gemeinsamer Spezifikationen zu den Anforderungen an die Cybersicherheit nach Artikel 15 Absatz 5 der Verordnung (EU) 2024/1689 durch die Europäische Kommission nach Artikel 41 der Verordnung (EU) 2024/1689.

(4) Bis zur Benennung der Marktüberwachungsbehörde nach Artikel 52 Absatz 2 der Verordnung (EU) 2024/2847 nimmt das Bundesamt für Sicherheit in der Informationstechnik die in den Absätzen 1 bis 3 genannten Aufgaben wahr.

Teil 3

Befugnisse

Befugnisse der zuständigen Behörden; Einschränkung eines Grundrechts

Die Marktüberwachungsbehörden nach § 2 Absatz 1 bis 5 haben die Befugnisse gemäß Artikel 14 Absatz 4 und 5 der Verordnung (EU) 2019/1020 des Europäischen Parlaments und des Rates vom 20. Juni 2019 über Marktüberwachung und die Konformität von Produkten sowie zur Änderung der Richtlinie 2004/42/EG und der Verordnungen (EG) Nr.

765/2008 und (EU) Nr. 305/2011 (ABl. L 169 vom 25.6.2019, S. 1), die zuletzt durch die Verordnung (EU) 2024/1252 (ABl. L, 2024/1252, 3.5.2024) geändert worden ist. Die Befugnisse nach Artikel 14 Absatz 4 Buchstabe e der Verordnung (EU) 2019/1020 bestehen zu den üblichen Betriebs- und Geschäftszeiten, außerhalb der dort genannten Zeiten nur zur Verhütung dringender Gefahren für die öffentliche Sicherheit und Ordnung. Die Marktüberwachungsbehörden können bei Wahrnehmung ihrer Befugnisse nach Artikel 14 Absatz 4 und 5 der Verordnung (EU) 2019/1020 dritte Personen als Verwaltungshelfer heranziehen, die sie bei der Ausführung insbesondere von technischen Prozessen unterstützen. Zusätzlich können die Marktüberwachungsbehörden die in Artikel 14 Absatz 4 Buchstabe d und j der Verordnung (EU) 2019/1020 genannten Befugnisse über Anwendungsprogrammierschnittstellen oder andere technische Mittel, die den Fernzugriff ermöglichen, ausüben. Das Grundrecht der Unverletzlichkeit der Wohnung nach Artikel 13 des Grundgesetzes wird insoweit eingeschränkt.

Im Übrigen gilt § 7 Absatz 2 bis 4 des Marktüberwachungsgesetzes entsprechend.
Widerspruch und Klage gegen Entscheidungen der Marktüberwachungsbehörden nach § 2 Absatz 1 bis 5 dieses Gesetzes haben keine aufschiebende Wirkung, wenn dies in den Durchführungsrechtsakten zu den in Anhang I Abschnitt A der Verordnung 2024/1689 genannten Harmonisierungsvorschriften vorgesehen ist.

Teil 4

Innovationsförderung

Innovationsfördernde Maßnahmen

Die Bundesnetzagentur führt innovationsfördernde Maßnahmen gemäß der Verordnung (EU) 2024/1689 durch. Sie hat insbesondere die Aufgaben,

allgemeine Informationen und Anleitungen zur Anwendung der Verordnung (EU) 2024/1689 für die Adressaten der Verordnung (EU) 2024/1689, insbesondere für kleinere und mittlere Unternehmen (KMU) sowie Start-ups bereitzustellen,
zur Innovationsförderung gemäß Artikel 62 Absatz 1 Buchstabe b der Verordnung (EU) 2024/1689 Sensibilisierungs- und Schulungsmaßnahmen betreffend die Verordnung (EU) 2024/1689 durchzuführen,
den Wissensaufbau und -austausch zu KI zu fördern, insbesondere durch Durchführung von Studien, Analysen und Fachveranstaltungen, soweit das für die Durchführung ihrer Aufgaben nach diesem Gesetz erforderlich ist,
die Vernetzung und Kooperation der relevanten Akteure des KI-Ökosystems im Rahmen ihrer Aufgaben zu fördern und
ihren Sachverstand auch für die Erfüllung der weiteren Aufgaben aus der Verordnung (EU) 2024/1689 zur Innovationsförderung bereitzustellen, insbesondere durch die Mitarbeit im Bereich der technischen Normung von künstlicher Intelligenz in nationalen und internationalen Normungsgremien.

KI-Reallabore, Verordnungsermächtigung

Die Bundesnetzagentur errichtet und betreibt mindestens ein KI-Reallabor nach den Artikeln 57 und 58 der Verordnung (EU) 2024/1689. Dies lässt die Einrichtung und den Betrieb von KI-Reallaboren durch andere Behörden unberührt.
Die Bundesnetzagentur arbeitet bei der Erfüllung der Aufgaben nach Absatz 1 Satz 1 mit anderen Behörden zusammen, soweit die Einrichtung oder der Betrieb des KI-Reallabors deren Zuständigkeitsbereich berührt. Dies umfasst auch die Zusammenarbeit mit anderen Behörden, die Reallabore betreiben. Aufsichts- und Überwachungsbefugnisse weiterer Behörden aufgrund anderer Gesetze bleiben hiervon unberührt.
Die Bundesnetzagentur gewährt kleinen und mittleren Unternehmen und Startups, die ihren Sitz oder eine Zweigniederlassung in der Union haben, vorrangigen Zugang zu dem KI-Reallabor, soweit sie die gemäß der Durchführungsrechtsakte im Sinne des Artikels 58 Absatz 1 der Verordnung (EU) 2024/1689 zu erlassenden Voraussetzungen und Auswahlkriterien erfüllen.
Das Bundesministerium für Digitales und Staatsmodernisierung wird ermächtigt, durch Rechtsverordnung das Nähere zur Einrichtung und zum Betrieb des KI-Reallabors bei der Bundesnetzagentur zum Zwecke der Durchführung der Artikel 57 bis 59 der Verordnung (EU) 2024/1689 zu regeln. Dabei kann es insbesondere weitere Aufgaben an die Bundesnetzagentur übertragen und weitere Einzelheiten, die zu der Einrichtung oder dem Betrieb des Reallabors bei der Bundesnetzagentur notwendig sind, regeln, soweit dies nach Erlass der Durchführungsrechtsakte im Sinne des Artikels 58 Absatz 1 der Verordnung (EU) 2024/1689 erforderlich ist. Das Bundesministerium für Digitales und Staatsmodernisierung kann die Ermächtigung nach Satz 1 und 2 durch Rechtsverordnung auf die Bundesnetzagentur übertragen.

Tests von Hochrisiko-KI-Systemen unter Realbedingungen

Die Marktüberwachungsbehörden überwachen im Rahmen ihrer jeweiligen Zuständigkeit die Durchführung von Tests unter Realbedingungen gemäß Artikel 60 der Verordnung (EU) 2024/1689 außerhalb von KI-Reallaboren und die damit zusammenhängenden Hochrisiko-KI-Systeme.
Bevor Anbieter oder zukünftige Anbieter die in Anhang III der Verordnung (EU) 2024/1689 genannten Hochrisiko-KI-Systeme selbst oder in Zusammenarbeit mit einem oder mehreren Betreibern oder zukünftigen Betreibern unter Realbedingungen testen, müssen sie den Plan für den Test unter Realbedingungen bei der zuständigen Marktüberwachungsbehörde vorlegen. Ist ein solcher Test geplant, muss er vor dem Inverkehrbringen oder der Inbetriebnahme des zu testenden Hochrisiko-KI-Systems stattfinden. Die Bundesnetzagentur genehmigt den Test unter Realbedingungen und den Plan für den Test unter Realbedingungen, wenn die Vorgaben des Artikels 60 Absatz 4 der Verordnung (EU) 2024/1689 eingehalten sind. Die Genehmigung der Bundesnetzagentur gilt als erteilt, wenn der Anbieter oder zukünftige Anbieter binnen 30 Tagen nach Eingang des Plans gemäß Satz 1 keine Antwort erhalten hat.

Teil 5

Bußgeldverfahren

Anwendung der Vorschriften des Gesetzes über Ordnungswidrigkeiten

[ggf. Anpassungen erforderlich mit Blick auf derzeit auf europäischer Ebene laufende Abstimmungen KOM/MS, mit dem Ziel, zu einer weitestgehenden Einheitlichkeit der Sanktionen in den MS zu kommen]

Für Verstöße nach Artikel 99 Absatz 3 bis 5 der Verordnung (EU) 2024/1689 gelten, soweit dieses Gesetz nichts anderes bestimmt, die Vorschriften des Gesetzes über Ordnungswidrigkeiten entsprechend. § 17 sowie § 30 Absatz 1 des Gesetzes über Ordnungswidrigkeiten sind nicht anzuwenden.
Für Verfahren wegen eines Verstoßes nach Artikel 99 Absatz 3 bis 5 der Verordnung (EU) 2024/1689 gelten, soweit dieses Gesetz nichts anderes bestimmt, die Vorschriften des Gesetzes über Ordnungswidrigkeiten und der allgemeinen Gesetze über das Strafverfahren, namentlich der Strafprozessordnung und des Gerichtsverfassungsgesetzes, entsprechend. § 69 Absatz 4 Satz 2 des Gesetzes über Ordnungswidrigkeiten ist mit der Maßgabe anzuwenden, dass die Staatsanwaltschaft das Verfahren nur mit Zustimmung der Marktüberwachungsbehörde, die den Bußgeldbescheid erlassen hat, einstellen kann.
Verwaltungsbehörden im Sinne des § 36 Absatz 1 Nummer 1 des Gesetzes über Ordnungswidrigkeiten sind die nach § 2 Absatz 1 bis 5 zuständigen Marktüberwachungsbehörden, die nach § 3 Absatz 1 bis 3 zuständigen notifizierenden Behörden und die nach § 3 Absatz 4 Satz 1 zuständige Deutsche Akkreditierungsstelle.
Gegen öffentliche Stellen im Sinne von § 2 Absatz 1 und 2 des Bundesdatenschutzgesetzes werden keine Geldbußen verhängt.

Teil 6

Aufbewahrungspflichten

Aufbewahrungspflichten nach Artikel 18 Absatz 2 der Verordnung (EU) 2024/1689

Stellt ein Anbieter oder ein in Deutschland niedergelassener Bevollmächtigter seine Geschäftstätigkeit ein, so hat der für die Liquidation oder Auflösung Verantwortliche die Pflicht aus Artikel 18 Absatz 1 der Verordnung (EU) 2024/1689.

Artikel 2

Änderung des Hinweisgeberschutzgesetzes

2 Absatz 1 des Hinweisgeberschutzgesetzes vom 31. Mai 2023 (BGBl. 2023 I Nr. 140) wird wie folgt geändert:

Nach Nummer 9 wird folgende Nummer 10 eingefügt:

„10. Verstöße gegen Vorschriften der Verordnung (EU) 2024/1689 des Europäischen Parlaments und des Rates vom 13. Juni 2024 zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz und zur Änderung der Verordnungen (EG) Nr. 300/2008, (EU) Nr. 167/2013, (EU) Nr. 168/2013, (EU) 2018/858, (EU) 2018/1139 und (EU) 2019/2144 sowie der Richtlinien 2014/90/EU, (EU) 2016/797 und (EU) 2020/1828 (Verordnung über künstliche Intelligenz) (ABl. L, 2024/1689, 12.7.2024),“ 2. Die bisherige Nummer 10 wird Nummer 11.

Artikel 3

Änderung des Ersten Buches Sozialgesetzbuch

Das Erste Buch Sozialgesetzbuch – Allgemeiner Teil – (Artikel I des Gesetzes vom 11. Dezember 1975, BGBl. I S. 3015), das zuletzt durch Artikel 4 des Gesetzes vom 19. Juli 2024 (BGBl. 2024 I Nr. 245) geändert worden ist, wird wie folgt geändert:

35 Absatz 2 Satz 1 wird durch den folgenden Satz ersetzt:

„Die Vorschriften des Zweiten Kapitels des Zehnten Buches und der übrigen Bücher des Sozialgesetzbuches regeln die Verarbeitung von Sozialdaten abschließend, soweit nicht:“

die Verordnung (EU) 2016/679 des Europäischen Parlaments und des Rates vom 27. April 2016 zum Schutz natürlicher Personen bei der Verarbeitung personenbezogener Daten, zum freien Datenverkehr und zur Aufhebung der Richtlinie 95/46/EG (Datenschutz-Grundverordnung) (ABl. L 119 vom 4.5.2016, S. 1; L 314 vom 22.11.2016, S. 72; L 127 vom 23.5.2018, S. 2) in der jeweils geltenden Fassung unmittelbar gilt;
die Verordnung (EU) 2024/1689 des Europäischen Parlaments und des Rates vom 13. Juni 2024 zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz und zur Änderung der Verordnungen (EG) Nr. 300/2008, (EU) Nr. 167/2013, (EU) Nr. 168/2013,

(EU) 2018/858, (EU) 2018/1139 und (EU) 2019/2144 sowie der Richtlinien 2014/90/EU, (EU) 2016/797 und (EU) 2020/1828 (Verordnung über künstliche Intelligenz) (ABl. L, 2024/1689 vom 12.7.2024) in der jeweils geltenden Fassung unmittelbar geltende Rechtsvorschriften zum Schutz bei der Verarbeitung personenbezogener Daten enthält.“

Artikel 4

Änderung des Finanzdienstleistungsaufsichtsgesetzes

Das Finanzdienstleistungsaufsichtsgesetz vom 22. April 2002 (BGBl. I S. 1310), das zuletzt durch Artikel 19 des Gesetzes vom 27. Dezember 2024 (BGBl. 2024 I Nr. 438) geändert worden ist, wird wie folgt geändert:

15 wird wie folgt geändert:
1. Nach Absatz 1 Satz 1 Nummer 13 wird folgende Nummer 14 angefügt:

„ 14. durch

eine vor Ort oder aus der Ferne nach § 11 des Gesetzes zur Marktüberwachung und Innovationsförderung von künstlicher Intelligenz (KI-Marktüberwachungs- und Innovationsförderungsgesetz) … in Verbindung mit Artikel 14 Absatz 1 und Absatz 4 Buchstabe d) der Verordnung (EU) 2019/1020 des Europäischen Parlaments und des Rates vom 20. Juni 2019 über Marktüberwachung und die Konformität von Produkten sowie zur Änderung der Richtlinie 2004/42/EG und der Verordnungen (EG) Nr. 765/2008 und (EU) Nr. 305/2011 (ABl. L 169 vom 25.6.2019, S. 1), die zuletzt durch die Verordnung (EU) 2024/1252 (ABl. L, 2024/1252, 3.5.2024) geändert worden ist, vorgenommene Prüfungshandlung auch in Verbindung mit Maßnahmen nach § 10 des KI-Marktüberwachungs- und Innovationsförderungsgesetzes in Verbindung mit Artikel 14 Absatz 1 und Absatz 4 Buchstabe e) der Verordnung (EU) 2019/1020,
eine Maßnahme nach § 11 des KI-Marktüberwachungs- und Innovationsförderungsgesetzes in Verbindung mit Artikel 14 Absatz 1 und Absatz 4 Buchstabe h) der Verordnung (EU) 2019/1020,“.

In Absatz 1 Satz 1 wird nach den Wörtern „sowie 13“ die Angabe „und 14“ eingefügt.
In Absatz 1 Satz 2 werden nach den Wörtern „belastet wird,“ die Wörter “oder die der Bundesanstalt durch die Heranziehung dritter Personen als Verwaltungshelfer nach § 11 Absatz 1 Satz 3 des KI-Marktüberwachungs- und Innovationsförderungsgesetzes entstehen,„ eingefügt.

16b wird wie folgt geändert:
1. Nach Absatz 1 wird der folgende Absatz 1a eingefügt:

„(1a) Die Kosten, die der Bundesanstalt aus ihrer Zuständigkeit nach KI-Marktüberwachungs- und Innovationsförderungsgesetz entstehen, werden, soweit es sich bei diesen Kosten um Kosten in Bezug auf Kredit-, Finanzdienstleistungs-, Wertpapierinstituts-, Zahlungsdienste-, Krypto- oder inländisches Investmentwesen handelt, dem Aufgabenbereich Banken und sonstige Finanzdienstleistungen und, soweit es sich um Kosten des Versicherungswesens handelt, dem Aufgabenbereich Versicherungen entsprechend zugeordnet. Innerhalb des Aufgabenbereichs Banken und sonstige Finanzdienstleistungen erfolgt eine gesonderte Ermittlung nach Gruppen entsprechend § 16e.“

In Absatz 2 Satz 1 werden nach den Wörtern „nach Absatz 1 Satz 1“ die Wörter „oder nach Absatz 1a Satz 1“ eingefügt.
In Absatz 3 Satz 1 werden nach den Wörtern „nach Absatz 1 Satz 1“ die Wörter „oder nach Absatz 1a Satz 1“ eingefügt.

Artikel 5

Inkrafttreten

Dieses Gesetz tritt am Tag nach der Verkündung in Kraft.

Begründung

Allgemeiner Teil

I. Zielsetzung und Notwendigkeit der Regelungen

Am 1. August 2024 ist die Verordnung (EU) 2024/1689 des Europäischen Parlaments und des Rates vom 13. Juni 2024 zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz und zur Änderung der Verordnungen (EG) Nr. 300/2008, (EU) Nr. 167/2013, (EU) Nr. 168/2013, (EU) 2018/858, (EU) 2018/1139 und (EU) 2019/2144 sowie der Richtlinien 2014/90/EU, (EU) 2016/797 und (EU) 2020/1828 (Verordnung über künstliche Intelligenz) (ABl. L, 2024/1689, 12.07.2024) in Kraft getreten. Die Verordnung (EU) 2024/1689 legt einen einheitlichen Rechtsrahmen für die Entwicklung, das Inverkehrbringen, die Inbetriebnahme und die Verwendung von Systemen künstlicher Intelligenz (KI-Systeme) in der Europäischen Union fest. Sie verfolgt einen risikobasierten Ansatz und enthält insbesondere Verbote bestimmter Praktiken im KI-Bereich, besondere Anforderungen an Hochrisiko-KI-Systeme und Pflichten für Akteure in Bezug auf solche Systeme, Transparenzvorschriften für bestimmte KI-Systeme sowie Maßnahmen zur Innovationsförderung mit besonderem Augenmerk auf kleine und mittlere Unternehmen (KMU) und Start-ups. Dadurch sollen ein einheitlicher Binnenmarkt für KI-gestützte Waren und Dienstleistungen geschaffen, Innovationen gefördert und gleichzeitig ein hohes Schutzniveau in Bezug auf Gesundheit, Sicherheit und der in der Charta der Grundrechte der Europäischen Union verankerten Grundrechte, einschließlich Demokratie, Rechtsstaatlichkeit und Umweltschutz, sichergestellt werden. Die Regelungen der Verordnung (EU) 2024/1689 gelten grundsätzlich unmittelbar ab dem 2. August 2026. Zum Zwecke der Durchführung der Verordnung (EU) 2024/1689 muss jeder Mitgliedstaat bis zum 2. August 2025 mindestens eine notifizierende Behörde und mindestens eine Marktüberwachungsbehörde (darunter eine Marktüberwachungsbehörde, die als zentrale Anlaufstelle für die Verordnung (EU) 2024/1689 fungiert) als zuständige nationale Behörden einrichten oder benennen und entsprechend den Vorgaben der Verordnung (EU) 2024/1689 Vorschriften für Sanktionen und andere Durchsetzungsmaßnahmen erlassen. Gemäß der Verordnung (EU) 2024/1689 sind die notifizierenden Behörden für die Einrichtung und Durchführung der erforderlichen Verfahren zur Bewertung, Benennung und Notifizierung von Konformitätsbewertungsstellen und für deren Überwachung zuständig. Die Mitgliedstaaten können entscheiden, dass die Bewertung und Überwachung von einer nationalen Akkreditierungsstelle im Sinne und gemäß der Verordnung (EG) Nr. 765/2008 durchzuführen sind. Die Marktüberwachungsbehörden führen die Tätigkeiten durch und ergreifen die Maßnahmen, die in der Verordnung (EU) 2019/1020 vorgesehen sind. Auch wenn unter bestimmten Voraussetzungen Abweichungen möglich sind, sieht die Verordnung (EU) 2024/1689 vor, dass bei Hochrisiko-KI-Systemen und damit in Zusammenhang stehenden Produkten, auf die die in Anhang I Abschnitt A der Verordnung (EU) 2024/1689 aufgeführten Harmonisierungsrechtsvorschriften der Union Anwendung finden, als Marktüberwachungsbehörde die in jenen Rechtsakten für die Marktüberwachung benannte Behörde gilt. Bei Hochrisiko-KISystemen, die von auf der Grundlage des Unionsrechts im Bereich der Finanzdienstleistungen regulierten Finanzinstituten in Verkehr gebracht, in Betrieb genommen oder verwendet werden, gilt die in jenen Rechtsvorschriften für die Finanzaufsicht über diese Institute benannte nationale Behörde als Marktüberwachungsbehörde, sofern das Inverkehrbringen, die Inbetriebnahme oder die Verwendung des KI-Systems mit der Erbringung dieser Finanzdienstleistungen in direktem Zusammenhang steht und keine andere einschlägige Behörde als Marktüberwachungsbehörde benannt wird. Zudem gilt für die in Anhang III Nummer 1 der Verordnung (EU) 2024/1689 genannten Hochrisiko-KI-Systeme, sofern diese Systeme für Strafverfolgungszwecke, Grenzmanagement und Justiz und Demokratie eingesetzt werden, und für die in Anhang III Nummern 6, 7 und 8 der Verordnung (EU) 2024/1689 genannten Hochrisiko-KI-Systeme, dass die Mitgliedstaaten als Marktüberwachungsbehörden entweder die nach der Verordnung (EU) 2016/679 oder der Richtlinie (EU) 2016/680 für den Datenschutz zuständigen Aufsichtsbehörden benennen oder jede andere Behörde gemäß denselben Bedingungen wie in den Artikeln 41 bis 44 der Richtlinie (EU) 2016/680 festlegen. Marktüberwachungstätigkeiten dürfen in keiner Weise die Unabhängigkeit von Justizbehörden beeinträchtigen oder deren Handlungen im Rahmen ihrer justiziellen Tätigkeit anderweitig beeinflussen. Zudem dürfen Marktüberwachungstätigkeiten nicht das Steuergeheimnis verletzen oder die Handlungen der Finanzbehörden im Rahmen ihrer fiskalischen Tätigkeit beeinträchtigen oder anderweitig beeinflussen (Artikel 108 Absatz 1 und 2 GG). Die Koordinierung zwischen den auf der Grundlage der Verordnung (EU) 2024/1689 benannten Marktüberwachungsbehörden und anderen nationalen Behörden und Stellen ist zu erleichtern. Die Verordnung (EU) 2024/1689 fügt sich als Produktregulierung in das allgemeine System der Marktüberwachung ein. Die Verordnung (EU) 2024/1689 gilt im Einklang mit der Verordnung (EG) Nr. 765/2008 des Europäischen Parlaments und des Rates vom 9. Juli 2008 über die Vorschriften für die Akkreditierung und Marktüberwachung im Zusammenhang mit der Vermarktung von Produkten und zur Aufhebung der Verordnung (EWG) Nr. 339/93 des Rates (ABl. L 218 vom 13.8.2008, S. 30), dem Beschluss Nr. 768/2008/EG des Europäischen Parlaments und des Rates vom 9. Juli 2008 über einen gemeinsamen Rechtsrahmen für die Vermarktung von Produkten und zur Aufhebung des Beschlusses 93/465/EWG des Rates (ABl. L 218 vom 13.8.2008, S. 82) und der Verordnung (EU) 2019/1020 des Europäischen Parlaments und des Rates vom 20. Juni 2019 über Marktüberwachung und die Konformität von Produkten sowie zur Änderung der Richtlinie 2004/42/EG und der Verordnungen (EG) Nr. 765/2008 und (EU) Nr. 305/2011 (ABl. L 169 vom 25.6.2019, S. 1) („neuer Rechtsrahmen“). Dieser Entwurf steht im Kontext der Ziele der Resolution der Generalversammlung der Vereinten Nationen vom 25. September 2015 „Transformation unserer Welt: die UN-Agenda 2030 für nachhaltige Entwicklung“ und trägt insbesondere zur Erreichung der Nachhaltigkeitsziele „Sozialen Zusammenhalt in einer offenen Gesellschaft wahren und verbessern“ und „Bildung, Wissenschaft und Innovation als Treiber einer nachhaltigen Entwicklung nutzen“ bei.

II. Wesentlicher Inhalt des Entwurfs

Der vorliegende Gesetzentwurf dient der Durchführung der Verordnung (EU) 2024/1689. Frist hierfür ist der 2. August 2025. Mit Artikel 1 werden die für die Durchführung der Verordnung (EU) 2024/1689 zuständigen Behörden benannt, deren Aufgaben geregelt sowie Kooperationsvorschriften und die erforderlichen Vorschriften über das Bußgeldverfahren erlassen. Mit Artikel 2 bis 4 erfolgt die erforderliche Änderung einschlägiger Gesetze. Ziel ist eine innovationsfreundliche und bürokratiearme Durchführung der Verordnung (EU) 2024/1689. Dabei kommt der Festlegung der nationalen Aufsichts- und Behördenstruktur in Artikel 1 eine wesentliche Bedeutung zu. Bei der Bundesnetzagentur wird daher ein Koordinierungszentrum geschaffen, um alle anderen zuständigen Behörden bei ihren aus der Verordnung (EU) 2024/1689 resultierenden Aufgaben zu unterstützen. Dadurch wird KIExpertise zentral gebündelt und ressourcenschonend den bestehenden Behörden bei Bedarf zur Verfügung gestellt. Behörden, die bereits in vollharmonisierten Bereichen der Produktregulierung als Marktüberwachungsbehörden und notifizierende Behörden zuständig sind, sollen auch im Bereich der Verordnung (EU) 2024/1689 die für Marktüberwachung und Notifizierung zuständigen Behörden werden. Insoweit sollen die bestehenden Strukturen genutzt werden, da anderenfalls zulasten der betroffenen Unternehmen Doppelstrukturen geschaffen würden. Werden in diesem Bereich der vollharmonisierten Produkte relevante europäische Rechtsvorhaben verabschiedet, werden die dort geschaffenen Strukturen entsprechend auch für die Verordnung (EU) 2024/1689 zuständig (Zukunftsklausel). Das könnte in Zukunft den Cyber Resilience Act betreffen und Fälle des Anhang I Abschnitt B der Verordnung (EU) 2024/1689 (u.a. im Bereich Kraftfahrzeuge). Dadurch wird bestehende sektorspezifische Expertise genutzt und für die Unternehmen bleibt es bei den bestehenden Behörden- und Aufsichtsstrukturen. Das Gleiche gilt in den Bereichen, auf die durch die Verordnung (EU) 2024/1689 das System der Marktüberwachung erstreckt wird und in denen systematisch anders gelagerte Aufsichtsstrukturen teilweise schon bestehen (z.B. der harmonisierte Finanzdienstleistungsbereich). Auch hier gilt, dass die Behörden aus den bestehenden Strukturen für die Marktüberwachung im Bereich der Verordnung (EU) 2024/1689 zuständig werden. In Bereichen, in denen nicht auf bestehende Strukturen im Bereich der Produktregulierung oder anders gelagerte Aufsichtsstrukturen zurückgegriffen werden kann (u.a. in den Bereichen Biometrie, kritische Infrastruktur, KI am Arbeitsplatz und in Bildungseinrichtungen, Gewährung grundlegender öffentlicher Leistungen, Strafverfolgung, Migration, Asyl, Grenzkontrolle und Justiz), wird die Bundesnetzagentur zuständige Marktüberwachungsbehörde und notifizierende Behörde. Zusätzlich wird die Bundesnetzagentur für die Innovationsförderung (insbesondere die Einrichtung und den Betrieb eines KI-Reallabors) zuständig. Die Expertise anderer Behörden (insbesondere des Bundesamtes für Sicherheit in der Informationstechnik, des Bundeskartellamts und des Bundesbeauftragten für den Datenschutz und die Informationsfreiheit (BfDI)) wird im Rahmen der jeweiligen Zuständigkeitsbereiche eingebunden. Die zuständigen Behörden sorgen bei der Erfüllung ihrer Aufgaben nach diesem Gesetz für innovationsfreundliche und ressourcenschonende Prozesse. Prozesse, bei denen Künstliche Intelligenz technisch verfügbar und wirtschaftlich sinnvoll einsetzbar sind, sollen im Rahmen der gesetzlichen Anforderungen durch KI-Systeme automatisiert werden.

III. Exekutiver Fußabdruck

Die Bundesregierung hat die allgemein zugänglichen und ihr unmittelbar zugeleiteten Stellungnahmen von Interessenvertreterinnen und Interessenvertretern ausgewertet und berücksichtigt. Eine Stellungnahme, die den Inhalt des Gesetzentwurfs wesentlich bestimmt hat, lag nicht vor.

[Bitte prüfen nach Abschluss Stakeholderbeteiligung]

IV. Alternativen

Die Durchführung der Verordnung (EU) 2024/1689 ist zwingend. Insoweit gibt es keine Alternativen. Für die Marktüberwachung ist geprüft worden, ob eine zentrale Behörde mit einer Zuständigkeit für alle KI-Systeme geschaffen werden sollte, ggf. durch einen Staatsvertrag, sowie ob eine Überwachung für alle Bereiche auf Länderebene erfolgen kann. Gegen erstgenannte Alternative sprechen vor allem Zeitgründe, ein solcher Prozess wäre innerhalb der gesetzlichen Durchführungsfrist nicht abzuschließen. Gegen die zweite Alternative spricht, dass eine möglichst einheitliche Anwendung der Verordnung (EU) 2024/1689 Voraussetzung für Rechtssicherheit, grenzüberschreitende einheitliche Rechtanwendung und Innovationsförderung ist. Im Ergebnis werden diese Ziele am besten durch einen Ansatz erreicht, der die Nutzung bestehender Strukturen, soweit vorhanden, und Schaffung einer neuen zentralen Zuständigkeit bei der Bundesnetzagentur, soweit noch nicht vorhanden, vereint, was eine weitergehende Bündelung mit anderen Digitalthemen im weiteren Verlauf einschließt. Für den von Artikel 74 Absatz 8 der Verordnung (EU) 2024/1689 geforderten Bereich der völligen Unabhängigkeit der Marktüberwachung sind verschiedene Alternativen geprüft worden. So wäre es denkbar, die Marktüberwachung auf eine bereits eingerichtete Behörde (wie die Bundesbeauftragte für den Datenschutz und die Informationsfreiheit) zu übertragen. Hiergegen sprechen gewichtige Gründe: Bei der Aufteilung der Zuständigkeiten auf verschiedene Behörden ergeben sich Abgrenzungsschwierigkeiten, die zu unklaren Zuständigkeiten und auseinanderfallenden Ansprechpartnern für Unternehmen und Verwaltungen führen können. Unterschiedliche Auslegungen der Verordnung (EU) 2024/1689 durch verschiedene Behörden sollen vermieden werden. Diese Gefahr besteht, da sich die Datenschutzbehörden primär auf den Grundrechtsschutz fokussieren und keine Erfahrung mit Produktregulierung haben. Die Verordnung (EU) 2024/1689 hat neben dem Grundrechtsschutz vor allem das Ziel, einheitliche Marktregeln und Rechtssicherheit zu schaffen, um Innovationen zu fördern. Schließlich gibt es absehbar einen Mangel an KI-Fachkräften. Bei einer Aufteilung der Marktüberwachung auf verschiedene Behörden würden diese um knappe Ressourcen konkurrieren und müssten jeweils getrennt Kompetenzen aufbauen. Dies wäre ineffizient und unwirtschaftlich. Auch für die Ausgestaltung der völligen Unabhängigkeit innerhalb der Bundesnetzagentur sind verschiedene Modelle geprüft worden, u.a. die Gewährleistung der Unabhängigkeit der Behörde als Ganzes oder die Schaffung einer völlig unabhängigen Abteilung innerhalb der Bundesnetzagentur. In der Abwägung zwischen rechtlichen Anforderungen und praktischer Durchführbarkeit ist die gefundene Lösung, die sich am Prinzip der bestehenden Beschlusskammern orientiert, am zweckdienlichsten.

V. Gesetzgebungskompetenz

Die Gesetzgebungskompetenz des Bundes für Artikel 1 beruht auf Artikel 74 Nummer 11 des Grundgesetzes (Recht der Wirtschaft) in Verbindung mit Artikel 72 Absatz 2 GG und hinsichtlich der Vorschriften über das Bußgeldverfahren (§ 15 von Artikel 1 des Entwurfs) auf Artikel 74 Absatz 1 Nummer 1 GG (Strafrecht). Eine bundesgesetzliche Regelung ist zur Wahrung der Rechts- und Wirtschaftseinheit im gesamtstaatlichen Interesse erforderlich (Artikel 72 Absatz 2 GG). Das vorliegende Gesetz dient der Durchführung der Verordnung (EU) 2024/1689, die im Schwerpunkt als Produktregulierung wirtschaftsbezogene Anforderungen enthält. Die Gesetzgebungskompetenz des Bundes für Artikel 2 ergibt sich aus Artikel 74 Absatz 1 Nummer 1 (Strafrecht, gerichtliches Verfahren), Nummer 11 (Recht der Wirtschaft) des Grundgesetzes (GG) in Verbindung mit Artikel 72 Absatz 2 GG, Artikel 74 Absatz 1 Nummer 12 (Arbeitsrecht) GG, sowie ergänzend als Annexkompetenz des Bundes zu den jeweiligen vom sachlichen Anwendungsbereich des Gesetzentwurfs berührten Gesetzgebungszuständigkeiten des Bundes nach Artikel 73 und 74 GG. Die Gesetzgebungskompetenz des Bundes für Artikel 3 ergibt sich aus Artikel 74 Absatz 1 Nummer 12 (Arbeitsrecht) und für Artikel 6 aus Artikel 74 Absatz 1 Nummer 11 des Grundgesetzes (Recht der Wirtschaft).

VI. Vereinbarkeit mit dem Recht der Europäischen Union und völkerrechtlichen Verträgen

Das vorliegende Gesetz ist mit dem Recht der Europäischen Union und mit völkerrechtlichen Verträgen, die die Bundesrepublik abgeschlossen hat, vereinbar. Es dient der Durchführung der Verordnung (EU) 2024/1689.

VII. Gesetzesfolgen

Die wesentlichen Gesetzesfolgen ergeben sich aus der direkt anwendbaren Verordnung (EU) 2024/1689, das vorliegende Gesetz regelt nur dessen Durchführung.

1. Rechts- und Verwaltungsvereinfachung

Es werden keine bestehenden Regelungen vereinfacht oder aufgehoben. Mit der Schaffung einer Behördenstruktur für die Durchführung der Verordnung (EU) 2024/1689 und der Formulierung von Vorschriften für die Zusammenarbeit und Kooperation der Behörden wird das Ziel verfolgt, eine möglichst einheitliche und praktikable Rechtsanwendung zu erreichen und damit den Verwaltungsaufwand für die Durchsetzung der Verordnung (EU) 2024/1689 auf allen Seiten so gering wie möglich zu halten. Diesem Ziel dient auch die weitestmögliche Bündelung von KI-Kompetenz und Ressourcen.

2. Nachhaltigkeitsaspekte

Das Gesetz steht im Einklang mit der Nachhaltigkeitsstrategie der Bundesregierung. Es dient der Durchführung der Verordnung (EU) 2024/1689. Zweck der Verordnung (EU) 2024/1689 ist es, das Funktionieren des Binnenmarkts zu verbessern und die Einführung einer auf den Menschen ausgerichteten und vertrauenswürdigen künstlichen Intelligenz (KI) und damit verbundene Innovationen zu fördern. Gleichzeitig soll ein hohes Schutzniveau in Bezug auf Gesundheit und Sicherheit und die in der Charta verankerten Grundrechte gewährleistet werden. Die Verordnung (EU) 2024/1689 fördert das reibungslose Funktionieren des Binnenmarktes, indem sie einen horizontalen Rechtsrahmen für KI-Modelle und -Systeme schafft. Die Regelungen des Gesetzentwurfs dienen den Zielen der Deutschen Nachhaltigkeitsstrategie. Insbesondere soll der Entwurf zu einem stetigen und angemessenen Wirtschaftswachstum (vgl. Deutsche Nachhaltigkeitsstrategie der Bundesregierung, Indikator 8.4) beitragen, indem die Voraussetzungen für einen wirksamen Wettbewerb gestärkt werden. Die Etablierung verlässlicher rechtlicher Rahmenbedingungen fördert zudem Innovationen, die es ermöglichen, die Zukunft mit neuen Lösungen nachhaltig zu gestalten (Nachhaltigkeitsstrategie, Ziel 9). Der Entwurf folgt damit insbesondere den Nachhaltigkeitsprinzipien „Sozialen Zusammenhalt in einer offenen Gesellschaft wahren und verbessern“ und „Bildung, Wissenschaft und Innovation als Treiber einer nachhaltigen Entwicklung nutzen“.

3. Haushaltsausgaben ohne Erfüllungsaufwand

Insgesamt entstehen aufgrund der Neuregelungen für die Bundesnetzagentur jährliche Personaleinzelkosten für die Wahrnehmung der Fachaufgaben in Höhe von insgesamt 9.790.000 Euro, Sacheinzelkosten in Höhe von 3.320.000 Euro sowie Gemeinkosten in Höhe von 3.854.000 Euro. Nach den Ergebnissen zur Ermittlung und Darstellung des Erfüllungsaufwands sind für die Wahrnehmung der Fachaufgaben insgesamt 99,7 Planstellen (54,0 hD, 36,0 gD und 9,7 mD), für den Querschnittsbereich werden weitere 29,4 Planstellen erforderlich. Die Personal- und Sacheinzelkosten für den Querschnittsbereich sind im Gemeinkostenzuschlag in Höhe von 29,4 Prozent auf die jährlichen Personal- und Sacheinzelkosten für die Fachaufgaben enthalten. Die Kosten wurden auf Grundlage des Rundschreibens für Wirtschaftlichkeitsuntersuchungen und Kostenberechnungen des BMF vom 08.07.2024 (Gz.: BMF II A 3 – H 1012-10/21/10003 :008) ermittelt. Es entstehen einmalige Sachkosten in Höhe von 3.000.000 Euro und laufende Sachkosten in Höhe von 6.300.000 Euro insbesondere für den Betrieb und die Weiterentwicklung erforderlicher IT-Verfahren, den Betrieb eines Reallabors, Schnittstellenbereitstellung zur EUDatenbank und zum Aufbau einer eigenen nationalen Datenbank, welche nach Artikel 49 Absatz 5 der Verordnung (EU) 2024/1689 für KI-Systeme nach Anhang III Nummer 2 zur Erfassung der Sicherheitsbauteile im Bereich kritische Infrastrukturen aufgebaut werden muss. Im Zusammenhang mit der Datenbank ist der Umgang der Daten mit entsprechender Vertraulichkeit gemäß Artikel 78 der Verordnung (EU) 2024/1689 notwendig. In diesem Zusammenhang muss eine digitale VS-Registratur aufgebaut und betrieben werden. Zudem ist der Aufbau und Betrieb einer zentralen Beschwerdestelle, einer Servicestelle, einer Meldestelle für schwere Vorfälle und eines Koordinierungs – und Kompetenzzentrum (KoKIVO) für Fragen von nationalen Marktüberwachungs- und notifizierenden Behörden zum Thema KI erforderlich. Damit das KoKIVO entsprechend Fachexpertise bereitstellen kann, muss ergänzend auf externe Sachverständige zurückgegriffen werden, da die horizontalen Anforderungen an KI nicht ohne externe Fachexpertise bereitgestellt werden können. Oft verfügt internes Personal über breites Wissen, aber es mangelt an der tiefen Spezialisierung in spezifischen KI-Bereichen. Mit der Forderung zur Fachexpertise zu KI aus den einzelnen Bereichen der 20 Harmonisierungsvoschriften, muss ein extrem weites Feld mit rasanter Entwicklung abgedeckt werden. Die Fachkompetenz kann intern nur bis zu einem gewissen Grad gewährleistet werden und mit der rasanten Entwicklung und teilweise Spezialisierung können eigene Mitarbeiter sich in der Regel auf die Kernaufgaben konzentrieren. Sie können aber nicht jede Nische der KI-Expertise abdecken. Es ist aber davon auszugehen, dass mit dem Aufbau von Fachexpertise die Einbindung von externen Sachverständigen sich verringern wird. Die Marktüberwachung prüft Produkte bei Wirtschaftsakteuren vor Ort in Geschäften, in Zusammenarbeit mit dem Zoll, im Internet in Zusammenarbeit mit Online-Plattformen und mittels anonymen Testeinkäufen von Produkten, sowohl im Bereich eCommerce als auch in einzelnen Geschäften. Damit sichere Produkte auf dem Markt zur Verfügung stehen, muss die Marktüberwachung mit entsprechendem Werkzeug, wie Testsoftware, Testlabore ausgestattet werden, um die Produkte auf die Compliance zu überprüfen. In der Verordnung (EU) 2024/1689 ist die Einrichtung von mindestens einem nationalen Reallabor bis zum 2. August 2026 vorgesehen. Detaillierte Regelungen für die Einrichtung, Entwicklung, Umsetzung, den Betrieb und die Beaufsichtigung müssen noch durch die Europäische Kommission im Rahmen eines Durchführungsrechtsakts festgelegt werden. Die Sachkostenschätzung für das nationale KI-Reallabor hängt maßgeblich vom Umfang des angestrebten Angebots ab. Vorliegend wird davon ausgegangen, dass lediglich eine regulatorische Begleitung ohne zusätzliche Leistung wie etwa die Bereitstellung von technischer Infrastruktur und Daten im Reallabor stattfindet. Nach Abschluss der ersten Erprobungsphase (2026-2030) muss die Schätzung der Sachkosten erneut überarbeitet werden. Dabei sollen mögliche Veränderungen berücksichtigt werden – etwa beim Bedarf an externer Expertise (zum Beispiel ein geringerer Bedarf durch den Aufbau interner Kompetenzen), beim Leistungsumfang des Reallabors (z. B. nur Begleitung von Trainings und Tests oder zusätzlich auch Tests unter realen Bedingungen) sowie bei der Anzahl der Teilnehmenden. Die Personal- und Sachkosten der Bundesnetzagentur können teilweise über Gebühren oder Bußgelder refinanziert werden. Dabei fließen die Gebühren haushaltstechnisch unmittelbar in den Bundeshaushalt und stehen der Bundesnetzagentur für die Bewirtschaftung der laufenden sowie der einmaligen Personal- und Sachkosten nicht zur Verfügung. Die Haushaltsausgaben werden in den Jahren 2025, 2026, 2027 und gegebenenfalls den Folgejahren sukzessive ansteigen. 2025: Aufgrund der Neuregelungen entstehen für die Bundesnetzagentur Personaleinzelkosten für die Wahrnehmung der Fachaufgaben in Höhe von insgesamt 2.754.000 Euro, Sacheinzelkosten in Höhe von 929.000 Euro sowie Gemeinkosten in Höhe von 1.083.000 Euro. Nach den Ergebnissen zur Ermittlung und Darstellung des Erfüllungsaufwands sind für die Wahrnehmung der Fachaufgaben in 2025 insgesamt 27,9 Planstellen (15,2 hD, 10,9 gD und 1,8 mD), für den Querschnittsbereich werden weitere 8,2 Planstellen erforderlich. Die Personal- und Sacheinzelkosten für den Querschnittsbereich sind im Gemeinkostenzuschlag in Höhe von 29,4 auf die jährlichen Personal- und Sacheinzelkosten für die Fachaufgaben enthalten. Die Kosten wurden auf Grundlage des Rundschreibens für Wirtschaftlichkeitsuntersuchungen und Kostenberechnungen des BMF vom 08.07.2024 (Gz.: BMF II A 3 – H 1012-10/21/10003 :008) ermittelt. Es entstehen einmalige Sachkosten in Höhe von 200.000 Euro und laufende Sachkosten in Höhe von 1.000.000 Euro insbesondere für die Implementierung und Weiterentwicklung erforderlicher IT-Verfahren zur Bearbeitung und Bereitstellung der Service-, Beschwerde- und des Koordinierungs – und Kompetenzzentrum (KoKIVO). Zur Bearbeitung der Anfragen von nationalen Marktüberwachungs- und notifizierenden Behörden zum Thema KI wird externe Fachexpertise benötigt und hinzugezogen. 2026: Aufgrund der Neuregelungen entstehen für die Bundesnetzagentur Personaleinzelkosten für die Wahrnehmung der Fachaufgaben in Höhe von insgesamt 7.736.000 Euro, Sacheinzelkosten in Höhe von 2.654.000 Euro sowie Gemeinkosten in Höhe von 3.055.000 Euro. Nach den Ergebnissen zur Ermittlung und Darstellung des Erfüllungsaufwands sind für die Wahrnehmung der Fachaufgaben in 2026 insgesamt 79,70 Planstellen (44,0 hD, 28,0 gD und 7,7 mD), für den Querschnittsbereich werden weitere 23,4 Planstellen erforderlich. Die Personal- und Sacheinzelkosten für den Querschnittsbereich sind im Gemeinkostenzuschlag in Höhe von 29,4 Prozent auf die jährlichen Personal- und Sacheinzelkosten für die Fachaufgaben enthalten. Die Kosten wurden auf Grundlage des Rundschreibens für Wirtschaftlichkeitsuntersuchungen und Kostenberechnungen des BMF vom 08.07.2024 (Gz.: BMF II A 3 – H 1012-10/21/10003 :008) ermittelt. Es entstehen einmalige Sachkosten in Höhe von 1.800.000 Euro und laufende Sachkosten in Höhe von 6.300.000Euro insbesondere für die Weiterentwicklung erforderlicher IT-Verfahren zur Bearbeitung und Bereitstellung der Service-, den Betrieb eines KI Reallabors, Beschwerde- und des Koordinierungs – und Kompetenzzentrum (KoKIVO). Zur Bearbeitung der Anfragen von nationalen Marktüberwachungs- und notifizierenden Behörden zum Thema KI wird externe Fachexpertise benötigt und hinzugezogen. Schnittstellenimplementierung und -bereitstellung zur EU Datenbank der nationalen Datenbank, welche nach Artikel 49 Absatz 5 für KI-Systeme nach Annex III Nr. 2 zur Erfassung der Sicherheitsbauteile im Bereich kritische Infrastrukturen aufgebaut wird. Im Zusammenhang mit der Datenbank ist der Umgang mit entsprechender Vertraulichkeit gemäß Artikel 78 der KI Verordnung notwendig. In diesem Zusammenhang wird eine digitale VS-Registratur aufgebaut und betrieben. Die Ausstattung der Marktüberwachung zur Durchführung ihrer hoheitlichen Aufgaben mit entsprechendem Werkzeug wie Testsoftware, gegebenenfalls Aufbau eines Testlabors auf europäischer oder nationaler Ebene oder in Kooperation mit anderen Behörden oder Einrichtungen. Testkäufe im Bereich Marktüberwachung durchführen, um Produkte eines Compliance Checks zu unterziehen. ab 2027: Insgesamt entstehen aufgrund der Neuregelungen für die Bundesnetzagentur jährliche Personaleinzelkosten für die Wahrnehmung der Fachaufgaben in Höhe von insgesamt 9.790.000 Euro, Sacheinzelkosten in Höhe von 3.320.000 Euro sowie Gemeinkosten in Höhe von 3.854.000 Euro. Nach den Ergebnissen zur Ermittlung und Darstellung des Erfüllungsaufwands sind für die Wahrnehmung der Fachaufgaben insgesamt 99,7 Planstellen (54,0 hD, 36,0 gD und 9,7 mD), für den Querschnittsbereich werden weitere 29,4 Planstellen erforderlich. Die Personal- und Sacheinzelkosten für den Querschnittsbereich sind im Gemeinkostenzuschlag in Höhe von 29,4 Prozent auf die jährlichen Personal- und Sacheinzelkosten für die Fachaufgaben enthalten. Die Kosten wurden auf Grundlage des Rundschreibens für Wirtschaftlichkeitsuntersuchungen und Kostenberechnungen des BMF vom 08.07.2024 (Gz.: BMF II A 3 – H 1012-10/21/10003 :008) ermittelt. Es entstehen einmalige Sachkosten in Höhe von 1.000.000 Euro und laufende Sachkosten in Höhe von 6.300.000 Euro insbesondere für die Weiterentwicklung erforderlicher IT-Verfahren zur Bearbeitung und Bereitstellung der Service-, Beschwerde- und des Koordinierungs – und Kompetenzzentrum (KoKIVO) und zum den Betrieb eines KI Reallabors. Zur Bearbeitung der Anfragen von nationalen Marktüberwachungs- und notifizierenden Behörden zum Thema KI wird externe Fachexpertise benötigt und hinzugezogen. Betrieb und bereitstellung der nationalen Datenbank. Betrieb der digitale VS-Registratur. Bereitstellung, Betrieb und Ausbau von Testsoftware, gegebenenfalls Aufbau /Ausbau eines Testlabors auf europäischer oder nationaler Ebene oder in Kooperation mit anderen Behörden oder Einrichtungen. Testkäufe im Bereich Marktüberwachung durchführen, um Produkte eines Compliance Checks zu unterziehen. Die stellenmäßigen Mehrbedarfe, die bei der Bundesnetzagentur anfallen, sollen aus dem Gesamthaushalt ausgeglichen werden.

[Hier sind in der weiteren Abstimmung noch Haushaltsangaben anderer Stellen, z.B. BaFin, BSI, Länder, Kommunen zu ergänzen. Finale Fassung bis Kabinettsvorlage] Für Kosten die der Bundesanstalt für Finanzdienstleistungsaufsicht (Bundesanstalt) aus ihrer Zuständigkeit nach dem KI-Marktüberwachungs- und Innovationsförderungsgesetz entstehen, gelten die Regelungen des Gesetzes über die Bundesanstalt für Finanzdienstleistungsaufsicht (Finanzdienstleistungsaufsichtsgesetz – FinDAG, siehe Artikel 3).

4. Erfüllungsaufwand

[Hier Darstellung des Erfüllungsaufwands für die Verwaltung. Finale Fassung bis Kabinettsvorlage.]

5. Weitere Kosten

Für die Wirtschaft entstehen durch dieses Durchführungsgesetz keine über die Verordnung (EU) 2024/1689 hinausgehenden weiteren Kosten. Preisauswirkungen sind nicht zu erwarten. Ziel des Gesetzes ist, die sich aus der Verordnung (EU) 2024/1689 direkt ergebenden Verpflichtungen mit möglichst wenig Aufwand umzusetzen.

6. Weitere Gesetzesfolgen

Dieses Gesetz dient der Durchführung der Verordnung (EU) 2024/1689. Aus ihm ergeben sich keine über die Verordnung (EU) 2024/1689 hinausgehenden Gesetzesfolgen. Mit der Einrichtung einer zentralen Beschwerdestelle wird dem nach Artikel 85 der Verordnung (EU) 2024/1689 vorgesehenen Recht der Beschwerde bei der zuständigen Marktüberwachungsbehörde Geltung verschafft. Dadurch werden die Rechte der Verbraucherinnen und Verbraucher gestärkt.

VIII. Befristung; Evaluierung

Eine Befristung ist nicht vorgesehen, da es sich um ein Gesetz zur Durchführung einer europäischen Verordnung handelt, die unbefristet gilt. Eine Evaluierung ist in der zu Grunde liegenden Verordnung (EU) 2024/1689 in Artikel 112 vorgesehen. Soweit sich daraus Änderungen ergeben sollten, ist dieses Durchführungsgesetz entsprechend anzupassen. Eine umfassende Evaluierung der mit diesem Gesetz festgelegten nationalen Aufsichts- und Behördenstruktur soll spätestens nach drei Jahren erfolgen. Dabei soll evaluiert werden, ob mit der Aufsichts-_ und Behördenstruktur, einschließlich der Kooperationsvorschriften, eine innovationsfreundliche und bürokratiearme Durchführung der Verordnung (EU) 2024/1689 erreicht wurde.

Besonderer Teil

Zu Artikel 1 (Gesetz zur Marktüberwachung und zur Sicherstellung der Konformität von Systemen künstlicher Intelligenz – KI-Marktüberwachungsgesetz)

Zu Abschnitt 1 (Allgemeine Vorschriften)

Zu § 1 (Anwendungsbereich)

1 bestimmt den sachlichen Anwendungsbereich des Gesetzes. Die Regelung verweist hierzu auf den in Artikel 2 der Verordnung (EU) 2024/1689 geregelten Anwendungsbereich der Verordnung (EU) 2024/1689. Danach gilt die Verordnung (EU) 2024/1689 unter den dort genannten Voraussetzungen für Anbieter, Betreiber, Einführer und Händler von KISystemen sowie für Bevollmächtigte von Anbietern, die sich nicht in der Union befinden, und für Produkthersteller, die KI-Systeme zusammen mit ihrem Produkt unter ihrem eigenen Namen oder ihrer Handelsmarke in Verkehr bringen oder in Betrieb nehmen.

Die Beaufsichtigung und Durchsetzung der in Kapitel V der Verordnung (EU) 2024/1689 geregelten Anforderungen an KI-Modelle mit allgemeinem Verwendungszweck liegt dabei ausschließlich bei der Kommission, die die Durchführung dieser Aufgaben mit Artikel 88 Absatz 1 der Verordnung (EU) 2024/1689 dem Büro für Künstliche Intelligenz übertragen hat ).

Zu Teil 2 (Zuständige Behörden und Zusammenarbeit)

Zu Abschnitt 1 (Zuständige Behörden)

§ 2 und 3 dienen der Umsetzung von Artikel 70 Absatz 1 Satz 1 und Artikel 28 Absatz 1 und 2 der Verordnung (EU) 2024/1689. Danach muss jeder Mitgliedstaat für die Zwecke dieser Verordnung mindestens eine notifizierende Behörde und mindestens eine Marktüberwachungsbehörde als zuständige nationale Behörden einrichten oder benennen. Diese Behörden üben ihre Befugnisse gemäß Artikel 70 Absatz 1 Satz 2 der Verordnung (EU) 2024/1689 unabhängig, unparteiisch und unvoreingenommen aus, um die Objektivität ihrer Tätigkeiten und Aufgaben zu gewährleisten und die Anwendung und Durchführung der Verordnung sicherzustellen.

Die Verordnung (EU) 2024/1689 ist im Kern eine Produktregulierung und greift mit dem System der nachträglichen Marktüberwachung und der Konformitätsbewertung und Notifizierung auf bekannte Regulierungskonzepte aus Marktüberwachungsbehörden, notifizierenden Behörden und notifizierten Stellen zurück. Das System der Marktüberwachung wird durch die Verordnung (EU) 2024/1689 zudem auf neue Bereiche erstreckt, die hiervon bisher nicht erfasst waren. Dies gilt vor allem für Bereiche, in denen systematisch anders gelagerte Aufsichtsstrukturen bestehen (u.a. der Finanzdienstleistungsbereich) und Bereiche wie den in Anhang III genannten (Hochrisiko-KISysteme in den Bereichen Biometrie, Kritische Infrastruktur, KI am Arbeitsplatz und in Bildungseinrichtungen, Gewährung grundlegender öffentlicher Leistungen, Strafverfolgung, Migration, Asyl, Grenzkontrolle und Justiz), in denen Aufsichtsstrukturen noch nicht bestehen. Vor diesem Hintergrund werden in § 2 und § 3 einerseits die bereits bestehenden Behörden mit ihrer Expertise als Marktüberwachungsbehörden und notifizierende Behörden gemäß der Verordnung (EU) 2024/1689 benannt. Andererseits wird mit der Bundesnetzagentur ergänzend eine zentrale Behörde benannt, der über ihre Aufgaben als Marktüberwachungsbehörde (§ 2 Absatz 1) und notifizierende Behörde (§ 3 Absatz 1) hinaus auch eine Koordinierungs- und Kompetenzfunktion zukommen soll (§ 5), mit der die Gefahr einer uneinheitlichen Auslegung und Anwendung der Verordnung (EU) 2024/1689 deutlich reduziert sowie der begrenzten Verfügbarkeit von KI-Fachkräften begegnet werden soll. Für die Überwachung von bestimmten Hochrisiko-KI Systemen gemäß Artikel 74 Absatz 8 der Verordnung (EU) 2024/1689 wird bei der Bundesnetzagentur zudem eine Unabhängige KI-Marktüberwachungskammer eingerichtet (§ 4). Die Bundesnetzagentur wird auch Zentrale Anlaufstelle (§ 6) und Zentrale Beschwerdestelle (§ 8). Das Deutsche-Welle-Gesetz und die medienrechtlichen Zuständigkeiten und Bestimmungen der Länder bleiben unberührt.

Zu § 2 (Marktüberwachungsbehörden)

2 legt die jeweils zuständige Marktüberwachungsbehörde fest.

Inhaltlich umfassen die Aufgaben der Marktüberwachung die Aufsicht über verbotene Praktiken im KI-Bereich (vgl. Kapitel II der Verordnung (EU) 2024/1689), die Hochrisiko-KI-Systeme (vgl. Kapitel III der Verordnung (EU) 2024/1689) und die Transparenzpflichten für Anbieter und Betreiber bestimmter KI-Systeme (Kapitel IV der Verordnung (EU) 2024/1689). Die Zuständigkeit der Marktüberwachungsbehörden nach dieser Vorschrift erstreckt sich auch auf die Prüfung eines KI-Systems im Hinblick auf seine Einstufung als Hochrisiko-KISystem auf der Grundlage der in Artikel 6 der Verordnung (EU) 2024/1689 festgelegten Bedingungen und den Leitlinien der Kommission. Die Marktüberwachungsbehörden entscheiden eigenständig über die Einstufung als Hochrisiko-KI-System.

Zu Absatz 1

2 Absatz 1 benennt die Bundesnetzagentur als Marktüberwachungsbehörde gemäß Artikel 70 Absatz 1 Satz 1 der Verordnung (EU) 2024/1689, soweit diese Aufgabe keiner anderen Behörde zugewiesen wird. Das betrifft die Bereiche, in denen nicht bereits bestehende Behörden benannt werden (vgl. hierzu die Absätze 2 bis 4) und damit vor allem die in Anhang III der Verordnung (EU) 2024/1689 genannten Bereiche.

Die Benennung der Bundesnetzagentur als Marktüberwachungsbehörde für die in Artikel 74 Absatz 8 Satz 1 der Verordnung (EU) 2024/1689 genannten Bereiche hat gemäß Artikel 43 Absatz 1 Unterabsatz 2 Satz 2 der Verordnung (EU) 2024/1689 auch zur Folge, dass die Bundesnetzagentur die Funktion der notifizierten Stelle übernimmt, wenn ein Hochrisiko-KI-System im Sinne der Verordnung (EU) 2024/1689 von Strafverfolgungs-, Einwanderungs- oder Asylbehörden in Betrieb genommen werden soll. Bei KI-Systemen, die in den Anwendungsbereich der Verordnung (EU) 2024/2847 (Cyberresilienz-Verordnung) fallen und nach Artikel 6 der Verordnung (EU) 2024/1689 als Hochrisiko-KI-Systeme eingestuft sind, sind die für die Zwecke der Verordnung (EU) 2024/1689 benannten Marktüberwachungsbehörden auch für die nach der Verordnung (EU) 2024/2847 erforderlichen Marktüberwachungstätigkeiten zuständig. Das ergibt sich aus Artikel 52 Absatz 14 der Verordnung (EU) 2024/2847. Diese Vorschrift regelt den Fall, dass es unterschiedliche Marktüberwachungsbehörden nach der Verordnung (EU) 2024/1689 einerseits und nach der Verordnung (EU) 2024/2847 andererseits gibt. Fällt ein Produkt unter beide Verordnungen ist die Bundesnetzagentur nach § 2 Absatz 1 oder jede andere nach diesem Gesetz zuständige Marktüberwachungsbehörde in solchen Fällen wegen der Regelung in Artikel 52 Absatz 14 Satz 1 Verordnung (EU) 2024/2847 auch für die Überwachung der Pflichten aus der Verordnung (EU) 2024/2847 zuständig. Einer gesetzgeberischen Entscheidung im Zusammenhang mit der Benennung einer Marktüberwachungsbehörde nach Artikel 52 Absatz 2 der Verordnung (EU) 2024/2847 wird nicht vorgriffen.

Zu Absatz 2

2 Absatz 2 benennt die zuständigen Marktüberwachungsbehörden, für den Anwendungsbereich des Anhang I Abschnitt A der Verordnung (EU) 2024/1689.

Dazu orientiert sich § 2 Absatz 2 an Artikel 74 Absatz 3 Unterabsatz 1 der Verordnung (EU) 2024/1689. Danach gilt bei Hochrisiko-KI-Systemen und damit in Zusammenhang stehenden Produkten, auf die die in Anhang I Abschnitt A der Verordnung (EU) 2024/1689 aufgeführten Harmonisierungsrechtsvorschriften der Union Anwendung finden, als Marktüberwachungsbehörde für die Zwecke der Verordnung (EU) 2024/1689 die in jenen Rechtsakten für die Marktüberwachung benannte Behörde. Von der in Artikel 74 Absatz 3 Unterabsatz 2 der Verordnung (EU) 2024/1689 genannten Abweichungsoption wird kein Gebrauch gemacht. Damit werden die Behörden, die in den in Anhang I Abschnitt A der Verordnung (EU) 2024/1689 genannten Harmonisierungsvorschriften der Union als Marktüberwachungsbehörden benannt sind, auch nach der Verordnung (EU) 2024/1689 als solche Behörden benannt. Das berücksichtigt, dass die Verordnung (EU) 2024/1689 im Kern eine Produktregulierung ist, mit der auf bekannte Regulierungskonzepte zurückgegriffen wird. Bestehende Behördenstrukturen werden genutzt. Der begrenzten Verfügbarkeit von KI-Fachkräften wird durch das in § 5 eingerichtete Koordinierungs- und Kompetenzzentrum für die KI-Verordnung (KoKIVO) begegnet.

Zu Absatz 3

Um eine kohärente Anwendung und Durchsetzung der Pflichten aus der Verordnung (EU) 2024/1689 betreffend KI-Systeme sowie der einschlägigen Anforderungen aller sektoralen Aufsichtsgesetze im Finanzmarktbereich zu gewährleisten, soll die Bundesanstalt für Finanzdienstleistungsaufsicht für die von ihr beaufsichtigten Unternehmen Marktüberwachungsbehörde im Sinne des Artikels 70 Absatz 1 Satz 1 der Verordnung (EU) 2024/1689 werden, sofern das Inverkehrbringen, die Inbetriebnahme oder die Verwendung des KISystems mit der Erbringung der regulierten Finanztätigkeit in direktem Zusammenhang steht. Die Zuständigkeit der Bundesanstalt für Finanzdienstleistungsaufsicht soll über Artikel 74 Absatz 6 der Verordnung (EU) 2024/1689 hinaus auch auf Unternehmen erweitert werden, die auf rein nationaler Ebene und somit nicht auf Grundlage des Unionsrechts im Finanzmarktbereich von der Bundesanstalt für Finanzdienstleistungsaufsicht beaufsichtigt werden. Ferner soll die Bundesanstalt für Finanzdienstleistungsaufsicht zuständige Marktüberwachungsbehörde werden, soweit die Europäische Zentralbank zuständige Aufsichtsbehörde gemäß Artikel 4 Absatz 1 Buchstabe a bis i und Artikel 4 Absatz 2 der Verordnung (EU) Nr. 1024/2013 des Rates vom 15. Oktober 2013 zur Übertragung besonderer Aufgaben im Zusammenhang mit der Aufsicht über Kreditinstitute auf die Europäische Zentralbank (ABl. L 287 vom 29.10.2013, S. 63) ist. Die Verordnung (EU) 2024/1689 sieht für die Europäische Zentralbank keine Marktüberwachungsaufgaben vor. Diese Aufgabe soll grundsätzlich von nationalen Behörden übernommen werden, vgl. Artikel 70 Absatz 1 Satz 1 der Verordnung (EU) 2024/1689. Steht das Inverkehrbringen, die Inbetriebnahme oder die Verwendung eines KI-Systems in direktem Zusammenhang mit der Erbringung von Finanzdienstleistungen, welche von Finanzinstituten erbracht werden, die nicht von der Bundesanstalt für Finanzdienstleistungsaufsicht nach Absatz 3 überwacht werden, so obliegt die Marktüberwachung gemäß der Verordnung (EU) 2024/1689 den in jenen Rechtsvorschriften für die Finanzaufsicht über diese Institute benannten Behörden.

Zu Absatz 4

Bei KI-Systemen, die von auf der Grundlage des Unionsrechts im Bereich der Finanzdienstleistungen regulierten Finanzinstituten in Verkehr gebracht, in Betrieb genommen oder verwendet werden, wird die in jenen Rechtsvorschriften für die Finanzaufsicht über diese Institute benannte nationale Behörde zuständige Marktüberwachungsbehörde, sofern das Inverkehrbringen, die Inbetriebnahme oder die Verwendung des KI-Systems mit der Erbringung dieser Finanzdienstleistungen in direktem Zusammenhang steht und keine andere einschlägige Behörde als Marktüberwachungsbehörde benannt wird. Die Regelung orientiert sich an Artikel 74 Absatz 6 der Verordnung (EU) 2024/1689. Von der in Artikel 74 Absatz 7 der Verordnung (EU) 2024/1689 geregelten Abweichungsmöglichkeit wird kein Gebrauch gemacht.

Zu Absatz 5

Für bestimmte Hochrisiko-KI Systeme gemäß Artikel 74 Absatz 8 der Verordnung (EU) 2024/1689 wird eine unabhängige Stelle innerhalb der BNetzA als zuständige Marktüberwachungsbehörde benannt, da besondere Anforderungen an deren Unabhängigkeit bestehen. Eine Übertragung dieser Teilaufgabe auf die Datenschutzbehörden, wie es die Verordnung (EU) 2024/1689 als Alternative vorsieht, erscheint wenig sachgerecht. Bei der Aufteilung der Zuständigkeiten auf verschiedene Behörden ergeben sich Abgrenzungsschwierigkeiten, die zu unklaren Zuständigkeiten und auseinanderfallenden Ansprechpartnern für Unternehmen und Verwaltungen führen können. Unterschiedliche Auslegungen der Verordnung (EU) 2024/1689 durch verschiedene Behörden sollen vermieden werden. Diese Gefahr besteht, da sich die Datenschutzbehörden primär auf den Grundrechtsschutz fokussieren und keine Erfahrung mit Produktregulierung haben. Die Verordnung (EU) 2024/1689 hat neben dem Grundrechtsschutz vor allem das Ziel, einheitliche Marktregeln und Rechtssicherheit zu schaffen, um Innovationen zu fördern. Schließlich gibt es absehbar einen Mangel an KI-Fachkräften. Bei einer Aufteilung der Marktüberwachung auf verschiedene Behörden würden diese um knappe Ressourcen konkurrieren und müssten jeweils getrennt Kompetenzen aufbauen. Dies wäre ineffizient und unwirtschaftlich. Es ist daher sachgerecht, eine unabhängige Stelle innerhalb der BNetzA zu schaffen, die zuständige Marktüberwachungsbehörde für diesen Teilbereich wird. Der Begriff der „Behörde“ ist dabei weit auszulegen, die englische Sprachfassung spricht insoweit von „authority“. Eine rein organisatorische Eingliederung der unabhängigen Stelle in eine bereits bestehende staatliche Einrichtung ist unschädlich, sofern sichergestellt ist, dass keine Weisungen und Aufsicht möglich sind. Um es dieser unabhängigen Einheit zu ermöglichen, auf Erfahrungen, Personal und Kompetenzen aus den bestehenden Marktüberwachungstätigkeiten der BNetzA zuzugreifen und so eine effektive Aufsicht zu gewährleisten, soll diese Stelle nach dem Vorbild der bereits bei der BNetzA aufgrund anderer Gesetze bestehenden Spruchkammern gestaltet werden.

2 Absatz 5 regelt die Einrichtung der unabhängigen Stelle. Diese soll für das gesamte Verfahren, nicht nur finale Entscheidungen zur Marktüberwachung, zuständig sein, um auch initiativ zur Einleitung von Verfahren tätig werden zu können.

Zu Absatz 6

Das Recht aus Artikel 69 der Verordnung (EU) 2024/1689 steht nach dem Text der Verordnung den Mitgliedsstaaten zu. Aus sachlichen Gründen wird hiermit gesetzlich klargestellt, dass dieses Recht auch von der Bundesnetzagentur sowie den übrigen Marktüberwachungsbehörden in Anspruch genommen werden kann.

Zu § 3 (Notifizierende Behörden und Akkreditierung)

3 benennt die jeweils zuständige notifizierende Behörde und definiert die Rolle der Deutschen Akkreditierungsstelle.

Zu Absatz 1

3 Absatz 1 benennt die Bundesnetzagentur als notifizierende Behörde gemäß Artikel 70 Absatz 1 Satz 1 der Verordnung (EU) 2024/1689, soweit diese Aufgabe keiner anderen Behörde zugewiesen wird. Das betrifft die Bereiche, in denen nicht bereits bestehende Behörden benannt werden (vgl. hierzu Absatz 2) und damit vor allem die in Anhang III der Verordnung (EU) 2024/1689 genannten Bereiche, mit Ausnahme der Nummer 1 in Anhang III der Verordnung (EU) 2024/1689 (vgl. hierzu Absatz 3).

Zu Absatz 2

3 Absatz 2 benennt die zuständigen notifizierenden Behörden, die im Anwendungsbereich des Anhang I Abschnitt A der Verordnung (EU) 2024/1689 zuständig sind.

Hierfür orientiert sich § 3 Absatz 2 an Artikel 74 Absatz 3 Unterabsatz 1 der Verordnung (EU) 2024/1689 und benennt die Behörden, die in den in Anhang I Abschnitt A der Verordnung (EU) 2024/1689 genannten Harmonisierungsvorschriften der Union als notifizierende Behörden benannt sind, auch nach der Verordnung (EU) 2024/1689 als notifizierende Behörden. Das berücksichtigt, dass die Verordnung (EU) 2024/1689 im Kern eine Produktregulierung ist, mit der auf bekannte Regulierungskonzepte zurückgegriffen wird. Bestehende Behördenstrukturen werden genutzt. Der begrenzten Verfügbarkeit von KI-Fachkräften wird durch das in § 5 eingerichtete Koordinierungs- und Kompetenzzentrum für die KI-Verordnung (KoKIVO) begegnet.

Zu Absatz 3

Für die in Anhang III Nummer 1 der Verordnung (EU) 2024/1689 genannten Hochrisiko-KISysteme benennt Absatz 3 Satz 1 die nach Artikel 52 Absatz 2 der Verordnung (EU) 2024/2847 benannte Marktüberwachungsbehörde als zuständige notifizierende Behörde. Da dieses Gesetz zeitlich vor einer Benennung der Marktüberwachungsbehörde nach Artikel 52 Absatz 2 der Verordnung (EU) 2024/2847 in Kraft tritt, die Bundesnetzagentur also zunächst die Aufgabe als notifizierende Behörde auch für Anhang III Nummer 1 der Verordnung (EU) 2024/1689 wahrnimmt, wird in Satz 2 eine Regelung für die Übergangszeit geschaffen. Da diese Regelung der Entscheidung nach Artikel 52 Absatz 2 der Verordnung (EU) 2024/2847 nicht vorgreifen soll, ist sie zeitlich begrenzt auf den Zeitraum bis zur Anwendung des Artikel 52 Absatz 2 der Verordnung (EU) 2024/2847 durch Benennung. Zugleich ist das Bundesamt für Sicherheit in der Informationstechnik als zentrale Stelle für Informationssicherheit auf nationaler Ebene gemäß § 1 Satz 2 BSIG die auf Bundesebene zuständige Behörde.

Zu Absatz 4

3 Absatz 3 regelt, welche Rolle der Deutschen Akkreditierungsstelle im Rahmen der Durchführung der Verordnung (EU) 2024/1689 zukommt.

Gemäß Artikel 28 Absatz 1 der Verordnung (EU) 2024/1689 sind die notifizierenden Behörden grundsätzlich für die Einrichtung und Durchführung der erforderlichen Verfahren zur Bwertung, Benennung und Notifizierung von Konformitätsbewertungsstellen und für deren Überwachung zuständig. Diese Verfahren werden von diesen in Zusammenarebit mit den notifizierenden Behörden anderer Mitgliedstaaten entwickelt. Absatz 3 macht von der in Artikel 28 Absatz 2 der Verordnung (EU) 2024/1689 geregelten Option Gebrauch und benennt die Deutsche Akkreditierungsstelle als für die Bewertung und Überwachung von Konformitätsbewertungsstellen gemäß der Verordnung (EU) 2024/1689 zuständige Stelle, sofern ihr diese Aufgabe auch nach den in Anhang I Abschnitt A der Verordnung (EU) 2024/1689 genannten Harmonisierungsrechtsvorschriften der Union zugewiesen wird und die Konformitätsbewertungsstellen ihren Sitz in Deutschland haben. Für die Akkreditierung gelten die Anforderungen der Verordnung (EG) Nr. 765/2008 und das Akkreditierungsstellegesetz.

Zu Absatz 5

Die Festlegung, dass die Akkreditierung im Verwaltungsakt unter Bedingungen oder Auflagen, befristet oder mit dem Vorbehalt des Widerrufs bzw. nachträglicher Auflagen erteilt werden kann, dient der Effektivität des Verwaltungsvollzuges der Akkreditierungsbehörde. Dies ist insbesondere erforderlich, um die Möglichkeit für kleine und mittlere Unternehmen (KMU) zu schaffen, eine Akkreditierung unter Auflagen zu erhalten, um neuen Anbietern im Markt der Konformitätsbewertungsstellen im Kontext der Verordnung (EU) 2024/1689 den Marktzugang zu erleichtern.

Zu Absatz 6

Das Recht aus Artikel 69 der Verordnung (EU) 2024/1689 steht nach dem Text der Verordnung den Mitgliedsstaaten zu. Aus sachlichen Gründen wird hiermit gesetzlich klargestellt , dass dieses Recht auch von der Bundesnetzagentur sowie den übrigen notifizierenden Behörden in Anspruch genommen werden kann.

Zu § 4 (Unabhängige KI-Marktüberwachungskammer)

Zu Absatz 1 und Absatz 2

Aufgrund der hohen Schutzgüter, die in diesem Bereich betroffen sein können, sollte die Stelle möglichst hochrangig besetzt sein. Gleichzeitig ist damit sichergestellt, dass die Anforderungen der Artikel 41 bis 44 der Richtlinie (EU) 2016/680 erfüllt sind. Der Präsident oder die Präsidentin der BNetzA und die Vizepräsidentinnen und Vizepräsidenten werden durch den Bundespräsidenten und damit vom Staatsoberhaupt nach Artikel 43 der Richtlinie (EU) 2016/680 ernannt (§ 3 Absatz 4 BEGTPG). Das Verfahren zur Ernennung, Amtszeiten, Wiederernennung Personalauswahl und Unvereinbarkeitsregeln sind ebenfalls im BEGTPG gesetzlich geregelt. Die Vorschriften regeln weiter den Zugriff auf Personal- und Sachressourcen.

Zu Absatz 3

Diese Vorschrift stellt die völlige Unabhängigkeit nach Artikel 41 Absatz 2 der Richtlinie (EU) 2016/680 sicher, auf die in Artikel 74 Absatz 8 der Verordnung (EU) 2024/1689 verwiesen wird.

Zu Absatz 4

Die völlige Unabhängigkeit der UKIM bewegt sich im Spannungsfeld mit dem Grundsatz demokratischer Rechenschaftspflichten und Legitimation. Durch eine Berichtspflicht gegenüber dem Bundestag wird eine demokratische Kontrolle sichergestellt.

Zu Absatz 5

Zur Vermeidung von Doppelstrukturen und sich widersprechenden Entscheidungen im konkreten Einzelfall ist es erforderlich, die Aufgaben der Marktüberwachungsbehörden betreffend Artikel 26 Absatz 10 und Artikel 5 Absätze 2 und 3 der Verordnung (EU) 2024/1689 einzuschränken, soweit dort für Betreiber eines Hochrisiko-KI-Systems zur biometrischen Fernfernidentifizierung Anforderungen für den Einsatz eines solchen Systems im Einzelfall aufgestellt werden, die bereits einer justiziellen Überprüfbarkeit der Entscheidung im Einzelfall unterliegen.

Zu § 5 Koordinierungs- und Kompetenzzentrum für die Verordnung (EU) 2024/1689

Neben der Bundesnetzagentur werden in bestimmten Bereichen auch die bereits bestehenden Behörden als Marktüberwachungsbehörden und, soweit einschlägig, notifizierende Behörden gemäß der Verordnung (EU) 2024/1689 benannt (vgl. §§ 2 und 3 dieses Gesetzes). Das betrifft die Bereiche, in denen die in Anhang I Abschnitt A genannten Harmonisierungsrechtsvorschriften der Europäischen Union Anwendung finden und den Finanzdienstleistungsbereich. Hierdurch entsteht aufgrund der Vielzahl unterschiedlicher Behörden ein sehr hoher Bedarf an KI-Fachkräften, die jede einzelne Behörde bereithalten müsste (vgl. Artikel 70 Absatz 3 der Verordnung (EU) 2024/1689).

Zu Satz 1

Um der begrenzten Verfügbarkeit von KI-Fachkräften zu begegnen und Ressourcen und KI-Expertise zu bündeln, wird in § 5 Satz 1 bei der Bundesnetzagentur ein zentrales Koordinierungs- und Kompetenzzentrum für die Verordnung (EU) 2024/1689 (Koordinierungs- und Kompetenzzentrum KI-VO – KoKIVO) eingerichtet.

Zu Satz 2

Satz 2 regelt die Aufgaben des KoKIVO. Das KoKIVO wird permanenter Ansprechpartner für die nach § 2 und § 3 zuständigen Behörden (Nummer 1), Koordinierungsstelle für diese Behörden (Nummer 2) und wichtiger Akteur bei der Aufstellung von Verhaltenskodizes (Nummer 3). Das dient der einheitlichen Wirksamkeit der Verordnung (EU) 2024/1689 in Deutschland.

Zu Nummer 1

Zu den externen Experten, die die BNetzA hinzuziehen kann, zählen auch die Datenlabore der Bundesregierung und die Algorithmenbewertungsstelle für Behörden und Organisationen mit Sicherheitsaufgaben (ABOS), um die dort aufgebaute Expertise zu Künstlicher Intelligenz einfließen zu lassen. Die Zuständigkeiten anderer Behörden und Stellen wie die des im Aufbau befindlichen Beratungszentrums für Künstliche Intelligenz („BeKI“) als zentrale Anlauf- und Koordinierungsstelle für KI-Vorhaben in der Bundesverwaltung bleiben unberührt. Die Aufgaben des KoKIVO beziehen sich nur auf die Verordnung (EU) 2024/1689.

Wir sind ein spendenfinanziertes Medium

Unterstütze auch Du unsere Arbeit mit einer Spende.

Zu Nummer 2

Aufgrund der für die Vielzahl unterschiedlicher Produkte zuständigen nationalen Marktüberwachungsbehörden besteht das Risiko der uneinheitlichen Anwendung und Auslegung der Verordnung (EU) 2024/1689. Das KoKIVO soll hier eine koordinierende Rolle einnehmen. Zu diesem Zweck kann das KoKIVO geeignete Ausschüsse einrichten, denen insbesondere die zuständigen Marktüberwachungsbehörden und notifizierenden Behörden angehören. Die Ausgestaltung kann sich dabei an bewährten Formaten z. B. nach dem Vorbild von Bund-Länder-Ausschüssen orientieren. Auch die jeweils zuständigen Bundesbehörden (z.B. Bundesanstalt für Arbeitsschutz und Arbeitsmedizin) sind in Abhängigkeit ihrer jeweiligen Kompetenz entsprechend einzubinden.

Zu Nummer 3

Das KoKIVO soll bei der Erleichterung der Erstellung von Verhaltenskodizes eine aktive Rolle einnehmen. Zu diesem Zweck fördert es den Austausch zwischen Zivilgesellschaft, Wirtschaft und Wissenschaft. Berücksichtigt werden insbesondere Vertreterinnen und Vertreter vulnerabler Gruppen, einschließlich Menschen mit Behinderungen, um die in Verordnung (EU) 2024/1689 Artikel 95 Absatz 2 genannten Zielsetzungen zu erreichen.

Zu Satz 3 Hierfür wird auf die Ausführungen zu Nummer 2 verwiesen.

Zu § 6 (Zentrale Anlaufstelle)

Eine der Marktüberwachungsbehörden ist gemäß Artikel 70 Absatz 2 Satz 3 der Verordnung (EU) 2024/1689 zudem als zentrale Anlaufstelle für die Verordnung (EU) 2024/1689 zu benennen. Zu Absatz 1 Absatz 1 benennt die Bundesnetzagentur als zentrale Anlaufstelle im Sinne von Artikel 70 Absatz 2 Satz 3 der Verordnung (EU) 2024/1689. Das bedeutet, dass sie zentraler deutscher Ansprechpartner auf Ebene der Mitgliedstaaten und der Union mit Blick auf die Anwendung der Verordnung (EU) 2024/1689 ist (vgl. Erwägungsgrund 153 der Verordnung (EU) 2024/1689). Die Zuständigkeitsverteilung aus der Umsetzung des Artikel 70 Absatz 1 Satz 1 der Verordnung (EU) 2024/1689 in § 2 und § 3 bleibt von dieser Regelung unberührt.

Zu Absatz 2

Die Regelung setzt Artikel 70 Absatz 2 Satz 1 und Satz 2 der Verordnung (EU) 2024/1689 um. Es entspricht dem Gedanken aus dem Erwägungsgrund 153, dass die zentrale Anlaufstelle im Interesse der Effizienz gegenüber der Union Ansprechpartnerin ist und Meldung über die Namen, Aufgaben und elektronischen Kontaktmöglichkeiten der notifizierenden Behörden und der Marktüberwachungsbehörden macht. Zur Aufgabenerfüllung wird die zentrale Anlaufstelle ermächtigt, die hierfür nötigen Informationen von den nach diesem Gesetz zuständigen Behörden zu erhalten. Dabei ist es mit Blick auf die Vermeidung bürokratischen Aufwands infolge organisatorischer oder personeller Änderungen und der Pflicht zur Veröffentlichung vorteilhaft, wenn diese Behörden der zentralen Anlaufstelle Funktionsadressen für die elektronische Kommunikation mitteilen. Die Fristen für die Mitteilung der Informationen an die zentrale Informationsstelle ergeben sich hinsichtlich der elektronischen Kontaktadressen mit einer Frist bis zum 2. August 2025 aus Artikel 70 Absatz 2 Satz 2 der Verordnung (EU) 2024/1689, hinsichtlich der Namen und der Aufgaben der Behörden mit einer Frist bis zum 2. August 2026 aus Artikel 113 Unterabsatz 2 der Verordnung (EU) 2024/1689 sowie hinsichtlich der Namen und der Aufgaben der in Umsetzung der in Artikel 6 Absatz 1 und der entsprechenden Pflichten aus der Verordnung (EU) 2024/1689 mit einer Frist bis zum 2. August 2027 aus Artikel 113 Unterabsatz 3 Buchstabe c der Verordnung (EU) 2024/1689.

Zu Absatz 3

Die zentrale Anlaufstelle ist gegenüber der Öffentlichkeit und anderen Ansprechpartnern auf Ebene der Mitgliedstaaten und der Union tätig (Erwägungsgrund 153). In Artikel 64 Absatz 2 der Verordnung (EU) 2024/1689 sind die Mitgliedstaaten verpflichtet, dem Büro für Künstliche Intelligenz die ihm gemäß dieser Verordnung übertragenen Aufgaben zu erleichtern. In diesem Sinne fungiert die zentrale Anlaufstelle als Koordinatorin in der Schnittstelle zu dem bei der Kommission einzurichtenden Büro für Künstliche Intelligenz.

Zu Absatz 4

Für die Erfüllung von in der Verordnung (EU) 2024/1689 genannten Melde- und Berichtspflichten auf Ebene der Mitgliedstaaten und der Union sind die nach diesem Gesetz zuständigen Behörden verantwortlich, die diese Pflichten über die zentrale Anlaufstelle erfüllen. Hierzu gehören zum Beispiel die Berichtspflichten nach Artikel 57 Absatz 16, Artikel 70 Absatz 6, Artikel 74 Absatz 2 und Artikel 99 Absatz 11 der Verordnung (EU) 2024/1689 sowie die Beantwortung von Anfragen der Kommission nach Artikel 112 Absatz 8 der Verordnung (EU) 2024/1689. Die verpflichteten Behörden stellen der zentralen Anlaufstelle die hierfür erforderlichen Dokumente zur Verfügung. Anderweitige Melde- und Berichtspflichten bleiben unberührt. Die Bundesanstalt für Finanzdienstleistungsaufsicht übermittelt die im Rahmen ihrer Marktüberwachungstätigkeit gewonnenen Erkenntnisse selbst an die Europäische Zentralbank, soweit sie für die Aufsichtsaufgaben der Europäischen Zentralbank nach der Verordnung (EU) Nr. 1024/2013 von Bedeutung sind. Außerdem kann die Bundesanstalt für Finanzdienstleistungsaufsicht die in der Verordnung (EU) 2024/1689 genannten Melde- und Berichtspflichten auf Ebene der Mitgliedstaaten und der Union selbst übernehmen, sofern die Informationen ihre Marktüberwachungstätigkeiten betreffen.

Zu § 7 (Unterrichtung nach Artikel 79, 81 und 82 der Verordnung (EU) 2024/1689)

Artikel 79 und 81 der Verordnung (EU) 2024/1689 enthalten Regelungen zum Umgang mit KI-Systemen, die ein Risiko im Sinne des Artikels 3 Nummer 19 der Verordnung (EU) 2019/1020 (d.h. für die Gesundheit oder Sicherheit oder Grundrechte von Personen) bergen und für die die zuständige Marktüberwachungsbehörde festgestellt hat, dass sie die in der Verordnung (EU) 2024/1689 festgelegten Anforderungen und Pflichten nicht erfüllen. Artikel 82 der Verordnung (EU) 2024/1689 regelt den Umgang mit KI-Systemen, die zwar der Verordnung (EU) 2024/1689 entsprechen, aber dennoch ein Risiko für die Gesundheit oder Sicherheit von Personen, für die Grundrechte oder für andere Aspekte des Schutzes öffentlicher Interessen darstellen. Diese Vorschriften enthalten Regelungen, die die zuständige Marktüberwachungsbehörde verpflichten, die Kommission und die anderen Mitgliedstaaten der Europäischen Union über die Nichtkonformität von KI-Systemen, getroffene Maßnahmen oder andere Informationen zu unterrichten.

7 bestimmt, dass die zuständige Marktüberwachungsbehörde diese Unterrichtungen über die Bundesanstalt für Arbeitsschutz und Arbeitsmedizin vorzunehmen hat. Für viele Rechtsvorschriften der Union erfolgen derartige Meldungen bereits heute durch die Bundesanstalt für Arbeitsschutz und Arbeitsmedizin, sodass diese die Aufgabe aus Gründen der Effizienz zukünftig auch im Rahmen der Verordnung (EU) 2024/1689 übernehmen soll.

Zu § 8 (Zentrale Beschwerdestelle)

6 dient der Konkretisierung von Artikel 85 der Verordnung (EU) 2024/1689 und schafft eine zentrale Anlaufstelle für Beschwerden über Verstöße gegen Bestimmungen der Verordnung (EU) 2024/1689.

Artikel 85 der Verordnung (EU) 2024/1689 normiert bereits das Recht jeder natürlichen oder juristischen Person, die Grund zu der Annahme hat, dass gegen die Bestimmungen der Verordnung (EU) 2024/1689 verstoßen wurde, bei der betreffenden Marktüberwachungsbehörde Beschwerde einzureichen. Dabei ist vorgesehen, dass die Beschwerden für die Zwecke der Marktüberwachungstätigkeiten berücksichtigt und nach dem einschlägigen von den Marktüberwachungsbehörden dafür eingerichteten Verfahren behandelt werden.

Zu Absatz 1

Absatz 1 gestaltet das Beschwerderecht des Artikels 85 der Verordnung (EU) 2024/1689 nutzerfreundlich aus. Beschwerdeführer können ihre Beschwerde unabhängig von der Bestimmung der Verordnung (EU) 2024/1689, deren Missachtung sie rügen, bei der Bundesnetzagentur einreichen. Die Bundesnetzagentur leitet diese Beschwerde an die nach diesem Gesetz zuständige Marktüberwachungsbehörde, aber auch an jede andere in ihrer Zuständigkeit betroffene Behörde oder öffentliche Stelle zur Bearbeitung weiter. Als öffentliche Stellen sind solche nach Artikel 77 Absatz 1 der Verordnung (EU) 2024/1689 gemeint. Sollte die Bundesnetzagentur die Beschwerde an eine andere nach § 2 zuständige Marktüberwachungsbehörde abgeben, informiert sie den Beschwerdeführer über die Abgabe. Dem Beschwerdeführer wird somit die Prüfung der Zuständigkeit abgenommen und seine Beschwerde wird an die zuständige Behörde weitergeleitet. Angesichts der unterschiedlichen nach § 2 zuständigen Marktüberwachungsbehörden wird dadurch die praktische Ausübung des Beschwerderechts erheblich erleichtert und die Beschwerdeführer können effektiv von ihrem Recht Gebrauch machen, Beschwerden wegen Verstößen gegen die Verordnung (EU) 2024/1689 anzubringen.

Zu Absatz 2

Zur Schaffung eines bürgerfreundlichen Beschwerdemanagements soll die Bundesnetzagentur Beschwerden, für die eine Behörde oder öffentliche Stelle nach § 2 zuständig ist, an diese Behörde weiterleiten. Die Weiterleitung durch die Bundesnetzagentur soll zugänglich und barrierefrei sowie nutzerfreundlich und effizient gestaltet sein und moderne technische Systeme schon bei Eingabe der Beschwerde durch die Beschwerdeführer nutzen.

Zu Absatz 3

Absatz 3 regelt ergänzend die Weiterleitung einer Beschwerde an die Bundesnetzagentur, wenn die Beschwerde bei einer anderen Marktüberwachungsbehörde eingereicht wurde und diese Behörde nicht für die Bearbeitung der Beschwerde zuständig ist. Für den Fall, dass diese Behörde zuständig ist, hat sie der Bundesnetzagentur zumindest eine Kopie der Beschwerde zur Verfügung zu stellen, damit die Bundesnetzagentur einen Überblick über alle Beschwerden erhält.

Zu Abschnitt 2 (Zusammenarbeit)

Zu § 9 (Zusammenarbeit der zuständigen Behörden)

Da in § 2 und § 3 verschiedene Behörden als zuständige Behörden benannt werden und darüber hinaus auch noch weitere Behörden in ihren jeweiligen Zuständigkeitsbereichen durch die Verordnung (EU) 2024/1689 betroffen sind, bedarf es einer Regelung zur Zusammenarbeit, um eine effektive und wirksame Durchführung der Verordnung (EU) 2024/1689 in Deutschland zu gewährleisten.

Zu Absatz 1

Absatz 1 regelt das Verhältnis der nach § 2 und § 3 zuständigen Behörden untereinander. Sie werden zur kooperativen und vertrauensvollen Zusammenarbeit verpflichtet. Zudem greift Absatz 1 den in Artikel 70 Absatz 7 der Verordnung (EU) 2024/1689 enthaltenen Gedanken eines Erfahrungsaustauschs zwischen den zuständigen nationalen Behörden auf.

Zu Absatz 2

Marktüberwachungsmaßnahmen der zuständigen Marktüberwachungsbehörden können die Zuständigkeiten sonstiger Behörden sowie Behörden und öffentlicher Stellen nach Artikel 77 Absatz 1 der Verordnung (EU) 2024/1689 berühren (z.B. im Bereich des Arbeitsschutzes). Zur besseren Koordination etwaiger Maßnahmen, ist es erforderlich, dass die Marktüberwachungsbehörden mit den betroffenen Behörden oder öffentlichen Stellen Informationen austauschen und bei der Durchführung von Marktüberwachungsmaßnahmen zusammenarbeiten.

Zu Absatz 3

Die Rechts- oder Fachaufsicht erhält von der Marktüberwachungsbehörde die Gelegenheit zur Stellungnahme, bevor diese gegenüber einer der Rechts- oder Fachaufsicht nachgeordneten Behörde eine Maßnahme wegen Verstoßes gegen die Verordnung (EU) 2024/1689 erlässt. Damit sollen sich widersprechende Entscheidungen von Marktüberwachungsbehörde und Rechts- oder Fachaufsicht vermieden werden. Der Gelegenheit zu einer Stellungnahme bedarf es nicht, wenn Gefahr im Verzug ist, die sofortige Maßnahme im öffentlichen Interesse notwendig erscheint oder ihr ein zwingendes öffentliches Interesse entgegensteht.

Zu Absatz 4

Absatz 4 regelt das Verhältnis der nach § 2 und § 3 zuständigen Behörden mit Behörden, denen nach der Verordnung (EU) 2024/1689 eine eigenständige Rolle zukommt. Dabei handelt es sich – in einer beispielhaften, nicht abschließenden Aufzählung – insbesondere um die Datenschutzbehörden des Bundes und der Länder, die Antidiskriminierungsstelle des Bundes und, sofern nach Artikel 77 Absatz 1 der Verordnung (EU) 2024/1689 benannt, –die Antidiskriminierungsstellen der Länder, das Bundesamt für Sicherheit in der Informationstechnik (BSI), das Bundeskartellamt, die Antidiskriminierungsstelle des Bundes und, sofern nach Artikel 77 Absatz 1 der Verordnung (EU) 2024/1689 benannt, die Antidiskriminierungsstellen der Länder, sowie die Bundeszentrale für Kinder- und Jugendmedienschutz. Die nach § 2 und § 3 zuständigen Behörden haben die genannten Behörden bei der Wahrnehmung ihrer Aufgaben nach der Verordnung (EU) 2024/1689 einzubeziehen. Die Zusammenarbeit der nach diesem Gesetz zuständigen Marktüberwachungsbehörden mit der nach Artikel 52 Absatz 2 der Verordnung (EU) 2024/2847 benannten Behörde (und bis zu deren Benennung des Bundesamtes für Sicherheit in der Informationstechnik) wird in § 10 konkretisiert. Betreffend die Einbeziehung des Bundeskartellamts sind insbesondere laut Artikel 74 Absatz 2 der Verordnung (EU) 2024/1689 die Marktüberwachungsbehörden verpflichtet, dem Bundeskartellamt jährlich alle Informationen, die sie im Verlauf ihrer Marktüberwachungstätigkeiten erlangt haben und die für die Anwendung von Unionsrecht im Bereich der Wettbewerbsregeln von Interesse sein könnten, zu melden. Aber auch über diese Vorgabe einer jährlich erfolgenden Meldung hinaus sollen die Marktüberwachungsbehörden und das Bundeskartellamt Informationen austauschen können, soweit dies zur Erfüllung ihrer Aufgaben erforderlich ist. Ein solcher Austausch erfolgt zwischen dem Bundeskartellamt und der Bundesnetzagentur im Rahmen des insoweit einschlägigen § 50f Absatz 1 GWB. Nach § 50f GWB können unabhängig von der jeweils gewählten Verfahrensart Informationen einschließlich personenbezogener Daten und Betriebs- und Geschäftsgeheimnisse ausgetauscht und in den jeweiligen Verfahren verwertet werden. Die Vorschriften des Gesetzes gegen Wettbewerbsbeschränkungen sowie der Regelungen zu den Aufgaben, Befugnissen und Zuständigkeiten der Kartellbehörden bleiben unberührt. In Fällen, in denen die Marktüberwachungsbehörden den Kinder- und Jugendmedienschutz betroffen sehen, sollen sie die Bundeszentrale für Kinder- und Jugendmedienschutz einbeziehen. Durch Bezugnahme auf den Artikel 24 der Charta und im Übereinkommen der Vereinten Nationen über die Rechte des Kindes (UNCRC) und der Allgemeinen Bemerkung Nr. 25 des UNCRC in dem Erwägungsgrund 48 der Verordnung (EU) 2024/1689, wird die Bedeutung des Jugendmedienschutzes im Rahmen von KI-Systemen hervorgehoben. Es wird betont, dass Kinder Rechte innehaben, die über die in der Charta geschützten Rechte hinausgehen. Die Bundeszentrale für Kinder- und Jugendmedienschutz ist die für die Einhaltung dieser Rechte zuständige Behörde. Aus diesem Grund und obwohl die Bundeszentrale für Kinder- und Jugendmedienschutz keine eigenständige Rolle im Rahmen der Verordnung (EU) 2024/1689 zukommt, gehört sie zu den Behörden, die von den Marktüberwachungsbehörden einzubeziehen sind. Als ein mögliches Forum für eine behördenübergreifende Koordination kommt eine noch zu formalisierende Zusammenarbeit und weitere Ausgestaltung im Rahmen des bestehenden Digital Cluster Bonn in Betracht.

Zu Absatz 5

Bei der Zusammenarbeit ist die Vertraulichkeit gemäß Artikel 78 der Verordnung (EU) 2024/1689 zu beachten. Daher regelt Absatz 5, dass die in Absatz 1, 2 und 4 genannten Behörden Informationen austauschen können, soweit dies zur Aufgabenerfüllung erforderlich ist. Die in den Sätzen 3 und 4 aufgenommenen Regelungen dienen der Klarstellung und sind Ausdruck der in Artikel 78 Absatz 2 der Verordnung (EU) 2024/1689 getroffenen Regelung, dass ausschließlich „unbedingt erforderliche“ Daten ausgetauscht werden. Die Formulierung ist an die Formulierung aus § 47i GWB angelehnt.

Zu § 10 (Zusammenarbeit der Marktüberwachungsbehörden mit der nach Artikel 52 Absatz 2 der Verordnung (EU) 2024/2847 benannten Behörde)

Zu Absatz 1

Bei KI-Systemen, die in den Anwendungsbereich der Verordnung (EU) 2024/2847 fallen und nach Artikel 6 der Verordnung (EU) 2024/1689 als Hochrisiko-KI-Systeme eingestuft sind, sind gemäß Artikel 52 Absatz 14 Satz 1 der Verordnung (EU) 2024/2847 die für die Zwecke der Verordnung (EU) 2024/1689 benannten Marktüberwachungsbehörden auch für die nach der Verordnung (EU) 2024/2847 erforderlichen Marktüberwachungstätigkeiten zuständig. Artikel 52 Absatz 14 Satz 2 und Satz 3 Verordnung (EU) 2024/1689 regelt die Zusammenarbeit zwischen den nach der Verordnung (EU) 2024/1689 zuständigen Marktüberwachungsbehörden und der nach Artikel 52 Absatz 2 der Verordnung (EU) 2024/2847 zuständigen Marktüberwachungsbehörde, soweit sich die Aufgabenbereiche berühren. § 10 Absatz 1 dieses Gesetzes konkretisiert diese Zusammenarbeit. Ziel dabei ist es insbesondere, eine wirksame und effiziente Durchsetzung der Vorgaben der Verordnung (EU) 2024/1689 sicherzustellen, die auch ein angemessenes Maß an Cybersicherheit in Produkten mit digitalen Elementen gewährleistet und zugleich die unterschiedliche Anwendung von Cybersicherheitsanforderungen nach Anhang I der Verordnung (EU) 2024/2847 vermeidet. Entscheidend dafür ist eine kooperative und vertrauensvolle Zusammenarbeit der Behörden untereinander, welche die Expertise und Zuständigkeiten in den verschiedenen Themenfeldern berücksichtigt. Die Regelung des § 10 Absatz 1 Satz 2 bezieht sich daher über die Zuständigkeiten der jeweils zuständigen Marktüberwachungsbehörde gemäß der Verordnung (EU) 2024/1689 hinaus auch auf die Mitteilung von Beobachtungen, die für die Arbeit der anderen Behörde von Bedeutung sein könnte. Die von den Betroffenen zu erfüllenden und nachzuweisenden Anforderungen werden gesetzlich durch die Verordnung (EU) 2024/1689 festgelegt, und zwar europaweit einheitlich. Die Anforderungen an Hochrisiko-KI-Systeme ergeben sich aus den Artikeln 9 bis 15 der Verordnung (EU) 2024/1689, einschließlich der Cybersicherheitsanforderungen in Artikel 15 der genannten Verordnung. Zugleich gelten Hochrisiko-KI-Systeme nach Artikel 12 Absatz 1 der Verordnung (EU) 2024/2847 als mit den Cybersicherheitsanforderungen gemäß Artikel 15 der Verordnung (EU) 2024/1689 konform, wenn sie die im Anhang I der Verordnung (EU) 2024/2847 genannten Cybersicherheitsanforderungen erfüllen. Mehr noch wird die Konformität mit der Verordnung (EU) 2024/1689 nach Artikel 42 Absatz 2 Verordnung (EU) 2024/1689 vermutet, soweit die Anforderungen der Verordnung (EU) 2024/2847 eingehalten werden und sich decken. Dieser Umstand unterstreicht die Bedeutung der Zusammenarbeit der in § 10 Absatz 1 genannten Marktüberwachungsbehörden.

Zu Absatz 2

Im Wege der Zusammenarbeit informiert die nach Artikel 52 Absatz 2 der Verordnung (EU) 2024/2847 benannte Marktüberwachungsbehörde die jeweils nach diesem Gesetz zuständige Marktüberwachungsbehörde über Verdachtsfälle hinsichtlich der fehlenden Einhaltung von Anforderungen an die Cybersicherheit bei Hochrisiko-KI-Systemen. Eine mit Gründen versehene Einschätzung stellt das Bundesamt für Sicherheit in der Informationstechnik der nach diesem Gesetz zuständigen Marktüberwachungsbehörde in der Regel möglichst zeitgleich mit der Information eines Verdachtsfalls zur Verfügung. Die jeweils nach diesem Gesetz zuständige Marktüberwachungsbehörde prüft daraufhin die Möglichkeit von Maßnahmen im Bereich der Cybersicherheit von Hochrisiko-KI-Systemen im Lichte der von der Marktüberwachungsbehörde nach Artikel 52 Absatz 2 der Verordnung (EU) 2024/2847 erhaltenen Anhaltspunkte. Die Prüfung erfolgt anhand der von der Bundesnetzagentur und der nach Artikel 52 Absatz 2 der Verordnung (EU) 2024/2847 zuständigen Marktüberwachungsbehörde gemeinsam erarbeiteter Prüfkriterien. Hierdurch soll sichergestellt werden, dass die in Anhang I der Verordnung (EU) 2024/2847 beschriebenen Anforderungen national einheitlich umgesetzt werden. Die Details der Zusammenarbeit können in einer Verwaltungsvereinbarung geregelt werden.

Zu Absatz 3

Artikel 96 Absatz 1 Buchstabe a in Verbindung mit Artikel 15 Absatz 5 der Verordnung (EU) 2024/1689 sehen das Erstellen von europäischen Leitlinien durch die Europäische Kommission vor. Mit diesen europäischen Leitlinien wird dem Harmonisierungsgedanken Rechnung getragen. Um eine konsistente und reibungslose Durchsetzung der Verordnung (EU) 2024/1689 sicherzustellen und Synergieeffekte durch Nutzung der spezifischen Expertise der nach Artikel 52 Absatz 2 der Verordnung (EU) 2024/2847 benannten Behörde zu erzielen, ist deren Mitwirkung an der Erstellung der Leitlinien der Europäischen Kommission sicherzustellen. Um diesen Prozess frühzeitig zu begleiten, sollte das Bundesamt für Sicherheit in der Informationstechnik diese Aufgabe bereits vor der Benennung einer Marktüberwachungsbehörde nach Artikel 52 Absatz 2 der Verordnung 2024/2847 wahrnehmen. Auch die Mitarbeit an der Entwicklung der europäischen harmonisierten Normen im Sinne des Artikel 40 der Verordnung (EU) 2024/1689 und an der Festlegung gemeinsamer Spezifikationen im Sinne des Artikel 41 der Verordnung (EU) 2024/1689 zu den Anforderungen an die Cybersicherheit nach Artikel 15 Absatz 5 der Verordnung (EU) 2024/1689 sollte durch die nach Artikel 52 Absatz 2 der Verordnung (EU) 2024/2847 benannte Behörde wahrgenommen werden. Auch hier sollte sich das Bundesamt für Sicherheit in der Informationstechnik im Sinne einer frühen Beteiligung bereits vor der Benennung einer Marktüberwachungsbehörde nach Artikel 52 Absatz 2 der Verordnung (EU) 2024/2847 einbringen.

Zu Absatz 4

Da dieses Gesetz zeitlich vor einer Benennung der Marktüberwachungsbehörde nach Artikel 52 Absatz 2 der Verordnung (EU) 2024/2847 in Kraft tritt, die nach diesem Gesetz zuständigen Marktüberwachungsbehörden also mit der Durchsetzung der Verordnung (EU) 2024/1689 beginnen, bevor eine solche Marktüberwachungsbehörde die Aufgaben in den Absätzen 1 bis 3 wahrnehmen kann, wird in Absatz 4 eine Regelung für die Übergangszeit geschaffen. Da diese Regelung der Entscheidung nach Artikel 52 Absatz 2 der Verordnung (EU) 2024/2847 nicht vorgreifen soll, ist sie zeitlich begrenzt auf den Zeitraum bis zur Anwendung des Artikel 52 Absatz 2 der Verordnung (EU) 2024/2847 durch Benennung. Zugleich ist das Bundesamt für Sicherheit in der Informationstechnik als zentrale Stelle für Informationssicherheit auf nationaler Ebene gemäß § 1 Satz 2 BSIG die auf Bundesebene zuständige Behörde.

Zu Teil 3 (Befugnisse)

Zu § 11 (Befugnisse der zuständigen Behörden)

Zu Absatz 1

Zu Satz 1 und 2

Mit § 10 Absatz 1 Satz 1 werden allen nach diesem Gesetz benannten Marktüberwachungsbehörden und die von ihnen beauftragten Personen die Befugnisse gemäß Artikel 14 Absatz 4 und 5 der Verordnung (EU) 2019/1020 übertragen (vgl. Artikel 74 Absatz 5 der Verordnung (EU) 2024/1689). Das beinhaltet die Befugnis, die Vorlage relevanter Dokumente, technischer Spezifikationen, Daten oder Informationen über die Konformität zu verlangen. Mit dem Verweis auf Artikel 14 Absatz 4 Buchst. d, e, f, i und j der Verordnung (EU) 2019/1020 wird den Marktüberwachungsbehörden u.a. auch die Befugnis erteilt, unangekündigte Inspektionen vor Ort durchzuführen, Räumlichkeiten und Grundstücke sowie Beförderungsmittel, die der Wirtschaftsakteur für Zwecke im Zusammenhang mit seiner geschäftlichen Tätigkeit nutzt, zu den üblichen Betriebs- und Geschäftszeiten (Satz 2) zu betreten und Ermittlungen auf eigene Initiative einzuleiten. Die Marktüberwachungsbehörden sind zudem befugt, für den Anwendungsbereich des Gesetzes, die Wirtschaftsakteure aufzufordern, Maßnahmen zu ergreifen, um die Nichtkonformität oder das von einem KI-System ausgehende Risiko zu beenden sowie die Bereitstellung eines nicht konformen KI-Systems oder eines KI-Systems, von dem ein Risiko ausgeht, zu verbieten oder einzuschränken. Ergreift der Wirtschaftsakteur keine geeigneten Maßnahmen oder bleiben die Nichtkonformität oder das Risiko bestehen, so können die Marktüberwachungsbehörden für den Anwendungsbereich des Gesetzes alle erforderlichen Maßnahmen ergreifen, um die Nichtkonformität oder das Risiko zu beenden. Das beinhaltet jedoch nicht die Befugnis der Marktüberwachungsbehörden, in das behördliche/hoheitliche Handeln der von ihnen beaufsichtigten Akteure einzugreifen. Die Befugnisse der Marktüberwachungsbehörden beschränken sich auf die Überprüfung der sich aus der Verordnung (EU) 2024/1689 ergebenden Anforderungen. Die sonstigen Aufsichtsbefugnisse in den sektoralen Aufsichtsgesetzen, wie diejenigen der Bundesanstalt für Finanzdienstleistungsaufsicht im Kreditwesengesetz, Versicherungsaufsichtsgesetz, Wertpapierinstitutsgesetz, Zahlungsdiensteaufsichtsgesetz oder Kapitalanlagegesetzbuch, bleiben ebenfalls unberührt.

Zu Satz 3

Satz 3 stellt klar, dass die Marktüberwachungsbehörden bei der Wahrnehmung ihrer Befugnisse dritte Personen als Verwaltungshelfer heranziehen können.

Zu Satz 4

Satz 4 dient der Klarstellung, dass die Marktüberwachungsbehörden die in Artikel 14 Absatz 4 Buchstaben d und j der Verordnung (EU) 2019/1020 genannten Befugnisse aus der Ferne ausüben können. Eine Klarstellung ist erforderlich, da Artikel 74 Absatz 5 der Verordnung (EU) 2024/1689 lediglich regelt, dass diese Befugnisse „gegebenenfalls“ ausgeübt werden können.

Zu Satz 5

Mit Satz 5 wird die Voraussetzung von Artikel 13 Absatz 7 Grundgesetz erfüllt, wonach Eingriffe und Beschränkungen des Rechts auf die Unverletzlichkeit der Wohnung nur auf Grund eines Gesetzes vorgenommen werden dürfen.

Zu Absatz 2

Für die in Anhang I der Verordnung (EU) 2024/1689 aufgeführten Harmonisierungsrechtsvorschriften der Union gilt bisher bereits § 7 Marktüberwachungsgesetz (vgl. § 1 Absatz 1 MüG i.V.m. Artikel 2 Absatz 1 der Verordnung (EU) 2019/1020). In diesen Fällen stehen die Hochrisiko-KI-Systeme im Zusammenhang mit Produkten. Um die bisher bestehenden Befugnisse im Rahmen der Marktüberwachung um die Aspekte der Verordnung (EU) 2024/1689 zu erweitern, ist eine entsprechende Geltung der Vorschriften der § 7 Absätze 2 bis 4 des Marktüberwachungsgesetzes notwendig.

Zu Absatz 3

Absatz 3 regelt die Verfahrensvorschriften für das Widerspruchsverfahren. Bei Medizinprodukten (§ 45 Absatz 5 Medizinprodukterecht-Durchführungsgesetz) und Funkanlagen (§ 36 Absatz 1 Funkanlagengesetz) ist in den sektorspezifischen Rechtsakten, auf die die Verordnung (EU) 2024/1689 in Artikel 6 Absatz 1 in Verbindung mit Anhang I Bezug nimmt, vorgesehen, dass Widerspruch und Klage gegen Entscheidungen der Marktüberwachung keine aufschiebende Wirkung haben, in anderen branchenspezifischen Rechtsakten dagegen nicht. Ein Auseinanderfallen zwischen den Verfahrensvorschriften für Maßnahmen nach diesen branchenspezifischen Rechtakten und Maßnahmen nach dem vorliegenden Durchführungsgesetz sollte jedoch vermieden werden. Der Verweis auf Anhang I der Verordnung (EU) 2024/1689 ist dynamisch ausgestaltet, falls sich die Rechtslage in einzelnen branchenspezifischen Rechtsakten ändert. Gründe, die gesetzgeberische Entscheidung des § 80 Verwaltungsgerichtsordnung im Anwendungsbereich der Verordnung (EU) 2024/1689 grundsätzlich anders zu bewerten, zum Beispiel im Bereich des Anhang III der Verordnung, gibt es nicht. Den Marktüberwachungsbehörden bleibt die Möglichkeit der Aussetzung der Vollziehung nach Artikel 80 Absatz 2 Nummer 4 Verwaltungsgerichtsordnung unbenommen.

Zu Teil 4 (Maßnahmen der Innovationsförderung)

Teil 4 des Gesetzes dient der Durchführung der innovationsfördernden Maßnahmen der Verordnung (EU) 2024/1689.

Zu § 12 Innovationsfördernde Maßnahmen

11 regelt die Durchführung der nach der Verordnung (EU) 2024/1689 vorgesehenen innovationsfördernden Maßnahmen, die über die Einrichtung von Reallaboren (dazu § 12) oder Tests unter Realbedingungen (dazu § 13) hinausgehen. Dazu zählen eine KI-Servicestelle (KI-Service Desk) für die Anbieter und Betreiber von KI-Systemen sowie die sonstigen Adressaten der Verordnung (EU) 2024/1689 (Nummer 1), die Durchführung von Sensibilisierungs- und Schulungsmaßnahmen (Nummer 2), die Förderung des Wissensaufbaus und -austauschs zu KI (Nummer 3), die Vernetzung relevanter Akteure des KI-Ökosystems (Nummer 4) sowie die Mitarbeit an der Standardisierung und Normung (Nummer 5).

Zu Nummer 2

Die in Artikel 62 Absatz 1 Buchstabe b der Verordnung (EU) 2024/1689 vorgesehene Durchführung von Sensibilisierungs- und Schulungsmaßnahmen für die Anwendung der Verordnung werden als Aufgabe der BNetzA zugewiesen. Die Bundesakademie für öffentliche Verwaltung bleibt für die Durchführung von Sensibilisierungs- und Schulungsmaßnahmen für die Bundesverwaltung zuständig. Das im Aufbau befindliche BeKI soll im Bereich der Bundesverwaltung unter anderem die Aufgabe der Innovationsförderung übernehmen, indem es dort den Einsatz Künstlicher Intelligenz unterstützt. Die Bundesnetzagentur arbeitet eng mit der Bundesakademie für öffentliche Verwaltung und dem im Aufbau befindlichen BeKI zusammen. Damit wird auch in diesem Aufgabenbereich auf bewährte Strukturen zurückgegriffen, was die Ziele dieses Gesetzesvorhabens unterstützt, Effizienzen maximiert und den Erfüllungsaufwand minimiert.

Zu § 13 KI-Reallabore, Verordnungsermächtigung

Nach Artikel 57 Absatz 1 Satz 1 der Verordnung (EU) 2024/1689 werden die Mitgliedstaaten verpflichtet, mindestens ein KI-Reallabor auf nationaler Ebene einzurichten, das bis zum 2. August 2026 einsatzbereit sein muss. Die Ziele werden in Artikel 57 Absatz 9 der Verordnung (EU) 2024/1689 genannt.

Zu Absatz 1

Zu Satz 1

Absatz 1 Satz 1 überträgt der Bundesnetzagentur die Aufgabe der Einrichtung und des Betriebs dieses KI-Reallabors.

Zu Satz 2 Satz 2 stellt klar, dass zusätzliche KI-Reallabore durch andere Behörden zulässig bleiben.

Zu Absatz 2

Absatz 2 verpflichtet die Bundesnetzagentur zur Kooperation gemäß Artikel 57 Absatz 4 Satz 2 1. Halbsatz und Artikel 57 Absatz 4 Satz 4, gemäß Artikel 57 Absatz 10 und gemäß Artikel 58 Absatz 4 der Verordnung (EU) 2024/1689. Zudem wird klargestellt, dass Aufsichts- und Überwachungsbefugnisse weiterer Behörden aufgrund anderer Gesetze unberührt bleiben.

Zu Absatz 3

Absatz 3 verpflichtet die Bundesnetzagentur gemäß Artikel 62 Absatz 1 Buchstabe a der Verordnung (EU) 2024/1689 dazu, KMU, einschließlich Start-up-Unternehmen, die ihren Sitz oder eine Zweigniederlassung in der Union haben und die Voraussetzungen und Auswahlkriterien erfüllen, vorrangigen Zugang zu dem KI-Reallabor zu gewähren. Diese Voraussetzungen werden erst noch festgelegt in delegierten EU Rechtsakten nach Artikel 58 Absatz 1 der Verordnung (EU) 2024/1689.

Zu Absatz 4

Mit diesem Absatz soll Vorsorge getroffen werden, wenn sich gegebenenfalls aus Durchführungsrechtsakten im Sinne von Artikel 58 der Verordnung (EU) 2024/1689 ein Durchführungsbedarf ergibt.

Zu § 14 (Tests von Hochrisiko-KI-Systemen unter Realbedingungen)

Zu Absatz 1

Mit Absatz 1 wird den Marktüberwachungsbehörden die in Artikel 60 Absatz 6 der Verordnung (EU) 2024/1689 vorgesehene Befugnis übertragen, Tests unter Realbedingungen außerhalb von KI-Reallaboren durchzuführen und damit zusammenhängende Hochrisiko-KISysteme zu prüfen. Davon ausgenommen sind Tests, die im Sinne von Artikel 2 Absatz 3 der Verordnung (EU) 2024/1689 erfolgen. Das betrifft KI-Systeme, wenn und soweit diese ausschließlich für militärische Zwecke, Verteidigungszwecke oder Zwecke der nationalen Sicherheit in Verkehr gebracht, in Betrieb genommen oder, mit oder ohne Änderungen, verwendet werden, unabhängig von der Art der Einrichtung, die diese Tätigkeiten ausübt.

Zu Absatz 2

Mit Absatz 2 wird die Genehmigungsfiktion gemäß Artikel 60 Absatz 4 Buchstabe b der Verordnung (EU) 2024/1689 geschaffen.

Zu Teil 5 (Bußgeldverfahren)

Zu § 15 (Anwendung der Vorschriften des Gesetzes über Ordnungswidrigkeiten)

Zu Absatz 1

Gemäß § 2 des Gesetzes über Ordnungswidrigkeiten (OWiG) gilt das OWiG für Ordnungswidrigkeiten nach Bundes- und Landesrecht. Davon abweichend erklärt § 15 Absatz 1 Satz 1 dieses Gesetzes das OWiG grundsätzlich auch auf Verstöße nach Artikel 99 Absatz 3 bis 5 der Verordnung (EU) 2024/1689 für entsprechend anwendbar. Bei der entsprechenden Anwendung von § 10 OWiG ist zu berücksichtigen, dass Artikel 99 Absatz 3 bis 5 der Verordnung (EU) 2024/1689 sowohl vorsätzliches als auch fahrlässiges Handeln erfasst, wie sich aus Artikel 99 Absatz 7 Buchstabe i) der Verordnung (EU) 2024/1689 ergibt, wonach die Vorsätzlichkeit oder Fahrlässigkeit des Verstoßes ein bei der Festsetzung der Geldbuße zu berücksichtigender relevanter Umstand ist. Die Verordnung setzt somit voraus, dass auch fahrlässiges Handeln geahndet wird und eine nur fahrlässige Begehungsform lediglich im Rahmen der Zumessung der Geldbuße Berücksichtigung findet. Gemäß Absatz 1 Satz 2 finden § 17 und § 30 Absatz 1 des OWiG keine Anwendung, weil das in der Verordnung (EU) 2024/1689 geregelte europäische Sanktionenrecht den Rahmen für die zu verhängenden Geldbußen abschließend regelt.

Zu Absatz 2

Da die Verordnung selbst nicht das Verfahren für die Verhängung der Geldbuße regelt, bestimmt § 15 Absatz 2 Satz 1, dass die Vorschriften des OWiG und der allgemeinen Gesetze über das Strafverfahren entsprechend gelten. Absatz 2 Satz 2 bestimmt, dass die Staatsanwaltschaft im Zwischenverfahren das Verfahren nur mit Zustimmung der Marktüberwachungsbehörde einstellen kann, die den Bußgeldbescheid erlassen hat. Hierdurch wird der Bedeutung der Geldbußen in der Verordnung (EU) 2024/1689 und der Unabhängigkeit der Marktüberwachung Rechnung getragen.

Zu Absatz 3

Absatz 3 legt fest, wer die für das Bußgeldverfahren zuständigen Verwaltungsbehörden sind.

Zu Absatz 4

Absatz 4 stellt klar, dass gegen öffentliche Stellen im Sinne von § 2 Absatz 1 und 2 des Bundesdatenschutzgesetzes keine Geldbußen verhängt werden.

Zu Teil 6 (Aufbewahrungspflichten)

Zu § 16 (Aufbewahrungspflicht nach Artikel 18 Absatz 2 der Verordnung (EU) 2024/1689)

Gemäß Artikel 18 Absatz 2 der Verordnung (EU) 2024/1689 ist eine Regelung zur Aufbewahrung der Dokumentation im Fall des Konkurses oder der Geschäftsaufgabe zu treffen. Im Fall einer Insolvenz geht diese Pflicht gesetzlich auf den Insolvenzverwalter gemäß § 80 Insolvenzordnung über, bei dessen Einstellung gemäß § 215 Absatz 2 Insolvenzordnung wieder auf den Unternehmensinhaber.

5 Medizinprodukte-Durchführungsgesetz bleibt unberührt.

Zu Artikel 2 (Änderung des Hinweisgeberschutzgesetzes)

Durch Artikel 2 wird sichergestellt, dass für die Meldung und Offenlegung von Verstößen gegen die Verordnung (EU) 2024/1689 das Hinweisgeberschutzgesetz gilt. Dadurch wird der Vorgabe in Artikel 87 der Verordnung (EU) 2024/1689 Rechnung getragen, wonach für die Meldung von Verstößen gegen diese Verordnung und den Schutz von Personen, die solche Verstöße melden, die Richtlinie (EU) 2019/1937 des Europäischen Parlaments und des Rates vom 23. Oktober 2019 zum Schutz von Personen, die Verstöße gegen das Unionsrecht melden (ABl. L 305 vom 26.11.2019, S. 17), die zuletzt durch die Richtlinie (EU) 2024/1760 (ABl. L 2024/1760, 5.7.2024) geändert worden ist, gilt.

Zu Artikel 3 (Änderung des Ersten Buches Sozialgesetzbuch)

Zu Artikel 4 (Änderung des Finanzdienstleistungsgesetzes)

Zu Nummer 1

Die Änderung des § 15 Absatz 1 Satz 1 ergänzt den Katalog der Maßnahmen, welche der gesonderten Erstattung unterfallen, und zwar im Hinblick auf die Einführung des KI-Marktüberwachungs- und Innovationsförderungsgesetzes.

Zu Nummer 2

Die Änderung des § 16b trägt der Begründung der Zuständigkeit der Bundesanstalt für Finanzdienstleistungsaufsicht als zuständige Marktüberwachungsbehörde im Sinne des Artikels 70 Absatz 1 Satz 1 der Verordnung (EU) 2024/1689 in § 2 Absatz 4 des KI-Marktüberwachungs- und Innovationsförderungsgesetzes im Hinblick auf die Kostenermittlung nach Aufgabenbereichen Rechnung, indem sie soweit es sich bei diesen Kosten um Kosten in Bezug auf Kredit-, Finanzdienstleistungs- Wertpapierinstituts- Zahlungsdienste-, Krypto- oder inländisches Investmentwesen handelt, diese dem Aufgabenbereich Banken und sonstige Finanzdienstleistungen und, soweit es sich um Kosten des Versicherungswesens handelt, dem Aufgabenbereich Versicherungen entsprechend zuordnet.

Zu Artikel 5 (Inkrafttreten)

Zum Zwecke der Durchführung der Verordnung (EU) 2024/1689 muss jeder Mitgliedstaat bis zum 2. August 2025 die zuständigen nationalen Behörden einrichten oder benennen und entsprechend den Vorgaben der Verordnung (EU) 2024/1689 Vorschriften über das Bußgeldverfahren erlassen. Die Vorschriften in Kapitel I und II der Verordnung (EU) 2024/1689 gelten bereits ab dem 2. Februar 2025. Auch wenn bestimmte Anforderungen an Anbieter und Betreiber von KI-Systemen erst zu einem späteren Zeitpunkt in Kraft treten, sollte dieses Durchführungsgesetz daher umgehend in Kraft treten.

Source link

Verwandte Themen:Behörden Die diese KIVerordnung sollen umsetzen

Up Next

Windows: Zero-Day-Lücke bei der LNK-Anzeige

Nicht verpassen

Ransomware und Angriff auf NX: Kriminelle führen KI-gestützte Attacken durch

Datenschutz & Sicherheit

Als erstes Bundesland: Hessen setzt Live-Gesichtserkennung ein

Gestern hat Hessens Innenminister Roman Poseck (CDU) einen Dammbruch verkündet. In Deutschland kommt nun erstmals automatisierte Echtzeit-Gesichtserkennung zum Einsatz. Nicht als Test, wie einst am Berliner Südkreuz, sondern als Anbruch einer neuen Ära. Die Gesichter von Menschen, die sich im Bahnhofsviertel von Frankfurt am Main aufhalten, darunter viele marginalisierte Gruppen, werden von sogenannter Künstlicher Intelligenz vermessen und mit Bildern gesuchter Personen abgeglichen. Gibt es einen Treffer, greift die Polizei zu. Die Technologie gilt als diskriminierend, weil sie bei Frauen oder People of Color mehr Fehler macht.

Die Gesichtserkennung läuft in Frankfurt, wie gestern ebenfalls bekannt wurde, bereits seit dem 10. Juli dieses Jahres. Die rechtliche Grundlage dazu schufen die hessischen Regierungsfraktionen von CDU und SPD mit einem kurzfristigen Änderungsantrag zum „Gesetz zur Stärkung der inneren Sicherheit“, das Ende vergangenen Jahres im Hessischen Landtag verabschiedetet wurde.

„Nur in einer sicheren Gesellschaft können die Menschen frei leben“, sagte Poseck gestern. Die Überwachungsinstrumente bezeichnete er als „Videoschutzanlagen“. Laut einem Bericht der hessenschau überwachen im Frankfurter Bahnhofsviertel 50 Kameras den öffentlichen Raum. Diese würden fortan auch zur Gesichtserkennung genutzt.

Alle Passant*innen werden gescannt

Gescannt werden alle, die das überwachte Areal passieren. Mit Hilfe der Gesichtserkennung wird unter ihnen nach bestimmten Personen gesucht. Um die gesuchten Personen zu erkennen, werden Vergleichsbilder in das System eingespeist. Erlaubt ist das aber nur, wenn ein Beschluss des zuständigen Amtsgerichts vorliegt.

In Frage kommt ein solcher Beschluss beispielsweise für „Gefahrenverursacher einer terroristischen Straftat“. Also nicht nur für tatsächliche Terrorist*innen oder Tatverdächtige eines Anschlages, sondern auch für Menschen, bei denen die Polizei davon ausgeht, dass sie einen Anschlag begehen könnten. „Wer unsere Sicherheit bedroht, darf sich nicht im Schutz der Anonymität im öffentlichen Raum bewegen“, so Poseck.

Außerdem soll die Technologie dabei helfen, „Vermisste und Opfer von Entführungen, Menschenhandel oder sexueller Ausbeutung“ zu finden. Poseck sagt: „Gerade in der Umgebung des Frankfurter Verkehrsknotenpunkts ist die Wahrscheinlichkeit hoch, dass vermisste Kinder und Jugendliche dort auftauchen und dann durch die KI-Videoanalyse erkannt werden.“

Wir sind ein spendenfinanziertes Medium

Unterstütze auch Du unsere Arbeit mit einer Spende.

Ob sie erkannt werden wollen?

Mit Technologie lässt sich das Problem aber nicht lösen. In Vermisstenfällen ist die Wahrscheinlichkeit hoch, dass sich die vermisste Person bewusst aus ihrem sozialen Umfeld entfernt hat. Im Fall von Kindern und Jugendlichen liegen oft Erfahrungen von familiärer Gewalt oder Verwahrlosung zugrunde. Manchmal ist der Grund auch einfach Freiheitsdrang.

Vermisste Erwachsene werden von der Polizei nur dann gesucht, wenn eine Gefahr für Leib und Leben vorliegt. Es ist allerdings möglich, dass Täter*innen häuslicher Gewalt ihren Opfern suizidale Tendenzen zuschreiben, um sie polizeilich – und in Frankfurt mittels Gesichtserkennung – suchen zu lassen.

Der Einsatz der Technologie wird vermutlich nicht lange auf das Frankfurter Bahnhofsviertel beschränkt bleiben. Forscher*innen, die sich mit dem testweisen Einsatz von Videoanalyse-KI in Hamburg beschäftigen, haben bereits konstatiert, dass die Technologie auf ihre eigene Ausweitung drängt. Denn je mehr Trainingsdaten in das Modell fließen, desto effektiver wird es. Das könnte auch erklären, warum etwa in Mannheim eine Videoanalyse-KI bereits seit sieben Jahren testweise läuft.

Hessen will KI-Systeme auch nach Waffen suchen lassen

Die Systeme in Hamburg und Mannheim unterscheiden sich allerdings deutlich von dem in Hessen. Die Technologie, die in den beiden Städten zum Einsatz kommt, erkennt keine Gesichter, sondern nur bestimmte Bewegungsmuster. Entsprechend des Änderungsantrages zum Gesetz zur Stärkung der inneren Sicherheit dürfen in Hessen ebenfalls Systeme eingesetzt werden, die „Bewegungsmuster, die auf die Begehung einer Straftat hindeuten“ automatisch erkennen. Mit der Umsetzung der Bewegungsmusteranalyse lässt sich Hessen anscheinend noch Zeit.

Voraussichtlich ab Ende dieses Jahres sollen aber automatisch Waffen und gefährliche Gegenstände auf den Videobildern aus dem Frankfurter Bahnhofsviertel erkannt werden. Laut dem Koalitionsvertrag von 2023 plant die Landesregierung zudem, Pass- und Personalausweisfotos für die biometrische Identifikation heranzuziehen. Die Videoüberwachung ist in Hessen, anders als beispielsweise in Hamburg, nicht auf tatsächlich kriminalitätsbelastete Orte beschränkt, sondern darf laut dem Gesetz zur Stärkung der inneren Sicherheit auch in polizeilich definierten „Angsträumen“ eingesetzt werden.

Source link

Datenschutz & Sicherheit

EU-Kommission will Biometriedaten aus Mitgliedstaaten freigeben

Die Europäische Kommission hat Ende Juli einen Vorschlag für ein Mandat vorgelegt, um mit den USA ein Rahmenabkommen für eine „Grenzpartnerschaft“ auszuhandeln. In dieser „Enhanced Border Security Partnership“ (EBSP) sollen Grenz- und Polizeibehörden aus den USA auf polizeiliche Biometrie-Datenbanken in Europa zuzugreifen dürfen. Darüber erlangte Informationen dürften sie dann für Identitätsfeststellungen und Sicherheitsüberprüfungen beim Grenzübertritt oder für Visumsanträge nutzen.

Solche Befugnisse hatte die US-Regierung erstmals 2022 gefordert und hierzu Briefe an teilnehmende Staaten des „Visa Waiver Program“ (VWP) verschickt. Das VWP regelt die gegenseitige visafreie Einreise mit derzeit 43 Ländern. Wer sich der neuen „Grenzpartnerschaft“ verweigert, fliegt aus dem Programm – so die Drohung aus Washington.

Der geforderte Zugang ist weitreichend: Selbst innerhalb der Europäischen Union oder im Schengen-Raum erlaubt kein Mitgliedstaat einem anderen den Direktzugriff auf nationale polizeiliche Datenbanken. Diesen gibt es allenfalls im „Treffer-/Kein-Treffer-Prinzip“: Es wird also zunächst abgefragt, ob Informationen zu einer Person vorhanden sind. Anschließend kann die Behörde das andere Land um die Herausgabe des Datensatzes bitten und hierfür nötigenfalls einen richterlichen Beschluss mitschicken.

EU-Kommission für weiten Rahmen

In der EU hatte die Forderung nach Abschluss von „Grenzpartnerschaften“ vor drei Jahren für Aufregung gesorgt. Die Kommission argumentierte, dass statt bilateraler Verträge zwischen den Vereinigten Staaten und jedem EU-Staat ein einheitliches EU-US-Rahmenabkommen notwendig sei. Denn Brüssel sei für alle Verhandlungen zuständig, die Visapolitik und Datenschutz betreffen – und das EBSP wird darunter verstanden.

Allerdings halten sich die USA im „Visa Waiver Program“ nicht an den Grundsatz der Gleichbehandlung, wie er in den EU-Verträgen niedergelegt ist: Noch immer dürfen Bürger*innen aus Bulgarien, Rumänien und Zypern nicht visafrei in die USA einreisen. Dass die Kommission die neuen US-Forderungen nicht an diesen offenen Visastreit knüpft, sorgt deshalb für Kritik. Käme es zu einem EU-US-Rahmenabkommen, wäre es für die drei Länder auch nicht anwendbar.

Die Kommission betont, das Abkommen müsse reziprok sein – also europäischen Grenzbehörden und Polizeien auch direkten Zugriff auf Polizeidaten in den USA gewähren. Es ist aber zweifelhaft, ob Washington hierzu bereit wäre. Zudem gibt es in den Vereinigten Staaten auch keine bundesweite Datenbank, wie sie etwa in Deutschland für Fingerabdrücke und Gesichtsbilder mit INPOL geführt wird. Dort sind derzeit durchsuchbare Fotos zu 5,4 Millionen Menschen gespeichert – auch zu denen will die US-Regierung Zugang.

Unbestimmte Kategorie: „Migrationskontexte“

Anfangs hieß es noch, die amerikanischen Behörden wollten vor allem auf Fingerabdrücke und Gesichtsbilder von Personen zugreifen, die aus einem VWP-Staat in die Vereinigten Staaten reisen oder dort Asyl beantragen. Offenbar soll das Abkommen nun deutlich weiter gehen: Laut den vorgeschlagenen Verhandlungsleitlinien der Kommission soll der Austausch auch Personen betreffen, die dort in „Grenz- und Migrationskontexten“ angetroffen werden.

Gerade diese dritte Kategorie ist besonders unbestimmt. Praktisch könnte darunter jede Person fallen, die in den Zuständigkeitsbereich des US-Heimatschutzministeriums gerät – sei es bei einer Kontrolle an der Grenze, bei Festnahmen im Inland oder in Abschiebeverfahren. Zwar soll das Abkommen Bedingungen vorsehen, die eine Abfrage auslösen müssen. Doch die Formulierungen lassen erheblichen Spielraum. Explizit ausschließen will die Kommission lediglich routinemäßige Massenabfragen von allen Reisenden.

Wir sind ein spendenfinanziertes Medium

Unterstütze auch Du unsere Arbeit mit einer Spende.

Für die Verarbeitung personenbezogener Daten gelten in der EU die Datenschutz-Grundverordnung sowie die Polizeirichtlinie. Für den polizeilichen Austausch mit den USA gibt es dazu ein Rahmenabkommen, das im Fall der EBSP aber nicht anwendbar ist: Es regelt nur die Zusammenarbeit für Strafverfolgungszwecke, nicht aber für Grenzbelange. Im neuen Rahmenabkommen sollen deshalb Kategorien, Zweckbindung und Schutzmechanismen detailliert festgelegt werden.

Für die konkrete Ausgestaltung des Rahmenabkommens könnten die einzelnen EU-Staaten dann aber zusätzliche bilaterale Vereinbarungen mit den USA schließen – etwa zur Festlegung technischer Abläufe für den Zugriff auf die jeweilige Polizeidatenbank oder zuständige Behörden.

Trump macht Druck

Die Forderung nach einer „Grenzpartnerschaft“ mit allen VWP-Staaten stammt noch aus der Zeit der Biden-Administration. Unter dem neuen Präsidenten Donald Trump erhält sie eine neue Dimension: Immer öfter gibt es Berichte, wie US-Einwanderungsbehörden mithilfe von Daten verschiedener Ämter oder der Polizei und Software von Palantir regelrecht Jagd auf Migrant*innen machen – selbst Reisende aus EU-Staaten werden davon nicht verschont. Mit dem direkten Zugriff auf Fingerabdrücke und Gesichtsbilder in Europa würde dieser Apparat über beträchtlich mehr Daten für seine Rasterfahndung zur Migrationsabwehr verfügen.

Viel Zeit für eine Mobilisierung gegen die vorgeschriebenen „Grenzpartnerschaften“ bleibt nicht: Deadline für den Abschluss einer bilateralen Vereinbarung zwischen den USA und dem jeweiligen VWP-Staat ist der 31. Dezember 2026. Ob die EU-Kommission das nun vorgeschlagene Verhandlungsmandat für ein Rahmenabkommen auch erhält, ist nicht ausgemacht. Nach der Sommerpause sollen die Regierungen der Mitgliedstaaten darüber abstimmen.

Source link

Datenschutz & Sicherheit

Windows: Zero-Day-Lücke bei der LNK-Anzeige

Die Zero-Day-Initiative (ZDI) von Trend Micro hat Informationen zu einer als hochriskant eingestuften Schwachstelle bei der Anzeige von Inhalten von LNK-Dateien veröffentlicht. Microsoft stuft die Lücke jedoch anders ein und plant keine Korrektur.

Es geht um ein Problem bei der Anzeige von Inhalten von Verknüpfungen, die in Windows von .lnk-Dateien dargestellt werden. Diese LNK-Dateien haben eine definierte Struktur, in der sich diverse weitere Informationen (Metadaten) einbetten lassen. Laut Schwachstellenbeschreibung der ZDI können Angreifer missbrauchen, dass die Windows-Benutzeroberfläche zur Anzeige von LNK-Dateien – was offenbar eine Unterseite im Datei-Eigenschaftsdialog von Windows meint –, gefährliche Inhalte nicht anzeigt. Dazu müssen bösartige Akteure in einer LNK-Datei Daten manipulieren, wodurch Inhalte dann unsichtbar bleiben (CVE-2025-9491 / noch kein EUVD, CVSS 7.0, Risiko „hoch„).

„Die Schwachstelle ermöglicht Angreifern aus dem Netz, beliebigen Code auf betroffenen Installationen von Microsoft Windows auszuführen. Benutzerinteraktion ist für den Missbrauch erforderlich, diese müssen eine bösartige Seite besuchen oder eine bösartige Datei öffnen“, schlussfolgert die ZDI. Potenzielle Opfer sehen die schädlichen Inhalte aufgrund des Sicherheitslecks nicht und führen daher die bösartige LNK-Datei arglos aus.

Uneinigkeit zur Einordnung

Laut ZDI stellte Microsoft sich auf den Standpunkt, dass die Sicherheitslücke nicht den Schweregrad für eine Behandlung erreicht. Auch nach etwa einem halben Jahr hin und her änderte Microsoft seine Meinung dazu nicht. Schließlich hat ZDI die Meldung veröffentlicht und jetzt auch einen CVE-Schwachstelleneintrag dazu herausgegeben.

LNK-Dateien kommen bei Angriffen öfter zum Einsatz. Etwa zur Installation einer Backdoor in einer Qemu-Linux-Emulation, die an einer bösartigen E-Mail angehängt wurde. Auch Schwachstellen in der LNK-Verarbeitung gibt es bereits länger. Schon vor 15 Jahren haben Kriminelle eine LNK-Lücke in Windows attackiert.

(dmk)

Source link

Geschichten aus dem DSC-Beirat: Einreisebeschränkungen und Zugriffsschranken

Datenschutz & Sicherheitvor 3 Monaten

Geschichten aus dem DSC-Beirat: Einreisebeschränkungen und Zugriffsschranken

Der ultimative Guide für eine unvergessliche Customer Experience

UX/UI & Webdesignvor 1 Woche

Der ultimative Guide für eine unvergessliche Customer Experience

Metal Gear Solid Δ: Snake Eater: Ein Multiplayer-Modus für Fans von Versteckenspielen

Apps & Mobile Entwicklungvor 3 Monaten

Metal Gear Solid Δ: Snake Eater: Ein Multiplayer-Modus für Fans von Versteckenspielen

TikTok trackt CO₂ von Ads – und Mitarbeitende intern mit Ratings

Online Marketing & SEOvor 3 Monaten

TikTok trackt CO₂ von Ads – und Mitarbeitende intern mit Ratings

Relatable, relevant, viral? Wer heute auf Social Media zum Vorbild wird – und warum das für Marken (k)eine gute Nachricht ist

Social Mediavor 1 Woche

Relatable, relevant, viral? Wer heute auf Social Media zum Vorbild wird – und warum das für Marken (k)eine gute Nachricht ist

Posit stellt Positron vor: Neue IDE für Data Science mit Python und R

Entwicklung & Codevor 1 Woche

Posit stellt Positron vor: Neue IDE für Data Science mit Python und R

10.000 Euro Tickets? Kann man machen – aber nur mit diesem Trick

Digital Business & Startupsvor 2 Monaten

10.000 Euro Tickets? Kann man machen – aber nur mit diesem Trick

UX/UI & Webdesignvor 3 Monaten

Philip Bürli › PAGE online

Inspohub

Diese Behörden sollen die KI-Verordnung umsetzen

Die Bundesnetzagentur steht im Zentrum

Ministerium will Doppelstrukturen vermeiden

Aufsichtsmosaik neben der BNetzA

Neue Kammer, Stellen und Zentren

Zivilgesellschaft hofft auf breite Beteiligung

Referentenentwurf des Bundesministeriums für Digitales und Staatsmodernisierung

A. Problem und Ziel

B. Lösung

D. Haushaltsausgaben ohne Erfüllungsaufwand

E. Erfüllungsaufwand

E.1 Erfüllungsaufwand für Bürgerinnen und Bürger

E.3 Erfüllungsaufwand der Verwaltung

F. Weitere Kosten

Entwurf eines Gesetzes zur Durchführung der Verordnung (EU)

167/2013, (EU) Nr. 168/2013, (EU) 2018/858, (EU) 2018/1139 und (EU) 2019/2144 sowie der Richtlinien 2014/90/EU, (EU) 2016/797 und (EU) 2020/1828 (Verordnung über künstliche Intelligenz) (Gesetz zur Durchführung der KI-Verordnung)

Artikel 1

Anwendungsbereich

Marktüberwachungsbehörden

Notifizierende Behörden und Akkreditierung

Unabhängige KI-Marktüberwachungskammer

Koordinierungs- und Kompetenzzentrum für die Verordnung (EU) 2024/1689

Zentrale Anlaufstelle

Unterrichtung nach Artikel 79, 81 und 82 der Verordnung (EU) 2024/1689

Zentrale Beschwerdestelle

Zusammenarbeit der zuständigen Behörden

Zusammenarbeit der Marktüberwachungsbehörden mit der nach Artikel 52 Absatz 2 der Verordnung (EU) 2024/2847 benannten Behörde

Befugnisse der zuständigen Behörden; Einschränkung eines Grundrechts

Innovationsfördernde Maßnahmen

KI-Reallabore, Verordnungsermächtigung

Tests von Hochrisiko-KI-Systemen unter Realbedingungen

Anwendung der Vorschriften des Gesetzes über Ordnungswidrigkeiten

Aufbewahrungspflichten nach Artikel 18 Absatz 2 der Verordnung (EU) 2024/1689

Änderung des Hinweisgeberschutzgesetzes

Änderung des Ersten Buches Sozialgesetzbuch

Änderung des Finanzdienstleistungsaufsichtsgesetzes

Inkrafttreten

Begründung

I. Zielsetzung und Notwendigkeit der Regelungen

II. Wesentlicher Inhalt des Entwurfs

III. Exekutiver Fußabdruck

IV. Alternativen

V. Gesetzgebungskompetenz

VI. Vereinbarkeit mit dem Recht der Europäischen Union und völkerrechtlichen Verträgen

VII. Gesetzesfolgen

1. Rechts- und Verwaltungsvereinfachung

2. Nachhaltigkeitsaspekte

3. Haushaltsausgaben ohne Erfüllungsaufwand

4. Erfüllungsaufwand

5. Weitere Kosten

6. Weitere Gesetzesfolgen

VIII. Befristung; Evaluierung

Zu § 1 (Anwendungsbereich)

Zu Abschnitt 1 (Zuständige Behörden)

Zu § 2 (Marktüberwachungsbehörden)

Zu Absatz 1

Zu Absatz 2

Zu Absatz 3

Zu Absatz 4

Zu Absatz 5

Zu Absatz 6

Zu § 3 (Notifizierende Behörden und Akkreditierung)

Zu Absatz 1

Zu Absatz 2

Zu Absatz 3

Zu Absatz 4

Zu Absatz 5

Zu Absatz 6

Zu Absatz 1 und Absatz 2

Zu Absatz 3

Zu Absatz 4

Zu Absatz 5

Zu § 5 Koordinierungs- und Kompetenzzentrum für die Verordnung (EU) 2024/1689

Zu Satz 1

Zu Satz 2

Zu Nummer 1

Wir sind ein spendenfinanziertes Medium

Unterstütze auch Du unsere Arbeit mit einer Spende.

Zu Nummer 2