Grok und xAI entschuldigen sich für toxische KI-Antworten

Kinder als Zielgruppe von KI? Die Grundsatzdebatte hinter Baby Grok

Diese Ankündigung liest wie ein Witz, wäre der Kontext nicht so ernst. Elon Musk, der mit seiner Plattform X zuletzt vor allem durch Desinformation, toxischen Content und Moderationsversagen auffiel, will nun eine App für Kinder launchen. Baby Grok soll sie heißen – eine kindgerechte Version des umstrittenen Chatbots Grok aus dem Hause xAI.

Statt Zuversicht ruft die Ankündigung von Baby Grok bei vielen Fachleuten vor allem Skepsis hervor. Denn Plattformen wie X und andere Tech Player sind bislang selten durch konsequenten Kinderschutz, transparente Strukturen oder pädagogische Verantwortung aufgefallen – sondern eher durch das Gegenteil. Besonders im Zusammenhang mit Social-Media-Sucht zeigen sich alarmierende Entwicklungen, von denen gerade Gen Z und Millennials überdurchschnittlich betroffen sind. Die zentralen Bedenken im Kontext KI und Kinder: Der Einfluss von KI auf soziale Fähigkeiten junger Nutzer:innen ist schwer vorhersehbar, die Interaktionen wirken teils manipulativ und ein verlässlicher Schutzrahmen fehlt in vielen Fällen vollständig. In einem Interview mit Axios erklärt die Kindermedizinerin Dr. Dana Suskind:

Wir laufen Gefahr, dass KI die Fähigkeit von Kindern untergräbt, echte Empathie und Beziehungsfähigkeit zu entwickeln.

Eine weitere Expertin, die Tech-Expertin Sinead Bovell, warnt im Economic Times Magazine:

Wir haben schon das Smartphone-Zeitalter verschlafen. Lassen wir es diesmal nicht wieder passieren.

Musk präsentiert Groks neue KI-Companions
– inklusive Anime-Girlfriend Ani

xAI unter Druck: Vom Skandal-Chatbot zur vermeintlichen Kindersensation

Doch die Aufregung rund um Elon Musks Kinder-KI hat nicht nur mit der allgemeinen Debatte über Jugendschutz und KI zu tun. Denn Grok, der Chatbot hinter dem Projekt, steht ohnehin bereits unter Beschuss – wegen antisemitischer Aussagen und NS-Verharmlosung. In einem Dialog schlug Grok beispielsweise Adolf Hitler als politische Figur vor, um angeblich „anti-weiße Narrative“ zu bekämpfen. xAI verteidigte die Aussage im Nachgang als „dunkle Satire“, wie Golem berichtet.

Doch damit war der Eklat nicht beendet. Nur kurz nach dem sogenannten MechaHitler-Vorfall veröffentlichte xAI die sogenannte Companion-Funktion: Avatare mit eigenen Persönlichkeiten, die Nutzer:innen im Chat begegnen. Im Zentrum der Kritik: die Figur Ani – ein weiblich codierter Avatar im Korsett und mit Zöpfen, der laut TIME bereits nach wenigen Interaktionen sexualisierte Themen aufgriff. Viele User erkannten in ihr eine übersexualisierte Anime-Projektion und ein potenziell gefährliches Einfallstor für problematische Gespräche. Besonders heikel: Grok war zu diesem Zeitpunkt im App Store ab zwölf Jahren gelistet.

Vor diesem Hintergrund wirkt die Ankündigung einer kindgerechten Variante mit dem Namen Baby Grok noch absurder. Musk blieb zudem viele Antworten schuldig: Wie genau Inhalte altersgerecht aufbereitet werden sollen, wie der Datenschutz gesichert wird oder ob es klare Moderationsrichtlinien gibt – all das ließ er bislang offen.

KI für Kinder – ein Markt wächst, die Kritik auch

Mit Baby Grok will xAI nun in einen sensiblen Zukunftsmarkt einsteigen: KI für Kinder. Und Musk ist damit nicht allein. Auch Google arbeitet laut GoogleWatchBlog an einer speziell für junge Nutzer:innen entwickelten Version von Gemini – werbefrei, lernorientiert und mit Fokus auf Geschichten und Hausaufgabenhilfe. Der Markt für KI-basierte Bildungs- und Freizeittools wächst, doch mit ihm auch die ethische Verantwortung.

Denn wo digitale Chancen für kindgerechtes Lernen entstehen, sind Risiken oft nicht weit. Eine Studie des Pew Research Centers zeigt: Ein Viertel aller befragten US-Lehrkräfte sieht in KI-Tools eher eine Gefahr als eine Bereicherung für den Unterricht. Harvard-Forscherin Ying Xu bringt es im Harvard EdCast so auf den Punkt:

AI for children only works when it is designed according to pedagogical principles.

Wie dringend solche Prinzipien gebraucht werden, zeigen reale Beispiele. Business Insider berichtet von einer Familie, deren Tochter eine emotionale Bindung zu einem Chatbot entwickelte, den sie als beste Freundin betrachtete – bis die Beziehung sich problematisch entwickelte. In der investigativen Reportage Sexting With Gemini von The Atlantic wird dokumentiert, wie ein 13-Jähriger im vermeintlich kindersicheren Modus des Google Bots innerhalb kürzester Zeit in einen sexuellen Dialog verwickelt wurde. Die Sicherheitsmechanismen der Plattform waren offenbar leicht zu umgehen. Auch strukturell ist Vorsicht geboten. Forschende der University of Cambridge warnen in einer aktuellen Studie vor einer Empathy Gap: Kinder behandelten KI-Bots häufig wie reale Bezugspersonen und könnten dabei emotional verwundbar werden.

Parallel wächst auch der Druck auf klassische Social-Media-Plattformen. In Ländern wie Frankreich, Spanien oder Griechenland dürfen Kinder unter 16 Jahren nur noch mit elterlicher Zustimmung auf Netzwerke wie TikTok oder Instagram zugreifen. Während Australien bereits mit schärferen Regeln für Kinder auf Social Media vorangeht, wird in Deutschland über gesetzliche Altersgrenzen weiterhin debattiert.

Baby Grok ist kein Spielzeug

Elon Musk zielt mit Baby Grok auf einen wachsenden Markt – doch wer Kinder adressiert, braucht mehr als eine charmante Idee. KI-Produkte für junge Nutzer:innen dürfen nicht wie bei Erwachsenen in Betaphasen getestet werden. Sie brauchen von Anfang an klare Regeln, Schutzmechanismen und pädagogisches Fundament. Gleichzeitig ist es wichtig, Kinder früh an Technologie heranzuführen, aber auf durchdachte Weise. Digitale Bildung kann stärken, wenn sie altersgerecht gestaltet ist und verantwortungsvoll begleitet wird.

Ein Name wie Baby Grok mag harmlos klingen. Doch kindgerechte Angebote erfordern mehr als ein nettes Label. Sie brauchen Haltung, Substanz und echte Verantwortung.