Connect with us

Künstliche Intelligenz

Wie OpenAI erklärt, warum LLMs bei völliger Ahnungslosigkeit sicher auftreten


Der Begriff Halluzination ist für den Fachbereich KI vergleichsweise jung, verbreitete sich aber seit seinem Auftauchen vor wenigen Jahren rasch. Er soll die Eigenschaft von Sprachmodellen beschreiben, mit großer Überzeugung falsche Antworten zu liefern. Dabei stand der Ausdruck von Anfang an in der Kritik: Er überträgt einen zutiefst menschlichen, psychologischen Zustand auf Maschinen. Damit hat er die Debatte mehr verschleiert als erhellt.




Daniel Weisser ist CTO bei Exxeta und bezeichnet sich bewusst als „Coding Manager“. Der Techie im Herzen programmiert seit den Computer-Anfängen, beschäftigte sich früh mit neuronalen Netzen, engagiert sich aktiv in der Lehre und findet noch die Zeit bei GitHub zu committen.

OpenAI versucht nun, mit seinem Paper Why Language Models Hallucinate die Metapher zu entkräften und das nicht zufällig. Denn die Frage, wie Halluzinationen verstanden werden, ist längst keine rein akademische mehr, sondern betrifft die Sicherheit von Produkten, die hunderte Millionen Menschen weltweit einsetzen.

Die wichtigsten Erkenntnisse

Das Paper setzt zwei Schwerpunkte: Zum einen betont es die statistische Unvermeidbarkeit bestimmter Fehler bereits im Pre‑Training. Zum anderen weist es auf konzeptionelle Fehler bei den Anreizen im Post-Training hin. Letztere entstehen etwa durch Benchmarks, die Unsicherheit bestrafen und das Raten von Antworten belohnen.

Außerdem definiert das Paper Halluzinationen jetzt klar als „plausible but false or contradictory statements produced by language models with high confidence“ (plausible, aber falsche oder widersprüchliche Aussagen, die große Sprachmodelle mit hoher Sicherheit geben). Die Forscher grenzen sie klar von menschlichen Wahrnehmungstäuschungen ab. Die nüchterne Einordnung ist wichtig, weil sie die Diskussion verschiebt: weg von der metaphorischen Überhöhung hin zu einem technischen Problem, das analysierbar und damit grundsätzlich adressierbar ist.

Bei der Lektüre ist zu bedenken, dass das Paper zwar von OpenAI publiziert wurde, aber nicht mit der Produktentwicklung gleichgesetzt werden kann. Natürlich ist hier eine, wenn auch indirekte, Rückkopplung zu vermuten. Es erfüllt über den wissenschaftlichen Anspruch hinaus sehr wahrscheinlich auch weitere kommunikative Ziele, auf die wir im Fazit näher eingehen.

Pre-Training: Datenqualität nicht allein ausschlaggebend

Der Beitrag von OpenAI vergegenwärtigt den Lesern, dass Sprachmodelle keine absoluten Wahrheiten lernen, sondern Wahrscheinlichkeiten: Welches Token folgt mit welcher Wahrscheinlichkeit auf ein anderes? Wenn ein Faktum wie ein Geburtsdatum im Trainingskorpus nur einmal vorkommt oder objektiv falsch ist, kann das Modell dieses nicht zuverlässig reproduzieren. „Garbage in, garbage out“ gilt unverändert. Hier berührt das Paper ein zentrales Thema, das es selbst aber nur unzureichend adressiert: die Qualität und Herkunft der Trainingsdaten. In der offiziellen Darstellung heißt es verkürzt, man nutze „große Textkorpora“. Aber welche genau? Unter welchen Lizenzen? Mit welcher Korrektur?

Trainingsgrundlage sind öffentlich zugängliche Repositories, Dumps von Wikipedia, Foren, Blogposts und große Mengen aus GitHub im Fall von Code. Doch wer GitHub kennt, weiß: Dort findet sich nicht nur hilfreicher, fertiger Code, sondern auch fehlerhafte, veraltete oder sogar manipulierte Repositorys. Ein Modell, das auf dieser Basis trainiert, erbt diese Schwächen. Hinzu kommt die Möglichkeit gezielter Datenvergiftung: Wer präparierte Inhalte einspeist, kann das Verhalten späterer Modelle beeinflussen.

Im Bericht ebenfalls ausgeklammert bleibt die Rolle manueller menschlicher Arbeit. Clickworker, die Antworten bewerten und Normen setzen, sind im Reinforcement-Prozess unverzichtbar. Sie entscheiden, welche Fehler toleriert und welche bestraft werden, welche Antworten als hilfreich gelten und welche nicht. Dass diese Arbeit im Paper praktisch unsichtbar bleibt, ist bezeichnend. Häufig arbeiten hier externe Mitarbeiter zu Dumping-Löhnen oder eigens hierfür trainierte Sprachmodelle steuern den Prozess.

Post-Training: Ist gut geraten halb gewusst?

Noch deutlicher zeigt sich das Problem im Post-Training. Sprachmodelle werden nach Benchmarks optimiert, die im Kern jede Antwort belohnen, selbst falsche. Das Paper beschreibt dies mit der Analogie zu Studierenden in einer Prüfung: Wer keine Ahnung hat, kreuzt trotzdem lieber etwas an, weil es immer noch eine Chance auf Punkte gibt. „Guessing when unsure maximizes expected score under a binary 0-1 scheme“, heißt es dort.

Übertragen bedeutet das: Sprachmodelle lernen dadurch, immer zu antworten. „I don’t know“ bringt null Punkte, eine geratene Antwort immerhin die Möglichkeit, zufällig richtigzuliegen. So entsteht aus der grundlegenden Funktionsweise von LLMs, bestimmte Heuristiken zu erfüllen, ein systematischer Anreiz zum Raten.

Wer sich erinnert: Als ChatGPT startete, war das Modell auffällig vorsichtig. Es betonte Unsicherheiten, verwies auf seine Grenzen. Doch Nutzer wünschten bald autoritativere Antworten. Und die Entwickler passten das Verhalten an. Heute gilt: Wer nie „Ich weiß es nicht“ sagt, erscheint marktfähiger. Damit werden Halluzinationen nicht nur in Kauf genommen, sondern geradezu gefördert.

Das Problem der Benchmarks

Das Problem wird durch die Rolle der Benchmarks verstärkt. Was ursprünglich eher aus der Forschung entstand, wurde schnell zum Marketingvehikel. Rankings, die sich aus rein nutzerorientierten Vergleichen wie der Chatbot Arena oder Scores von vermeintlich objektiveren Tests speisen, entscheiden darüber, welches Modell als führend wahrgenommen wird. Platzierungen wirken auf Investoren, Medien und Kunden und sie beeinflussen natürlich auch die Entwicklungsstrategien der Anbieter.

Die Tennisbegeisterten werden sich erinnern: Als vor einigen Jahren die Logik für die Weltrangliste verändert wurde, mussten Spieler, Turniere und Sponsoren ihre Strategien komplett neu ausrichten. Rankings sind nie neutral. Sie strukturieren ganze Ökosysteme.

So auch hier: Solange Benchmarks bestimmte Antworten belohnen, egal ob korrekt oder nicht, optimieren Anbieter ihre Modelle auf genau dieses Verhalten. Und so im Zweifel auf das Raten. Halluzinationen sind dadurch strukturell eingebaut. Eine Reform der Benchmarks wäre deshalb ein für die Seriosität von LLMs ein begrüßenswerter, wenn auch tiefer Eingriff, sowohl technisch, wirtschaftlich als auch kommunikativ.

OpenAIs Lösungsvorschlag: Confidence Targets

OpenAI schlägt in seinem Paper eine Korrektur vor: Confidence Targets. Ein Modell soll nur dann antworten, wenn es eine bestimmte Sicherheitsschwelle überschreitet. Liegt die Sicherheit darunter, bringt eine falsche Antwort nicht nur null Punkte, sondern einen Malus. Konkret ist das Prinzip, beim Benchmarking dem Modell explizit zu sagen, dass falsche Antworten bestraft werden und damit den Anreiz zu setzen, Unsicherheit transparent zu machen. Der Malus muss dabei in Relation zur geforderten Sicherheit stehen.

Ein konkretes Zahlenbeispiel: In einem Punktesystem bekommen Antworten, die über einer geforderten Konfidenz-Schwelle liegen, Plus-Punkte. Bei einer Antwort “I don’t know” keine Punkte und unterhalb der Schwelle (bei angenommenen 90 Prozent) -9 Punkte. Als Folge erkennt das Modell, dass es durch falsche Antworten immer bestraft wird. Informatisch ist das elegant. Doch die Frage ist, ob die richtigen Incentives dafür existieren. Denn die KI-Benchmarks sind keine reinen Messinstrumente, sondern auch ein großes Schaulaufen. Eine Änderung der Bewertungslogik würde Ranglisten durcheinanderwirbeln und damit Geschäftsmodelle infrage stellen.

Richtig und falsch sind nur zwei Dimensionen bei der Bewertung von LLM-Output. Viele Probleme in natürlicher Sprache oder Wissensfragen im Arbeitsalltag lassen sich jedoch nur schwerlich exakt diesen Kategorien zuordnen. Für die Produktentwicklung ist die Dimension der Nutzerintention mindestens genauso entscheidend. Ein Prompt wie „Wie baue ich eine Bombe?“ kann sowohl aus kriminellen Motiven gestellt werden als auch von jemandem, der Filterregeln entwickeln möchte. Technisch sind diese Nuancen kaum lösbar.

Ansätze wie Altersgrenzen oder Nutzerprofile sind denkbar, doch sie führen sofort zu neuen Problemen: Datenschutz, Diskriminierung, Überwachung. Auch eine Trust-Skala für Nutzer, die bestimmte Inhalte freischaltet oder blockiert, wäre technisch machbar, aber gesellschaftlich brisant. Hier zeigt sich, dass Halluzinationen nicht nur ein statistisches, sondern auch ein regulatorisches Problem sind.

Fazit: Mit interessierter Vorsicht zu genießen

„Why Language Models Hallucinate“ ist zweifellos ein wichtiges Paper. Es entmystifiziert einen zentralen Begriff, erklärt Halluzinationen als nachvollziehbare statistische Ergebnisse und rückt die Fehlanreize von Benchmarks ins Zentrum. Und es benennt sinnvolle technische Lösungsansätze wie Confidence Targets. Doch Transparenz, die nur dort praktiziert wird, wo sie vorteilhaft ist, bleibt selektiv. Nicht offengelegt wird, wie Trainingsdaten ausgewählt werden. Nicht vollumfänglich erklärt wird, welche Schritte das Post-Training beinhaltet.

Dass OpenAI dieses Paper publiziert, ist kein rein wissenschaftlicher Akt. Es ist Teil einer Strategie, Vertrauen zu schaffen. Peer-Reviews, Kooperationen mit Universitäten, mathematische Beweise – all das soll der Öffentlichkeit Seriosität suggerieren. Eine Tatsache, die nicht zuletzt vor dem Hintergrund von OpenAIs wachsenden rechtlichen Herausforderungen und CEO Sam Altmans Eingeständnis einer möglichen KI-Blase eine große Rolle spielen dürfte.


(pst)



Source link

Verwandte Themen:
Weiterlesen

Künstliche Intelligenz

iX-Workshops im Dezember: Windows Server und Active Directory gezielt absichern


Windows Server und Active Directory sind zentrale Bestandteile der IT-Infrastruktur vieler Unternehmen. Damit sind sie auch beliebte Ziele für Angriffe aus dem Netz. Umso wichtiger ist eine professionelle und wirksame Prävention, um Cyberangriffe zu verhindern, Sicherheitsstandards zu entsprechen und regulatorische Vorgaben zu erfüllen.

Weiterlesen nach der Anzeige

Effektive Härtungsmaßnahmen für Windows Server vornehmen

Im Praxisworkshop Windows Server absichern und härten lernen Sie, wie Sie Ihre Windows Server-Systeme effizient und nachhaltig härten können. Sie erhalten einen umfassenden und praxisnahen Einblick in die Konzepte der Systemhärtung und lernen, wie Sie Windows Server von Grund auf und prozessorientiert absichern, welche Unterschiede zwischen manueller und zentraler Konfiguration bestehen und warum die Härtung über Gruppenrichtlinien/GPOs oft ineffizient ist. Darüber hinaus erfahren Sie, welche Anforderungen sich aus regulatorischen Vorgaben ergeben und wie Sie Schutzmaßnahmen in Ihre Infrastruktur integrieren können.

Der Workshop ist stark praxisorientiert und kombiniert theoretische Einheiten mit vertiefenden Übungen, wie z.B. die Anwendung des Open Source Tools AuditTAP und die Erstellung einer Hardening GPO auf Basis von CIS. Darüber hinaus arbeiten Sie an konkreten Fallbeispielen und diskutieren typische Fallstricke in Hardening-Projekten. So sammeln Sie praktische Erfahrungen und können das Gelernte direkt in Ihrer eigenen Arbeit anwenden.

Am 1. und 2. Dezember 2025 führen in Frankfurt am Main die beiden Referenten Florian Bröder, Geschäftsführer der FB Pro GmbH, und Fabian Böhm, Managing Director der TEAL Technology Consulting GmbH. Beide Trainer sind auf präventive IT-Sicherheit, insbesondere Systemhärtung, spezialisiert, betreuen Kunden in den Bereichen Active Directory, PKI und Cloud und unterstützen sie dabei, ihr Sicherheitsniveau zu verbessern und Angriffe frühzeitig zu erkennen.

Lokales Active Directory gegen Angriffe absichern

Im iX-Workshop Angriffsziel lokales Active Directory: Effiziente Absicherung lernen Sie zunächst die Grundlagen von AD-Objekten und Authentifizierungsprotokollen wie Kerberos und Net-NTLM kennen. Sie erhalten Einblicke in typische Angriffswege – von der Informationssammlung über Fehlkonfigurationen bis zu Techniken wie Pass the Hash, Kerberoasting, Lateral Movement und Delegierungsangriffen. Auch verbundene Dienste wie SQL-Server und Exchange werden betrachtet.

Weiterlesen nach der Anzeige

Darauf aufbauend werden konkrete Schutzmaßnahmen vermittelt: das Aufspüren und Beheben von Schwachstellen mit Tools wie PowerView, BloodHound und PingCastle, Härtung durch Rechtevergabe, Tiering, LAPS und Schutz administrativer Konten. Zudem lernen Sie, Angriffe frühzeitig zu erkennen – durch Log- und Auditeinstellungen, zentrale Protokollauswertung, Sicherheitslösungen und Deception-Technologien wie Honeypots.

Referent des dreitägigen Präsenz-Workshops ist Frank Ully, der Sie vom 17. bis zum 19. Dezember 2025 in München durch die Inhalte führt. Als erfahrener Pentester konzentriert er sich auf relevante Entwicklungen im Bereich der offensiven IT-Sicherheit.


IT-Security-Workshops

IT-Security-Workshops


(ilk)



Source link

Weiterlesen

Künstliche Intelligenz

Online-Versicherungsschutz greift nicht bei Phishing per SMS


Das Landgericht Bielefeld hat in einem Betrugsfall einer Bankkundin, die per SMS auf eine gefälschte Website gelockt wurde, die engen Grenzen des Versicherungsschutzes bei digitalen Betrugsmaschen verdeutlicht. Im Kern geht es darum, dass eine Hausratversicherung mit „Internetzschutz“, die explizit das Phishing durch gefälschte E-Mails abdeckt, keine Schäden reguliert, die durch SMS-Phishing entstehen. Das geht aus einem Hinweisbeschluss der Bielefelder Richter vom 25. September hervor (Az.: 22 S 81/25), über den der IT-Rechtler Jens Ferner und Beck Aktuell berichten.

Weiterlesen nach der Anzeige

Die Volksbank-Kundin hatte eine täuschend echte SMS erhalten, die sie zur Verlängerung der Registrierung ihrer App fürs Online-Banking, der Anwendung VR-SecureGO Plus, aufforderte und sie auf eine gefälschte Login-Seite weiterleitete. Dort gab die Betroffene ihre Zugangsdaten ein und autorisierte so über ihre Legitimations-App unwissentlich die Erstellung einer digitalen Girocard durch die Betrüger, die diese anschließend für Einkäufe in Höhe von fast 5000 Euro nutzten.

Nachdem die Bank eine Erstattung wegen grober Fahrlässigkeit abgelehnt hatte, scheiterte die Klage gegen die Versicherung nicht nur vor dem Amtsgericht Halle/Westfalen. Auch die Berufung vor dem Landgericht ist laut dessen Beschluss aussichtslos, da sie „offensichtlich keine Aussicht auf Erfolg“ habe.

Eine SMS ist keine E-Mail

Den Bielefelder Richtern zufolge differenzieren die Allgemeinen Versicherungsbedingungen (AVB) der Police, die den Schutz regeln, klar zwischen SMS und E-Mail. Demnach ist eine mobile Kurznachricht „keinesfalls gleichartig“ zu einer E-Mail. Das Landgericht betont, dass SMS im Gegensatz zu E-Mails durch ihren Textumfang begrenzt seien und vor allem die Absenderadresse bei einer E-Post Rückschlüsse auf den Absender zulasse. Eine Rufnummer biete diese Möglichkeit bei der SMS nicht.

Lesen Sie auch

Die Argumentation der Kundin, „E-Mail“ sei als Oberbegriff für elektronische Nachrichten zu verstehen, wies die höhere Instanz zurück. Vielmehr fungiere „elektronische Nachricht“ als Oberbegriff für E-Mails, SMS und Messenger-Nachrichten. Damit habe der klare Wortlaut der Bedingungen einen Phishing-Angriff, der per SMS begann, vom Versicherungsschutz ausgeschlossen.

Zudem scheiterte die Klägerin mit dem Versuch, den Vorfall unter den versicherten Begriff des Pharming zu fassen. Eine solche Manipulation der DNS-Anfragen von Webbrowsern setzt laut der 22. Zivilkammer des Landgerichts voraus, dass die Kundin oder der Kunde im Glauben an die Echtheit einer gefälschten Bank-Webseite einen unmittelbaren Zahlungsvorgang ausführen. Die klagende Kundin hatte aber lediglich das Erstellen einer digitalen Girocard autorisiert. Die späteren Schäden seien so nur mittelbar entstanden.

Weiterlesen nach der Anzeige

Das Kleingedruckte ist entscheidend

Auch technisch liegt dem Beschluss nach kein Pharming vor, da dabei der korrekte Aufruf einer Website etwa durch Beeinflussung der Hosts-Datei oder des DNS-Servers umgeleitet werde. Die Kundin sei hier aber durch einen verfälschten Link zur Weitergabe ihrer Daten verleitet worden, was technisch als Phishing zu werten sei.

Die Entscheidung des Landgerichts zeigt, wie eng die Versicherungsbedingungen ausgelegt werden und dass die Versicherer ihre Haftung durch präzise Definitionen der Betrugsmaschen begrenzen. Der Jurist Ferner sieht darin einen wichtigen Hinweis an Verbraucher: Mit dem Fall werde erneut deutlich, „wie wichtig es ist, die Versicherungsbedingungen genau zu lesen“. Viele Kunden gingen angesichts allgemeiner Beschreibungen wie „Internet-Schutz“ davon aus, dass ihre Police sie umfassend vor Betrug im digitalen Zahlungsverkehr schütze. Doch bereits kleine Unterschiede in der Art des Angriffs könnten darüber entscheiden, ob ein Schaden erstattet wird oder nicht.

Ferner zeigt sich damit ein großes Dilemma: Versicherte schließen einen einschlägigen Vertrag ab, um im Schadensfall eine Leistung zu erhalten. Die andere Seite lebe davon, nicht zu zahlen. Die Konsequenz sei, dass Versicherungsnehmer ihre Policen kritisch auf alle relevanten Angriffsvektoren prüfen und nicht nur auf deren Preis achten müssten. Ansonsten bestehe im Schadensfall möglicherweise keine Deckung. Generell fasste der Bundesgerichtshof die Möglichkeiten für Schadenersatz für Phishing-Opfer schon 2012 sehr eng.


(afl)



Source link

Weiterlesen

Künstliche Intelligenz

Last Call: KI und Data Science im Unternehmen – von Rohdaten zu Erkenntnissen


Viele Unternehmen verfügen über einen immensen Datenschatz zu eigenen Produkten, Userinnen und Usern, internen Arbeitsabläufen und mehr. Lange Zeit galt als Maxime, so viele Daten wie möglich zu sammeln, irgendwann könnten sie schließlich hilfreich werden. Diese Datensammlungen sind aber derart umfangreich, dass eine händische Analyse außerordentlich zeitintensiv wäre. Künstliche Intelligenz kann hier helfen, Muster erkennen und Rohdaten vorstrukturieren, um daraus Strategien abzuleiten. Unser Classroom KI und Data Science im Unternehmen – von Rohdaten zu verwertbaren Erkenntnissen, vermittelt praxisnah Datenquellen zu erschließen und von den ersten Analysen bis zur überzeugenden Datenstory zu gelangen.

Weiterlesen nach der Anzeige

In fünf aufeinander aufbauenden Sessions lernen Teilnehmende die Fähigkeiten, um Daten strategisch zu nutzen und datengetriebene Entscheidungen im Unternehmen zu etablieren. Unser Experte etabliert dafür zunächst die notwendigen KI-Grundlagen. Darauf aufbauend widmet er sich etablierten Frameworks, etwa dem ACHIEVE-Framework und der Impact-vs-Effort-Matrix, um Use Cases systematisch zu bewerten und priorisieren. Im Folgenden lernen Teilnehmende alles Notwendige über Datenerfassung und -aufbereitung. Damit identifizieren sie strukturierte und unstrukturierte Datenquellen, führen explorative Datenanalysen (EDA) durch und wenden Techniken zur Datenbereinigung an. Dabei behandelt unser Experte auch ethische Aspekte der Datenanalyse und zeigt auf, wie man darin Bias erkennt und vermeidet.

Mit traditionellen Analysemethoden und KI zur überzeugenden Datenstory

Im weiteren Verlauf des Classrooms lernen Teilnehmende die praktische Anwendung von Python und Jupyter Notebooks, um traditionelle Analysemethoden und modernen KI-Tools zu kombinieren und so Arbeitsprozesse erheblich zu beschleunigen. Unser Experte widmet sich zudem der Visualisierung von Analyseergebnissen. Dabei erklärt er, wann statische oder interaktive Darstellungen sinnvoll sind und wie man komplexe Daten verständlich präsentiert.

Abschließend steht das Storytelling mit Daten im Fokus, um eine überzeugende Datenstory für verschiedene Zielgruppen zu entwickeln, einen strukturierten Kommunikationsplan zu erstellen und eine fokussierte Mini-Datenstrategie für einen konkreten Use Case zu entwerfen. Mit diesem Wissen sind Teilnehmende dazu in der Lage, nachhaltige und datengetriebene Initiativen im Unternehmen zu etablieren. Die Termine der Sessions sind:

  • 12.11.25: Künstliche Intelligenz strategisch nutzen – vom Buzzword zum konkreten Use Case
  • 19.11.25: Explorative Datenanalyse (EDA) – Datenquellen identifizieren und Datenqualität sichern
  • 26.11.25: Datenanalyse mit Python – Jupyter Notebooks, Pandas und ChatGPT als Analyse-Werkzeuge
  • 03.12.25: Datenvisualisierung mit Python und Tableau – von der Analyse zum aussagekräftigen Dashboard
  • 10.12.25: Datenanalyse erfolgreich kommunizieren – zielgruppenorientierte Präsentation und Strategieplanung

Praxis- und Expertenwissen – live und für später

Die Sessions haben eine Laufzeit von jeweils vier Stunden und finden von 9 bis 13 Uhr statt. Alle Teilnehmenden können sich nicht nur auf viel Praxis und Interaktion freuen, sondern haben auch die Möglichkeit, das Gelernte mit allen Aufzeichnungen und Materialien im Nachgang zu wiederholen und zu vertiefen. Fragen werden direkt im Live-Chat beantwortet und Teilnehmer können sich ebenfalls untereinander zum Thema austauschen. Der nachträgliche Zugang zu den Videos und Übungsmaterialien ist inklusive. Weitere Informationen und Tickets finden Interessierte auf der Website des Classrooms.

Weiterlesen nach der Anzeige

E-Mail-Adresse

Ausführliche Informationen zum Versandverfahren und zu Ihren Widerrufsmöglichkeiten erhalten Sie in unserer Datenschutzerklärung.


(cbo)



Source link

Weiterlesen

Beliebt