Entwicklung & Code
Nachruf: Abschied von robots.txt (1994-2025)

Henning Fries ist UI/UX-Engineer mit Leidenschaft für nachhaltiges Webdesign, digitale Barrierefreiheit und die Psychologie guter Nutzererlebnisse.
Seit über fünfzehn Jahren arbeitet er als Designer, Entwickler und Berater an der Schnittstelle von Mensch, Technologie und Gestaltung – in Deutschland, Frankreich und Luxemburg.
Als Full-Stack-Entwickler mit Designfokus und Green-Frontend-Enthusiast verbindet er technisches Know-how mit einem klaren Bewusstsein für Ressourcenschonung und User Experience. Sein Ziel: digitale Produkte, die sinnvoll, zugänglich und menschlich sind.
Mit tiefer Trauer geben wir das Ende von robots.txt bekannt, der bescheidenen Textdatei, die dreißig Jahre lang als stille Wächterin der digitalen Höflichkeit diente. Geboren am 1. Februar 1994 aus der Not heraus, als Martijn Kosters Server unter einem fehlerhaften Crawler namens „Websnarf“ zusammenbrach, verstarb robots.txt im Juli 2025, nicht durch Cloudflares Hand, sondern an den Folgen systematischer Missachtung durch KI-Konzerne. Cloudflares Entscheidung, KI-Crawler standardmäßig zu blockieren, markierte lediglich den Moment, in dem auch der letzte große Infrastruktur-Anbieter das Vertrauen in freiwillige Compliance aufgab und zu technischer Durchsetzung überging – ein letzter Akt der Verzweiflung, der das Ende einer Ära markierte. Wie bei allen bedeutsamen Verlusten brauchte es Zeit, bis das volle Ausmaß dieser digitalen Tragödie begriffen wurde.
Weiterlesen nach der Anzeige
Ein Leben der stillen Dienste
robots.txt wurde in einer Zeit geboren, in der das Internet einer kleinen, beschaulichen Nachbarschaft glich – überschaubar, persönlich und geprägt von gegenseitigem Vertrauen. Man kannte die Bots, die vorbeikamen, und pflegte den digitalen Umgang miteinander. robots.txt, geborene „RobotsNotWanted.txt“, war nie darauf ausgelegt, komplexe rechtliche Schlachten zu führen oder Milliardenunternehmen zu konfrontieren – sie war einfach ein höflicher, aber dennoch bestimmter Hinweis: „Bitte nicht hier entlang.“
In ihren goldenen Jahren lebte robots.txt in perfekter Harmonie mit den großen Suchmaschinen. Google respektierte sie, Yahoo ehrte sie, und selbst AltaVista – ruhe in Frieden – und Lycos folgten ihren Anweisungen. Es war ein Geben und Nehmen. Es war eine Freundschaft auf Augenhöhe, geprägt von einer einfachen Wahrheit: Suchmaschinen erhielten Content zur Indexierung, während Websites im Gegenzug Traffic bekamen. Dieses Crawl-zu-Referral-Verhältnis – also das Verhältnis zwischen Bot-Zugriffen und zurückgeleiteten Nutzern – lag bei Google bei einem fairen 14:1. Pro 14 von Bots aufgerufenen Seiten fand im Schnitt ein Nutzer den Weg zurück zur Website. Heute ist dieser Kontrakt gebrochen: KI-Crawler generieren Tausende oder Millionen von Zugriffen, während kaum Traffic durch Links oder Erwähnungen zurückkommt.
„Anthropics ClaudeBot zeigte im Juni 2025 das mit Abstand höchste Crawl‑zu‑Referral‑Verhältnis – etwa 70.900 Crawls pro einem Referral, weit mehr als jeder andere KI‑Crawler.“ (Cloudflare (Juli 2025))
robots.txt war so grundlegend für das Funktionieren des Internets, dass man ihr 2022 mit RFC 9309 endlich formell Anerkennung zollte. Doch selbst dieser späte Ritterschlag konnte ihr Schicksal nicht aufhalten.
Chronik eines schleichenden Endes
Weiterlesen nach der Anzeige
Die ersten Anzeichen des Wandels zeigten sich 2017, als das Internet Archive ankündigte, robots.txt bei der Archivierung historischer Inhalte nicht länger zu berücksichtigen. Am 17. April 2017 erklärte Mark Graham (Direktor der Wayback Machine), dass robots.txt-Dateien – insbesondere solche, die für Suchmaschinen gedacht sind – nicht immer mit den Archivierungszielen übereinstimmen. Das Internet Archive verfolge das Ziel, möglichst vollständige Schnappschüsse des Webs zu bewahren, einschließlich doppelter oder großer Inhalte.
„Over time we have observed that the robots.txt files that are geared toward search engine crawlers do not necessarily serve our archival purposes.“ (Mark Graham)
Doch das war nur ein Vorgeschmack auf die fortschreitende, systematische Ausschöpfung, die jetzt folgen sollte. Mit dem Aufkommen der künstlichen Intelligenz verwandelte sich das Internet von einem kollaborativen Raum in eine Extraktionszone.
Doch statt des erhofften kollaborativen Miteinanders folgte systematische Ausbeutung. KI-Konzerne errichteten neue digitale Barrieren: Cloudflares Default-Blocking, Paywalls für API-Zugang und exklusive Lizenzdeals mit ausgewählten Publishern. Content-Ersteller sahen sich einer industriellen Extraktionsmaschine gegenüber, die ihre Arbeit ohne Gegenleistung verwertete. Das Internet, einst als offenes Netz für alle konzipiert, verwandelte sich in eine zentralisierte Datenmine für Tech-Giganten.
OpenAI führte den Angriff mit seinem GPTBot, ChatGPT-User und OAI-SearchBot an – eine Dreifaltigkeit der Verletzung, die robots.txt hilflos zusehen ließ, wie ihre Direktiven geflissentlich ignoriert wurden. Das Unternehmen behauptete öffentlich Compliance, während Cloudflare im Juni 2025 ein vernichtendes Crawl-to-Referral-Verhältnis von 1.700:1 dokumentierte – industrielle Extraktion ohne nennenswerte Gegenleistung.
Anthropic fügte dem Leiden weitere Qualen hinzu. ClaudeBot, anthropic-ai und Claude-Web hämmerten auf Server ein, wobei iFixit eine Million Besuche in 24 Stunden und Freelancer.com fast vier Millionen in vier Stunden erlebte. Mit einem Crawl-to-Referral-Verhältnis von 73.000:1 überschritt Anthropic alle Grenzen des Anstands — es war, als würde man einem Nachbarn die Haustürschlüssel anvertrauen, damit er die Blumen gießt – nur um festzustellen, dass er den gesamten Hausrat abtransportiert hat.
Perplexity AI gehörte zu den aggressivsten Akteuren: Es nutzte verdeckte (undisclosed) IP-Adressen und Drittdienste, um Crawling-Aktivitäten zu verschleiern. Als CEO Aravind Srinivas öffentlich erklärte, robots.txt sei kein rechtliches Framework, war das ein offener Affront gegen das jahrzehntealte fragile Protokoll.
Eine Textdatei im Schatten des letzten Gefechts
In ihren letzten Monaten kämpfte robots.txt verzweifelt um die Relevanz vergangener Zeiten. Website-Betreiber entwickelten immer raffiniertere Unterstützungssysteme: Crawler-Fingerprinting mit TLS-Analyse (Transport Layer Security), Honeypot-Fallen und Verhaltensanalyse. Doch es war, als versuchte man, eine akute Blutvergiftung mit fiebersenkenden Mitteln zu behandeln – technisch durchdacht, aber dem Ausmaß der Bedrohung nicht gewachsen.
Das European Data Protection Board versuchte mit der Opinion 28/2024 dem Protokoll rechtliche Verbindlichkeit zu geben, während Italiens Datenschutzbehörde Garante OpenAI mit einer Strafe von 15 Millionen Euro belegte. Doch es waren verzweifelte Wiederbelebungsversuche eines längst kollabierten Systems – der freiwillige Respekt war nicht mehr zu retten.
Alternative Protokolle – ai.txt, TDM ReP, „No-AI-Training“ HTTP-Header – wurden als potenzielle Nachfolger diskutiert. Aber sie alle trugen den Makel ihrer Geburt: Sie entstanden nicht aus Kooperation, sondern aus Konfrontation.
(Bild: jaboy/123rf.com)

Der Call for Proposals für die enterJS 2026 am 16. und 17. Juni in Mannheim ist gestartet. Bis zum 12. November suchen die Veranstalter nach Vorträgen und Workshops rund um JavaScript und TypeScript, Frameworks, Tools und Bibliotheken, Security, UX und mehr.
Entwicklung & Code
Sulu 3.0: CMS mit neuem Content-Speicher und klarerer Architektur
Sulu 3.0 ist erschienen. Mit dem Release vollzieht das quelloffene Content-Management-System (CMS) laut Blogbeitrag eine größere technische Umstrukturierung. Statt auf das bislang genutzte PHPCR‑Repository setzt das Projekt künftig vollständig auf Doctrine ORM und JSON‑Felder – eine Entscheidung, die nicht nur die Performance heben, sondern auch die Einstiegshürde für Symfony‑Entwickler senken soll. Nach Angaben des Teams kamen rund 150.000 Zeilen Code neu hinzu, mehr als 265.000 wurden entfernt.
Weiterlesen nach der Anzeige
Das Open-Source-CMS Sulu basiert auf dem PHP-Framework Symfony und dient als Headless‑ oder klassisches CMS für komplexe, mehrsprachige Webprojekte. Es richtet sich vor allem an Entwicklerinnen und Entwickler, die flexible Inhaltsmodelle mit vertrauten Symfony‑Werkzeugen umsetzen wollen. Für Symfony sind kürzlich die Versionen 7.4 und 8.0 erschienen.
Von PHPCR zu Doctrine ORM
Mit der Abkehr vom speicherintensiven PHPCR führt Sulu ein neues Modell zur Ablage von Inhalten ein: Seiten, Artikel oder Snippets werden jetzt als reguläre Doctrine‑Entitäten mit JSON‑Spalten verwaltet. Damit greifen Developer direkt auf bekannte Tools und SQL‑Abfragen zurück, statt eine eigene Query‑Sprache lernen zu müssen.
Das System nutzt sogenannte Dimensionen, um Sprach‑, Veröffentlichungs‑ und Versionszustände abzubilden. So lassen sich nicht übersetzbare Felder in mehreren Sprachvarianten weiterverwenden – ein Ansatz, der die vorherige, tiefer verschachtelte Struktur ersetzt und sich offenbar leichter debuggen lässt.
Bessere Performance und Vereinfachungen
Nach Angaben des Teams bringt der neue Speicheransatz spürbare Leistungsgewinne. Content‑Strukturen lassen sich nun direkt in der Datenbank nachvollziehen, während Konfigurationsdaten weiterhin als XML im Repository bleiben.
Weiterlesen nach der Anzeige
Auch das Update der PHP-Bibliothek Flysystem auf Version 3 soll zur Vereinfachung der Handhabung von Mediendateien beitragen. Diese können künftig über eine einheitliche Schnittstelle auf unterschiedlichen Backends abgelegt werden, beispielsweise auf Amazon S3, Microsoft Azure, WebDAV oder Dropbox.
Entfall der Elasticsearch‑Pflicht für Artikel
Neben der Speicherarchitektur wurde das Artikel‑Bundle neu geschrieben. Es lässt sich nun ohne die Suchmaschine und das Analytic-Tool Elasticsearch betreiben, wodurch kleineren Projekten die Installation eines separaten Suchdienstes erspart bleiben soll. Für große Installationen bleibt die Option durch ein ergänzendes Bundle erhalten, das Elasticsearch wieder einbindet.
Ebenfalls neu ist SEAL, der Search Engine Abstraction Layer. Er bündelt Anbindungen an Suchsysteme wie Loupe, Meilisearch, Solr oder Elasticsearch hinter einer gemeinsamen API. Standardmäßig kommt Loupe zum Einsatz – eine SQLite‑basierte, PHP‑interne Lösung, die für mittlere Datenmengen ausreichend schnell arbeitet.
Migration und Unterstützung
Sulu liefert ein eigenes Tool, um vorhandene PHPCR‑Daten zu konvertieren. Das Migration‑Bundle überführt Seiten, Artikel, Snippets und URLs in die neue Speicherstruktur und protokolliert detailliert, wo gegebenenfalls Nacharbeit nötig ist.
Wer die Umstellung nicht allein durchführen möchte, kann laut Entwicklerteam auf Community‑Hilfe via Slack und GitHub oder auf professionelle Unterstützung zurückgreifen. Weitere Informationen zur Hilfe sowie zum Release finden sich im Blogbeitrag.
Weiterer Fahrplan
Mit Version 3.0 endet die Pflege für Sulu 1.6, während Sulu 2.6 als LTS-Version (Long-term Support) erhalten bleibt. Die neue Architektur soll künftige Funktionen erleichtern und das CMS langfristig wartbarer machen. Näheres zum Release und zum CMS auch auf GitHub.
(mdo)
Entwicklung & Code
Drupal Canvas: Visueller Page Builder für Drupal veröffentlicht
Drupal hat mit Canvas einen visuellen Page Builder veröffentlicht, der die Erstellung individueller Websites ohne umfangreiche Programmierkenntnisse ermöglichen soll. Das Werkzeug richtet sich an Site-Builder und Content-Teams, die bisher zwischen vorgefertigten Templates und aufwendiger individueller Entwicklung wählen mussten.
Weiterlesen nach der Anzeige
Weniger komplizierte Technik für Anwender
Als Open-Source-CMS kommt Drupal zwar bei vielen Organisationen zum Einsatz, die Flexibilität des Systems erforderte jedoch bislang einiges an technischem Know-how. Wie Produktleiter Lauri Timmanee im Drupal-Blog erklärt, existiere in Drupal ein Trade-off: „Entweder man ist gezwungen, eine Art Cookie-Cutter-Website zu erstellen, oder man muss komplexen Code schreiben. Wir wollen diesen Trade-off aufbrechen, indem wir bessere Werkzeuge bereitstellen, damit man tatsächlich Websites erstellen kann, die auf die eigene Marke zugeschnitten sind, ohne komplexen Code kennen zu müssen.“
Drupal Canvas 1.0 basiert auf einem React-Frontend, das mit den Core-APIs von Drupal integriert ist. Die Hauptfunktionen umfassen komponentenbasiertes visuelles Page Building mit einem Drag-and-Drop-Interface, In-Browser-Code-Komponenten zum Hinzufügen neuer Bausteine sowie die Option, mehrere Seiten vor der Veröffentlichung zu erstellen und mit mehrstufigem Undo in der Vorschau zu betrachten. Das System soll Entwicklern mehr Zeit für tiefgreifende technische Arbeiten verschaffen, während nicht-technische Nutzer eigenständiger arbeiten können.
Canvas ist als Community-getriebenes Projekt angelegt, laut Drupal-Roadmap sollen künftig möglichst alle Module im kommenden Drupal CMS 2.0 mit Canvas kompatibel sein. Die Entwickler stellen eine Demo-Installation auf GitHub bereit und sammeln Feedback über den dedizierten Slack-Channel #drupal-canvas. Das Projekt positioniert sich damit in Konkurrenz zu etablierten Page Buildern wie WordPress Gutenberg oder Elementor, setzt aber auf die Stärken von Drupal in Enterprise-Umgebungen.
Ausblick auf Drupal CMS 2.0
Drupal CMS ist eine vorkonfigurierte Distribution auf Basis von Drupal Core, die für schnelle Website-Erstellung mit vorgefertigten Modulen und Workflows optimiert ist, während Drupal Core die minimale, flexible Grundlage für Entwickler bietet. Inzwischen steht Drupal CMS kurz vor der Veröffentlichung der Version 2.0, die laut mehreren Drupal-Experten einen großen Entwicklungssprung für Webentwickler und Nutzer bringen soll. Die neue Generation der Software soll eine verbesserte Performance, modernisierte Benutzeroberfläche und vereinfachte Integrationsmöglichkeiten für KI-gestützte Tools bieten.
Weiterlesen nach der Anzeige
Neben den technischen Verbesserungen soll Drupal CMS 2.0 besonderen Wert auf Barrierefreiheit, Sicherheit und modulare Erweiterbarkeit legen. Durch ein überarbeitetes Framework und optimierte Workflows sollen Entwickler Projekte schneller umsetzen können, während Redakteure von einer klareren Struktur und KI-gestützten Funktionen wie Content-Generierung und SEO-Optimierung profitieren sollen. Das offizielle Release ist aktuell für das erste Quartal 2026 anvisiert, ursprünglich war es für den Oktober 2025 geplant.
(fo)
Entwicklung & Code
Open-Source-Toolkit: KI-Unternehmen Anthropic übernimmt Bun
Bun wurde von Anthropic übernommen, wie der Bun-Erfinder Jarred Sumner auf dem Bun-Blog mitteilt. Das JavaScript-Toolkit, bestehend aus Runtime, Bundler, Test Runner und Paketmanager, soll die Infrastruktur für Anthropics KI-Coding-Technologien Claude Code und Claude Agent SDK sowie künftige KI-Coding-Projekte darstellen.
Weiterlesen nach der Anzeige
Bun bleibt Open Source
Laut Sumners Ausführungen wird Bun auch weiterhin Open Source und MIT-lizenziert bleiben. Auch soll das gleiche Team wie bisher an Bun arbeiten und die Entwicklung weiter öffentlich auf GitHub stattfinden. Die Roadmap soll den Fokus auf Performance und Node.js-Kompatibilität beibehalten – und darauf, Node.js als die standardmäßige serverseitige Runtime für JavaScript zu ersetzen.
(Bild: jaboy/123rf.com)

Die enterJS 2026 wird am 16. und 17. Juni in Mannheim stattfinden. Das Programm wird sich rund um JavaScript und TypeScript, Frameworks, Tools und Bibliotheken, Security, UX und mehr drehen. Vergünstigte Blind-Bird-Tickets sind bis zum Programmstart erhältlich.
Bun erschien erstmals im Juli 2022 und verfolgte bereits damals das Ziel, ein „Drop-in“-Ersatz für Node.js zu werden. Schon innerhalb der ersten Woche erzielte das Projekt 20.000 GitHub-Sterne, wie sich der Bun-Erfinder zurückerinnert. Inzwischen ist die Zahl auf über 83.000 Sterne angestiegen und präsentiert sich seit Version 1.3 als Full‑Stack-JavaScript-Runtime.
Übernahme durch Anthropic
Anthropics Claude Code, ein agentisches KI-Coding-Tool, läuft mit Bun, und bereits während der letzten Monate hat das Bun-Team die Issues des Claude-Code-Teams mit Priorität bearbeitet. Nach Gesprächen mit Anthropic folgt jetzt die Übernahme von Bun, das selbst keine Einnahmen hatte: Anthropic kauft Bun als essenzielle Infrastruktur für Claude Code, die Toolsammlung Claude Agent SDK und zukünftige KI-Coding-Produkte.
Weiterlesen nach der Anzeige
Wie Sumner betont, soll dieser Schritt Bun zu langfristiger Stabilität verhelfen. Außerdem will man nun zusätzliche Software Engineers einstellen. Laut Sumner passen die beiden Seiten auf natürliche Weise zusammen, denn: „Bun begann mit einem Fokus darauf, Developer schneller zu machen. KI-Coding-Tools tun etwas Ähnliches.“
(mai)
-
UX/UI & Webdesignvor 2 MonatenIllustrierte Reise nach New York City › PAGE online
-
Datenschutz & Sicherheitvor 3 MonatenJetzt patchen! Erneut Attacken auf SonicWall-Firewalls beobachtet
-
Künstliche Intelligenzvor 2 MonatenAus Softwarefehlern lernen – Teil 3: Eine Marssonde gerät außer Kontrolle
-
Künstliche Intelligenzvor 2 Monaten
Top 10: Die beste kabellose Überwachungskamera im Test
-
UX/UI & Webdesignvor 3 MonatenFake It Untlil You Make It? Trifft diese Kampagne den Nerv der Zeit? › PAGE online
-
UX/UI & Webdesignvor 2 MonatenSK Rapid Wien erneuert visuelle Identität
-
Entwicklung & Codevor 3 WochenKommandozeile adé: Praktische, grafische Git-Verwaltung für den Mac
-
Social Mediavor 3 MonatenSchluss mit FOMO im Social Media Marketing – Welche Trends und Features sind für Social Media Manager*innen wirklich relevant?
