Cloudflare: Bots und Agenten erzeugen jetzt mehr Traffic als Menschen

Erstmals stammt mehr Traffic im Internet von Bots als von Menschen, erklärt Cloudflare-CEO Matthew Prince (via Decoder). Der Grund ist die Agenten-Welle, die den Datenverkehr derzeit stark wachsen lässt. Der Wechsel erfolgte bereits in den letzten Monaten.

Laut der Analyse von Cloudflare machen Bots derzeit 57,4 Prozent der http-Requests aus, Menschen kommen noch auf 42,6 Prozent. Die Werte schwanken aber. Prince selbst beschreibt die Datenqualität als „nicht ganz sauber“ (engl.: „a bit messy“), der Trend ist für ihn aber klar und zeichnete sich nun über längere Zeit ab.

Ob nun von Bots, Crawlern oder Agenten gesprochen wird, ist laut Prince zweitrangig. Im Kern sind es synonyme Begriffe für dieselbe Technologie.

Wie genau der Traffic Bots und Menschen zugeordnet wird, erklärt Prince nicht. Als globales Content Delivery Network (CDN), über das große Teile des weltweiten Datenverkehrs laufen, hat Cloudflare aber tiefere Einblicke in die Datenstruktur.

KI-Entwicklung und Agenten lassen Bot-Traffic massiv wachsen

Der Datenverkehr wächst so rasant, dass Prince‘ eigene Prognose binnen Monaten überholt wurde. Noch im März erklärte er auf der US-Konferenz SXSW, dass Bots erst im Jahr 2027 mehr Traffic als Menschen verursachen. Die KI-Entwicklung beschrieb er als ausschlaggebend.

„Wenn ein Mensch eine Aufgabe erledigt – nehmen wir an, du suchst nach einer Digitalkamera – und besuchst fünf Websites. Ihr Agent oder Bot, der die Aufgabe für dich übernimmt, besucht oft 1.000-mal so viele Seiten wie ein echter Mensch“, so Prince. Das entspräche 5.000 Seitenaufrufen – also echter Datenverkehr, den die Infrastruktur bewältigen muss.

Der Anstieg des Bot-Traffics begann mit dem Start des generativen KI-Zeitalters im November 2022, damals veröffentlichte OpenAI ChatGPT. Zuvor lag der Anteil von Bots beim Datenverkehr laut Cloudflare noch bei rund 20 Prozent. Danach intensivierten KI-Entwickler den Einsatz von Crawlern, die das Web abklappern, um Material für Trainingsdaten und Inhalte für die Chatbots zu erfassen. Seit diesem Jahr kommen noch verstärkt die Agenten wie Anthropics Claude Code, OpenAIs Codex oder OpenClaw hinzu, die sich autonom im Web bewegen.

Es ist eine Entwicklung, die laut Prince Gegenmaßnahmen erforderlich mache. Technisch ließe sich etwa bei den Agenten ansetzen, sagte er im März auf der SXSW. So wäre etwa eine Art Sandbox für Agenten denkbar, die den KI-Agenten automatisch wieder abschaltet, wenn dieser seine Aufgabe – also etwas das Planen einer Reise – erledigt hat.

Zusätzlich arbeitet Cloudflare an einer Plattform, die ein Bezahlsystem für Crawler etablieren soll. Websiten-Betreiber könnten dann Geld von den KI-Entwicklern erhalten, wenn diese Inhalte erfassen. Die dafür nötigen Protokolle samt der Infrastruktur entwickele Cloudflare laut Prince derzeit.