Online Marketing & SEO
Cloudflare AI Crawler Block und Pay per Crawl als Alternative
Mit einer neuen Lösung möchte Cloudflare Publishern mehr Kontrolle über den AI-Zugriff auf ihre Inhalte geben. AI Crawler werden bei diesem jetzt zunächst abgewiesen, außer sie erhalten die explizite Erlaubnis zur Content-Aufnahme – oder sie bezahlen.
Ungefähr 20 Prozent aller Websites laufen über das Netzwerk des Internet- und Cybersicherheitsunternehmens Cloudflare. Deshalb ist die große Ankündigung der Company in Bezug auf das AI Crawling so relevant für die Branche. Während der GPTBot, der ClaudeBot, der Amazonbot, der PerplexityBot und Co. zahlreiche Seiten crawlen, sammeln sie Millionen Inhalte für die Verarbeitung in den eigenen KI-Systemen sowie das Training derselben. Oft haben aber Publisher nur wenig Kontrolle darüber, wie ihre Inhalte aufgenommen und distribuiert werden. Daher müssen sie oft entscheiden, ob sie das AI Crawling zulassen oder ausschließen – bei Googles KI etwa mit Google Extended – und mögliche Sichtbarkeits- oder gar Autoritätsverluste auf Drittplattformen und in Suchmaschinen in Kauf nehmen.
Cloudflare hat diesbezüglich jetzt eine alternative Lösung entwickelt. Seit dem 1. Juli blockiert Cloudflare per Default AI Crawler, solange diese nicht für den Zugriff auf die Inhalte zahlen. Content Independence Day nennt das Unternehmen diesen Wandel und CEO Matthew Prince schreibt:
[…] That content is the fuel that powers AI engines, and so it’s only fair that content creators are compensated directly for it.
Crawler GPTBot:
Websites können Inhalte für OpenAI blockieren
Cloudflare Marketplace und Pay per Crawl: Cloudflare gibt Content-Eigner:innen mehr Kontrolle
Neue Cloudflare User können die Default-Blockierung für AI Crawler direkt nutzen. Nutzer:innen, die schon länger auf das Unternehmen setzen, können im Dashboard die entsprechende Einstellung vornehmen.
So wird das Content Scraping durch die Crawler im Cloudflare-Kontext zum Opt-in-Prozess für AI-Unternehmen. Demnächst möchte das Unternehmen laut Prince sogar einen Marketplace für KI-Unternehmen und Content Creator aufbauen, in dem diese über die Entlohnung für Content verhandeln könnten. Denn:
We believe that if we can begin to score and value content not on how much traffic it generates, but on how much it furthers knowledge — measured by how much it fills the current holes in AI engines ‘swiss cheese‘ — we not only will help AI engines get better faster, but also potentially facilitate a new golden age of high-value content creation […],
so Prince weiter. Der CEO spricht von einem neuen Web und ganz neuen Business-Modellen für dieses. Ausdruck dieser Entwicklung sind zum Beispiel milliardenschwere Lizenz-Deals zwischen OpenAI und Reddit oder Google und Reddit, die den KI-Unternehmen Reddit-Inhalte zur KI-Trainingsoptimierung liefern. Ähnliche Vereinbarungen möchte Cloudflare auch für Publisher und Content Creator ermöglichen. So launchte das Unternehmen Pay per Crawl als Bezahlmodell.
Pay per Crawl im Detail: Viele Vorteile und eine große Frage
Dabei sollen jene, die Content für das Internet bereitstellen, deutlich mehr Kontrolle darüber erhalten. Sie sollen ihre Inhalte vor Crawlern verbergen können – wie mit dem Default Blocking –, sie kostenfrei bereitstellen oder für die Bereitstellung eine Gebühr fordern können. Für letztere Option soll der HTTP Response Code 402, Payment Required, wieder salonfähig gemacht werden.
Die Details des neuen Zahlungssystems listen Will Allen und Simon Newton auf dem offiziellen Blog des Unternehmens auf. Dabei bietet Cloudflare die technische Infrastruktur, setzt aber auf die bekannten HTTP Status Codes. AI Crawler würden also mit dem 402 Code konfrontiert, sofern sie nicht via Request Header ihre Zahlung signalisieren, um den Code 200, OK, zu erhalten. Einzelne Crawler können indes auch kostenfrei auf Inhalte zugreifen, wenn die Publisher das möchten. Publisher können Preise für den Content-Zugriff festlegen und die AI-Unternehmen können entscheiden, ob sie diese akzeptieren. Die Details sollen im Cloudflare Account hinterlegt werden, was dem Internetunternehmen seinen Status als zentraler Player im Web-Ökosystem zusätzlich attestieren würde.
[…] We expect pay per crawl to evolve significantly. It’s very early: we believe many different types of interactions and marketplaces can and should develop simultaneously. We are excited to support these various efforts and open standards […],
erklärt Cloudflares Team und verweist auf das Potential von AI Agents. So stellt sich Cloudflare vor, dass Deep Research Agents, wie Google Gemini und ChatGPT oder auch Claude sie anbieten, mit einem bestimmten Budget ausgestattet werden könnten, um umfangreiche Recherchen vorzunehmen, die sich auf Publisher mit einer Crawling-Bezahlschranke beziehen. Das klingt für Publisher und Content Creator verlockend. Es stellt sich jedoch die Kernfrage, ob die Big Tech Companies wirklich bereit sind, viel Geld für den Content-Zugriff zu zahlen oder sich andernfalls auf frei verfügbare Quellen konzentrieren würden. Auch ist es möglich, dass OpenAI, Google, Anthropic und Co. etwaige Kosten für den Crawling-Zugriff schließlich auf die User der KI-Dienste umlegen.
Die Verhandlung der Content-Nutzbarkeit im Digitalraum ist komplex, kennt viele Perspektiven und wird sicher nicht mit einer einzigen Lösung vorangetrieben. Doch Optionen wie Pay per Crawl bieten Publishern in unsicheren Zeiten neue Möglichkeiten.
Noch befindet sich das Modell in der Betaphase. Interessierte können sich bereits für den Zugang bewerben. Derweil fürchten Publisher aufgrund der KI-Suchlösungen von Perplexity, OpenAI, Google und Co. zusehends um ihren Traffic. Cloudflare zeigt im eigenen Radar jetzt an, wie oft AI-Modelle in Relation zum Crawling Traffic zur betreffenden Seite schicken.