Online Marketing & SEO

Cloudflare AI Crawler Block und Pay per Crawl als Alternative

Mit einer neuen Lösung möchte Cloudflare Publishern mehr Kontrolle über den AI-Zugriff auf ihre Inhalte geben. AI Crawler werden bei diesem jetzt zunächst abgewiesen, außer sie erhalten die explizite Erlaubnis zur Content-Aufnahme – oder sie bezahlen.

Ungefähr 20 Prozent aller Websites laufen über das Netzwerk des Internet- und Cybersicherheitsunternehmens Cloudflare. Deshalb ist die große Ankündigung der Company in Bezug auf das AI Crawling so relevant für die Branche. Während der GPTBot, der ClaudeBot, der Amazonbot, der PerplexityBot und Co. zahlreiche Seiten crawlen, sammeln sie Millionen Inhalte für die Verarbeitung in den eigenen KI-Systemen sowie das Training derselben. Oft haben aber Publisher nur wenig Kontrolle darüber, wie ihre Inhalte aufgenommen und distribuiert werden. Daher müssen sie oft entscheiden, ob sie das AI Crawling zulassen oder ausschließen – bei Googles KI etwa mit Google Extended – und mögliche Sichtbarkeits- oder gar Autoritätsverluste auf Drittplattformen und in Suchmaschinen in Kauf nehmen.

Cloudflare hat diesbezüglich jetzt eine alternative Lösung entwickelt. Seit dem 1. Juli blockiert Cloudflare per Default AI Crawler, solange diese nicht für den Zugriff auf die Inhalte zahlen. Content Independence Day nennt das Unternehmen diesen Wandel und CEO Matthew Prince schreibt:

[…] That content is the fuel that powers AI engines, and so it’s only fair that content creators are compensated directly for it.

Crawler GPTBot:

Websites können Inhalte für OpenAI blockieren

© Mariia Shalabaieva – Unsplash

Cloudflare Marketplace und Pay per Crawl: Cloudflare gibt Content-Eigner:innen mehr Kontrolle

Neue Cloudflare User können die Default-Blockierung für AI Crawler direkt nutzen. Nutzer:innen, die schon länger auf das Unternehmen setzen, können im Dashboard die entsprechende Einstellung vornehmen.

So wird das Content Scraping durch die Crawler im Cloudflare-Kontext zum Opt-in-Prozess für AI-Unternehmen. Demnächst möchte das Unternehmen laut Prince sogar einen Marketplace für KI-Unternehmen und Content Creator aufbauen, in dem diese über die Entlohnung für Content verhandeln könnten. Denn:

We believe that if we can begin to score and value content not on how much traffic it generates, but on how much it furthers knowledge — measured by how much it fills the current holes in AI engines ‘swiss cheese‘ — we not only will help AI engines get better faster, but also potentially facilitate a new golden age of high-value content creation […],

so Prince weiter. Der CEO spricht von einem neuen Web und ganz neuen Business-Modellen für dieses. Ausdruck dieser Entwicklung sind zum Beispiel milliardenschwere Lizenz-Deals zwischen OpenAI und Reddit oder Google und Reddit, die den KI-Unternehmen Reddit-Inhalte zur KI-Trainingsoptimierung liefern. Ähnliche Vereinbarungen möchte Cloudflare auch für Publisher und Content Creator ermöglichen. So launchte das Unternehmen Pay per Crawl als Bezahlmodell.

Pay per Crawl im Detail: Viele Vorteile und eine große Frage

Dabei sollen jene, die Content für das Internet bereitstellen, deutlich mehr Kontrolle darüber erhalten. Sie sollen ihre Inhalte vor Crawlern verbergen können – wie mit dem Default Blocking –, sie kostenfrei bereitstellen oder für die Bereitstellung eine Gebühr fordern können. Für letztere Option soll der HTTP Response Code 402, Payment Required, wieder salonfähig gemacht werden.

Die Details des neuen Zahlungssystems listen Will Allen und Simon Newton auf dem offiziellen Blog des Unternehmens auf. Dabei bietet Cloudflare die technische Infrastruktur, setzt aber auf die bekannten HTTP Status Codes. AI Crawler würden also mit dem 402 Code konfrontiert, sofern sie nicht via Request Header ihre Zahlung signalisieren, um den Code 200, OK, zu erhalten. Einzelne Crawler können indes auch kostenfrei auf Inhalte zugreifen, wenn die Publisher das möchten. Publisher können Preise für den Content-Zugriff festlegen und die AI-Unternehmen können entscheiden, ob sie diese akzeptieren. Die Details sollen im Cloudflare Account hinterlegt werden, was dem Internetunternehmen seinen Status als zentraler Player im Web-Ökosystem zusätzlich attestieren würde.

[…] We expect pay per crawl to evolve significantly. It’s very early: we believe many different types of interactions and marketplaces can and should develop simultaneously. We are excited to support these various efforts and open standards […],

erklärt Cloudflares Team und verweist auf das Potential von AI Agents. So stellt sich Cloudflare vor, dass Deep Research Agents, wie Google Gemini und ChatGPT oder auch Claude sie anbieten, mit einem bestimmten Budget ausgestattet werden könnten, um umfangreiche Recherchen vorzunehmen, die sich auf Publisher mit einer Crawling-Bezahlschranke beziehen. Das klingt für Publisher und Content Creator verlockend. Es stellt sich jedoch die Kernfrage, ob die Big Tech Companies wirklich bereit sind, viel Geld für den Content-Zugriff zu zahlen oder sich andernfalls auf frei verfügbare Quellen konzentrieren würden. Auch ist es möglich, dass OpenAI, Google, Anthropic und Co. etwaige Kosten für den Crawling-Zugriff schließlich auf die User der KI-Dienste umlegen.

Die Verhandlung der Content-Nutzbarkeit im Digitalraum ist komplex, kennt viele Perspektiven und wird sicher nicht mit einer einzigen Lösung vorangetrieben. Doch Optionen wie Pay per Crawl bieten Publishern in unsicheren Zeiten neue Möglichkeiten.

Noch befindet sich das Modell in der Betaphase. Interessierte können sich bereits für den Zugang bewerben. Derweil fürchten Publisher aufgrund der KI-Suchlösungen von Perplexity, OpenAI, Google und Co. zusehends um ihren Traffic. Cloudflare zeigt im eigenen Radar jetzt an, wie oft AI-Modelle in Relation zum Crawling Traffic zur betreffenden Seite schicken.

Source link

Verwandte Themen:als alternative Block Cloudflare Crawl Crawler Pay Software Updates und

Up Next

KI statt Mensch: X lässt AI Community Notes schreiben

Nicht verpassen

Kooperation mit Seven-One Media und Studio71: McDonald’s tritt mit der Gen Z in den „Burger Dialog“

Online Marketing & SEO

Ragebait: Wenn Wut zur digitalen Währung wird

Immer mehr Marken und auch Einzelpersonen setzen auf Ragebait, also die bewusste Provokation im Netz, als strategisches Kommunikationsmittel. Markus Mayr, Chef der PR-Agentur Storypark, erklärt, wie Wut Reichweite schafft und was die Kehrseite der Medaille ist.

Source link

Online Marketing & SEO

Jubiläum von Pico-Balla: Haribo und Ritter Sport bringen erste Fruchtgummi-Schoki auf den Markt

Haribo und Ritter Sport machen erstmals in ihrer Markengeschichte gemeinsame Sache

Der „süßeste Brand-Swap Deutschlands“: So bewerben Haribo und Ritter Sport ihre erste gemeinsame Produkt-Kooperation. Die beiden Kultmarken bringen zum Jubiläum von Haribo Pico-Balla Schokolade und Fruchtgummis zusammen – eine überraschende Symbiose, die die Fans zum Frohlocken bringen dürfte.

In diesem Jahr feiert Haribo Pico-Balla 25-jähriges Jubiläum. Das nimmt der Bonner Süßwaren-Riese zum Anlass für eine Kooperation mit einer anderen Lovebrand, die durchaus überraschend kommt: Denn gemeinsam mit dem Waldenbucher Schokoladenhersteller Ritter Sport bringt Haribo die bunten Pico-Balla-Fruchtgummis mit Vollmilchschokolade zusammen.

Das Ergebnis ist die limitierte Ritter Sport Haribo Pico-Balla, die es ab sofort in der gewohnten 100-Gram-Quadtrat-Verpackung in den Ritter-Sport-Schokowelten in Berlin und Waldenbuch sowie in allen Haribo-Shops in Deutschland und Österreich zu kaufen gibt (UVP 2,49 Euro). Gefüllt ist die Schokolade mit den Haribo-Fruchtgummis, die aus einer festen Hülle mit softer Füllung bestehen. Zum Geschmackserlebnis verlautbaren die Marken: „Irgendwie schwer zu beschreiben.“ Das dürfte reichen, um bei vielen Markenfans einen Run auf die limitierten quadratischen Tafeln auszulösen. Denn neugierig, wie die Kombination aus Vollmilchschokolade und Fruchtgummis schmeckt, werden sicher viele sein.
Beworben wird die Limited Edition auf den Social-Media-Kanälen von Haribo und Ritter Sport mit mehreren Clips unter dem Motto „Der süßeste Brand-Swap Deutschlands“. Dabei erzählen die beiden Protagonisten Coraline Lücker, Brand Managerin bei Haribo, und Fabian Hönig, Brand Manager bei Ritter Sport, die Entstehungsgeschichte der besonderen Kooperation in mehreren Folgen und tauchen dabei in die Arbeits- und Produktwelt der jeweils anderen Marke ein.

Source link

Online Marketing & SEO

Filialkonzept: Lidl gibt sich neuen Anstrich

Lidl gibt verschiedenen Bereichen in der neuen Filiale eigene Identitäten. Dennoch wirkt das Konzept durchgängig.

Lidl erneuert den Auftritt grundlegend. Das Filialkonzept 2025 ist seit Kurzem an einem ersten Standort im Umfeld der Neckarsulmer Zentrale aufgebaut. Es soll auch in weitere Länder ausgerollt werden.

Es soll der große Wurf werden für die Zukunft des Schwarz-Discounters. Zum ersten Mal, seit das neue Ressort Kunde die Federführung f&