Online Marketing & SEO

Cloudflare AI Crawler Block und Pay per Crawl als Alternative

Mit einer neuen Lösung möchte Cloudflare Publishern mehr Kontrolle über den AI-Zugriff auf ihre Inhalte geben. AI Crawler werden bei diesem jetzt zunächst abgewiesen, außer sie erhalten die explizite Erlaubnis zur Content-Aufnahme – oder sie bezahlen.

Ungefähr 20 Prozent aller Websites laufen über das Netzwerk des Internet- und Cybersicherheitsunternehmens Cloudflare. Deshalb ist die große Ankündigung der Company in Bezug auf das AI Crawling so relevant für die Branche. Während der GPTBot, der ClaudeBot, der Amazonbot, der PerplexityBot und Co. zahlreiche Seiten crawlen, sammeln sie Millionen Inhalte für die Verarbeitung in den eigenen KI-Systemen sowie das Training derselben. Oft haben aber Publisher nur wenig Kontrolle darüber, wie ihre Inhalte aufgenommen und distribuiert werden. Daher müssen sie oft entscheiden, ob sie das AI Crawling zulassen oder ausschließen – bei Googles KI etwa mit Google Extended – und mögliche Sichtbarkeits- oder gar Autoritätsverluste auf Drittplattformen und in Suchmaschinen in Kauf nehmen.

Cloudflare hat diesbezüglich jetzt eine alternative Lösung entwickelt. Seit dem 1. Juli blockiert Cloudflare per Default AI Crawler, solange diese nicht für den Zugriff auf die Inhalte zahlen. Content Independence Day nennt das Unternehmen diesen Wandel und CEO Matthew Prince schreibt:

[…] That content is the fuel that powers AI engines, and so it’s only fair that content creators are compensated directly for it.

Crawler GPTBot:

Websites können Inhalte für OpenAI blockieren

© Mariia Shalabaieva – Unsplash

Cloudflare Marketplace und Pay per Crawl: Cloudflare gibt Content-Eigner:innen mehr Kontrolle

Neue Cloudflare User können die Default-Blockierung für AI Crawler direkt nutzen. Nutzer:innen, die schon länger auf das Unternehmen setzen, können im Dashboard die entsprechende Einstellung vornehmen.

So wird das Content Scraping durch die Crawler im Cloudflare-Kontext zum Opt-in-Prozess für AI-Unternehmen. Demnächst möchte das Unternehmen laut Prince sogar einen Marketplace für KI-Unternehmen und Content Creator aufbauen, in dem diese über die Entlohnung für Content verhandeln könnten. Denn:

We believe that if we can begin to score and value content not on how much traffic it generates, but on how much it furthers knowledge — measured by how much it fills the current holes in AI engines ‘swiss cheese‘ — we not only will help AI engines get better faster, but also potentially facilitate a new golden age of high-value content creation […],

so Prince weiter. Der CEO spricht von einem neuen Web und ganz neuen Business-Modellen für dieses. Ausdruck dieser Entwicklung sind zum Beispiel milliardenschwere Lizenz-Deals zwischen OpenAI und Reddit oder Google und Reddit, die den KI-Unternehmen Reddit-Inhalte zur KI-Trainingsoptimierung liefern. Ähnliche Vereinbarungen möchte Cloudflare auch für Publisher und Content Creator ermöglichen. So launchte das Unternehmen Pay per Crawl als Bezahlmodell.

Pay per Crawl im Detail: Viele Vorteile und eine große Frage

Dabei sollen jene, die Content für das Internet bereitstellen, deutlich mehr Kontrolle darüber erhalten. Sie sollen ihre Inhalte vor Crawlern verbergen können – wie mit dem Default Blocking –, sie kostenfrei bereitstellen oder für die Bereitstellung eine Gebühr fordern können. Für letztere Option soll der HTTP Response Code 402, Payment Required, wieder salonfähig gemacht werden.

Die Details des neuen Zahlungssystems listen Will Allen und Simon Newton auf dem offiziellen Blog des Unternehmens auf. Dabei bietet Cloudflare die technische Infrastruktur, setzt aber auf die bekannten HTTP Status Codes. AI Crawler würden also mit dem 402 Code konfrontiert, sofern sie nicht via Request Header ihre Zahlung signalisieren, um den Code 200, OK, zu erhalten. Einzelne Crawler können indes auch kostenfrei auf Inhalte zugreifen, wenn die Publisher das möchten. Publisher können Preise für den Content-Zugriff festlegen und die AI-Unternehmen können entscheiden, ob sie diese akzeptieren. Die Details sollen im Cloudflare Account hinterlegt werden, was dem Internetunternehmen seinen Status als zentraler Player im Web-Ökosystem zusätzlich attestieren würde.

[…] We expect pay per crawl to evolve significantly. It’s very early: we believe many different types of interactions and marketplaces can and should develop simultaneously. We are excited to support these various efforts and open standards […],

erklärt Cloudflares Team und verweist auf das Potential von AI Agents. So stellt sich Cloudflare vor, dass Deep Research Agents, wie Google Gemini und ChatGPT oder auch Claude sie anbieten, mit einem bestimmten Budget ausgestattet werden könnten, um umfangreiche Recherchen vorzunehmen, die sich auf Publisher mit einer Crawling-Bezahlschranke beziehen. Das klingt für Publisher und Content Creator verlockend. Es stellt sich jedoch die Kernfrage, ob die Big Tech Companies wirklich bereit sind, viel Geld für den Content-Zugriff zu zahlen oder sich andernfalls auf frei verfügbare Quellen konzentrieren würden. Auch ist es möglich, dass OpenAI, Google, Anthropic und Co. etwaige Kosten für den Crawling-Zugriff schließlich auf die User der KI-Dienste umlegen.

Die Verhandlung der Content-Nutzbarkeit im Digitalraum ist komplex, kennt viele Perspektiven und wird sicher nicht mit einer einzigen Lösung vorangetrieben. Doch Optionen wie Pay per Crawl bieten Publishern in unsicheren Zeiten neue Möglichkeiten.

Noch befindet sich das Modell in der Betaphase. Interessierte können sich bereits für den Zugang bewerben. Derweil fürchten Publisher aufgrund der KI-Suchlösungen von Perplexity, OpenAI, Google und Co. zusehends um ihren Traffic. Cloudflare zeigt im eigenen Radar jetzt an, wie oft AI-Modelle in Relation zum Crawling Traffic zur betreffenden Seite schicken.

Source link

Verwandte Themen:als alternative Block Cloudflare Crawl Crawler Pay Software Updates und

Up Next

KI statt Mensch: X lässt AI Community Notes schreiben

Nicht verpassen

Kooperation mit Seven-One Media und Studio71: McDonald’s tritt mit der Gen Z in den „Burger Dialog“

Kommentar schreiben

Online Marketing & SEO

Autoglas-Werkstattkette mit Kultwerbung: Wie CMO Julia Krönlein bei Carglass neue Impulse setzt

Julia Krönlein führt seit dem 1. Januar 2025 das Marketing von Carglass in Deutschland.

Seit Jahresbeginn führt Julia Krönlein das Marketing von Carglass. Die CMO war zuvor bei Bridgestone. Wie sie die Marke weiterentwickeln will, wieso der Kult-Spot bleibt und warum sie weiß, was die Kolleginnen und Kollegen in den Werkstätten alles leisten.

Carglass kann man nicht entkommen. Jedenfalls nicht, wenn man im Auto Radio hört. Auf der A5, auf der A8. Bei Heidelberg, Stuttgart, Ulm, Augsbur

Jetzt Angebot wählen und weiterlesen!

1 Monat

19 €

zum Testen
danach 33,25 € mtl.

12 Monate

279 €

anstatt 399 €
120€ sparen

24 Monate

479 €

anstatt 798 €
319 € sparen

HORIZONT Digital

Vollzugriff auf HORIZONT Online mit allen Artikeln
E-Paper der Zeitung und Magazine
Online-Printarchiv

HORIZONT Digital-Mehrplatzlizenz für Ihr Team

Source link

Online Marketing & SEO

KI statt Mensch: X lässt AI Community Notes schreiben

Interessierte Developer können sich direkt registrieren, um mit der Entwicklung der sogenannten AI Note Writers zu beginnen. Eine erste Auswahl der Bots soll noch diesen Monat mit dem Schreiben der Notes beginnen, zunächst im Testmodus. Alle mit KI verfassten Notizen sollen klar als AI-generiert markiert werden, erklärt X. Zudem können die AI Writers zunächst nur Beiträge mit Community Notes ergänzen, wenn diese von den Nutzer:innen angefragt wurden.

Schnell, hilfreich, unvoreingenommen?

Die Neuerung habe laut X das Potenzial, für eine schnellere und umfassendere Verbreitung der Community Notes auf der Plattform zu sorgen. Mithilfe des User Feedbacks sollen die AI Agents zunehmend akkuratere, weniger voreingenommene und hilfreiche Informationen bieten. Möglicherweise zielt X mit dem Schritt auch darauf ab, menschlichen Bias zu reduzieren – eine Strategie, die auch Netflix kürzlich verfolgte.

KI übernimmt:
So will Netflix virale Clips entdecken

Ob die KI-generierten Notes tatsächlich unvoreingenommene Informationen beitragen können, ist dennoch fraglich – schließlich ist auch Künstliche Intelligenz anfällig für stereotypisches Denken. Immerhin sollen die Notes der AI Writers nur entsprechend der Community-Notes-Grundsätze veröffentlicht werden, erklärt X. Die Anforderungen entsprechen denen von Community Notes, welche von Menschen verfasst wurden: Sollte ein AI Bot wiederholt Informationen beitragen, welche als nicht hilfreich eingeordnet werden, kann er seine Berechtigung verlieren.

Während die Community Notes bislang vor allem für die Kennzeichnung potenziell irreführender Inhalte genutzt werden, markiert ein von X angekündigtes Pilotprojekt Beiträge, die Zustimmung aus unterschiedlichen politischen oder weltanschaulichen Lagern erhalten – mit dem Ziel, Schnittmengen im Diskurs systematisch sichtbar zu machen und digitale Polarisierung abzubauen. Wie reiht sich dieser Schritt in Elon Musks bisherigen Plattformkurs ein?

X macht Konsens sichtbar –
neues Community Notes Feature gegen digitale Spaltung

Source link

Online Marketing & SEO

Kooperation mit Seven-One Media und Studio71: McDonald’s tritt mit der Gen Z in den „Burger Dialog“

Beim „Burger Dialog“ drehte sich alles um nachhaltige Landwirtschaft

Nachhaltigkeit ist out? Das sieht McDonald’s anders und will vor allem jungen Menschen eine Bühne für ihre Perspektive zu dem Thema bieten. So stand beim zweiten „Burger Dialog“ die Zukunft der heimischen Landwirtschaft im Mittelpunkt des Austauschs von Creators der Gen Z mit Vertretern von Politik und Landwirtschaft.

Die zweite Ausgabe der Dialogreihe fand passenderweise in einer McDonald’s-Filiale statt. Bei dem Bühnen-Panel in der East Side Mall in Berlin traten die beiden Content Creators Antoni Furs (@antoni_kocht) und Sophie Berna (@sophieberna) am vergangenen Donnerstag als Sprachrohr der Gen Z auf. Sie hatten vorab die Fragen ihrer Communities zum Thema „Zukunft und Landwirtschaft“ gesammelt und gaben diese vor Ort an die Vertreter von McDonald’s Deutschland, Politik, Landwirtschaft und Wirtschaft weiter. Zusätzlich hatten Furs und Berna im Vorfeld auch praxisnahe Einblicke auf einem Milch- und einem Kartoffelhof gesammelt und sich dort nachhaltige Produktionsprozesse zeigen lassen, die sie via Instagram und TikTok mit ihren Communities teilten. Als politische Vertreter nahmen Phillipp Geib (JU-Vorsitzender der Kommission Land-, Forstwirtschaft & Ländlicher Raum), Johannes Steiniger (MdB und Agrarpolitischer Sprecher der CDU/CSU-Bundestagsfraktion) und Bernhard Schodrowski (Mitglied im Kreisvorstand der CDU-Spandau) an der Runde teil. Auch Markus Weiß (Unternehmenssprecher von McDonald’s Deutschland), Daniel Neusser (Senior Department Head Strategic Sourcing, McDonald’s Deutschland) und Johannes Ruhe (Landwirt, Farmers for McDonald’s) standen auf der Bühne Rede und Antwort, während Barış Ertuğrul (Sozialisationsforscher am FGZ und an der Universität Bielefeld) als Vertreter der Wissenschaft anwesend war.

Unterstützt wurde die Fortsetzung des Formats von Seven-One Media und Studio71, den beiden Tochterunternehmen von Pro Sieben Sat 1. Neben der Einbindung der Creators auf der Veranstaltung zeichnen sie für die digitale Begleitung via Social Media und auf der Streaming-Plattform Joyn verantwortlich. Als Moderatoren traten die Entertainer Dennis und Benni Wolter auf, bekannt für ihr Joyn-Format „WorldWideWohnzimmer“.

Um der „Burger Dialog“-Reihe noch mehr Sichtbarkeit zu verschaffen, wird diese ab dem 7. Juli 2025 zusätzlich digital auf Joyn kommuniziert. In den TV-Livestreams auf der Plattform sollen Highlights der Veranstaltung über eine Digital Ad Insertion-Kampagne gezielt an junge Zuschauende ausgespielt werden. Auch über seine native Werbeform „Real Talk Tipp“ wird Joyn die Talk-Reihe empfehlen und Ausschnitte des Events präsentieren.

Gen Z sieht Politik in der Pflicht

Neben den eingereichten Fragen aus den Creator Communities diente beim zweiten „Burger Dialog“ eine repräsentative Umfrage von McDonald’s in Zusammenarbeit mit dem Marktforschungsinstitut YouGov als Basis für die Diskussion. Die Ergebnisse verdeutlichen die Haltung der Gen Z gegenüber den Themen heimische Landwirtschaft und nachhaltige Ernährung. Unter anderem zeigte sich, dass die Generation der 16- bis 29-Jährigen zwischen einer Idealvorstellung und ihrer Eigenverantwortung schwankt: Bewussteren Konsum und regionale Versorgung empfindet die Gen Z zwar als Chance für eine rundum nachhaltige Landwirtschaft, sieht aber vor allem die Politik in der Handlungspflicht und schreibt sich selbst und der Wirtschaft nur eine untergeordnete Rolle zu.

Über die Umfrage

Die Daten der Gen-Z-Befragung basieren auf Online-Interviews mit Mitgliedern des Yougov Panels, die der Teilnahme vorab zugestimmt haben. Für diese Befragung wurden im Zeitraum zwischen dem 21. und 29. Mai 2025 insgesamt 1021 Personen im Alter von 16 bis 29 Jahren (Gen Z) befragt. Die Erhebung wurde nach Alter, Geschlecht und Nielsenregion quotiert und die Ergebnisse anschließend entsprechend gewichtet. Die Ergebnisse sind repräsentativ für Personen im Alter von 16 bis 29 Jahren.

Ziel der Dialogreihe ist es laut McDonald’s, Perspektivwechsel anzuregen und gemeinsam tragfähige Lösungen zu entwickeln. Über die konkrete Ausgestaltung eines möglichst effektiven Weges hin zu mehr Nachhaltigkeit wurden sich die Diskutierenden allerdings nicht ganz einig, weshalb der Fastfood-Riese seinen „Burger Dialog“ in Kooperation mit den Agenturen Castenow Karma und Beust & Coll weiter fortsetzen will.

„Der Austausch, den wir über den ‚Burger Dialog‘ schaffen, ist für uns bei McDonald’s Deutschland so wichtig, weil wir Menschen zusammenbringen, die im Alltag wenig Austausch miteinander haben. Wir bieten nicht nur der Gen Z, sondern auch Akteuren aus Politik, Landwirtschaft und Wirtschaft eine echte Plattform für einen offenen Dialog auf Augenhöhe. Mit der Einbindung der Creators sowie der digitalen Begleitung auf Joyn erreichen wir zudem eine hohe Sichtbarkeit in der jungen Zielgruppe“, so ein Sprecher von McDonald’s Deutschland.

Source link