Connect with us

Online Marketing & SEO

Cloudflare AI Crawler Block und Pay per Crawl als Alternative


Mit einer neuen Lösung möchte Cloudflare Publishern mehr Kontrolle über den AI-Zugriff auf ihre Inhalte geben. AI Crawler werden bei diesem jetzt zunächst abgewiesen, außer sie erhalten die explizite Erlaubnis zur Content-Aufnahme – oder sie bezahlen.

Ungefähr 20 Prozent aller Websites laufen über das Netzwerk des Internet- und Cybersicherheitsunternehmens Cloudflare. Deshalb ist die große Ankündigung der Company in Bezug auf das AI Crawling so relevant für die Branche. Während der GPTBot, der ClaudeBot, der Amazonbot, der PerplexityBot und Co. zahlreiche Seiten crawlen, sammeln sie Millionen Inhalte für die Verarbeitung in den eigenen KI-Systemen sowie das Training derselben. Oft haben aber Publisher nur wenig Kontrolle darüber, wie ihre Inhalte aufgenommen und distribuiert werden. Daher müssen sie oft entscheiden, ob sie das AI Crawling zulassen oder ausschließen – bei Googles KI etwa mit Google Extended – und mögliche Sichtbarkeits- oder gar Autoritätsverluste auf Drittplattformen und in Suchmaschinen in Kauf nehmen.

Cloudflare hat diesbezüglich jetzt eine alternative Lösung entwickelt. Seit dem 1. Juli blockiert Cloudflare per Default AI Crawler, solange diese nicht für den Zugriff auf die Inhalte zahlen. Content Independence Day nennt das Unternehmen diesen Wandel und CEO Matthew Prince schreibt:

[…] That content is the fuel that powers AI engines, and so it’s only fair that content creators are compensated directly for it.


Crawler GPTBot:

Websites können Inhalte für OpenAI blockieren

OpenAI-Logo, pinkfarben und mehrfach
© Mariia Shalabaieva – Unsplash

Cloudflare Marketplace und Pay per Crawl: Cloudflare gibt Content-Eigner:innen mehr Kontrolle

Neue Cloudflare User können die Default-Blockierung für AI Crawler direkt nutzen. Nutzer:innen, die schon länger auf das Unternehmen setzen, können im Dashboard die entsprechende Einstellung vornehmen.

So wird das Content Scraping durch die Crawler im Cloudflare-Kontext zum Opt-in-Prozess für AI-Unternehmen. Demnächst möchte das Unternehmen laut Prince sogar einen Marketplace für KI-Unternehmen und Content Creator aufbauen, in dem diese über die Entlohnung für Content verhandeln könnten. Denn:

We believe that if we can begin to score and value content not on how much traffic it generates, but on how much it furthers knowledge — measured by how much it fills the current holes in AI engines ‘swiss cheese‘ — we not only will help AI engines get better faster, but also potentially facilitate a new golden age of high-value content creation […],

so Prince weiter. Der CEO spricht von einem neuen Web und ganz neuen Business-Modellen für dieses. Ausdruck dieser Entwicklung sind zum Beispiel milliardenschwere Lizenz-Deals zwischen OpenAI und Reddit oder Google und Reddit, die den KI-Unternehmen Reddit-Inhalte zur KI-Trainingsoptimierung liefern. Ähnliche Vereinbarungen möchte Cloudflare auch für Publisher und Content Creator ermöglichen. So launchte das Unternehmen Pay per Crawl als Bezahlmodell.

Pay per Crawl im Detail: Viele Vorteile und eine große Frage

Dabei sollen jene, die Content für das Internet bereitstellen, deutlich mehr Kontrolle darüber erhalten. Sie sollen ihre Inhalte vor Crawlern verbergen können – wie mit dem Default Blocking –, sie kostenfrei bereitstellen oder für die Bereitstellung eine Gebühr fordern können. Für letztere Option soll der HTTP Response Code 402, Payment Required, wieder salonfähig gemacht werden.

Die Details des neuen Zahlungssystems listen Will Allen und Simon Newton auf dem offiziellen Blog des Unternehmens auf. Dabei bietet Cloudflare die technische Infrastruktur, setzt aber auf die bekannten HTTP Status Codes. AI Crawler würden also mit dem 402 Code konfrontiert, sofern sie nicht via Request Header ihre Zahlung signalisieren, um den Code 200, OK, zu erhalten. Einzelne Crawler können indes auch kostenfrei auf Inhalte zugreifen, wenn die Publisher das möchten. Publisher können Preise für den Content-Zugriff festlegen und die AI-Unternehmen können entscheiden, ob sie diese akzeptieren. Die Details sollen im Cloudflare Account hinterlegt werden, was dem Internetunternehmen seinen Status als zentraler Player im Web-Ökosystem zusätzlich attestieren würde.

[…] We expect pay per crawl to evolve significantly. It’s very early: we believe many different types of interactions and marketplaces can and should develop simultaneously. We are excited to support these various efforts and open standards […],

erklärt Cloudflares Team und verweist auf das Potential von AI Agents. So stellt sich Cloudflare vor, dass Deep Research Agents, wie Google Gemini und ChatGPT oder auch Claude sie anbieten, mit einem bestimmten Budget ausgestattet werden könnten, um umfangreiche Recherchen vorzunehmen, die sich auf Publisher mit einer Crawling-Bezahlschranke beziehen. Das klingt für Publisher und Content Creator verlockend. Es stellt sich jedoch die Kernfrage, ob die Big Tech Companies wirklich bereit sind, viel Geld für den Content-Zugriff zu zahlen oder sich andernfalls auf frei verfügbare Quellen konzentrieren würden. Auch ist es möglich, dass OpenAI, Google, Anthropic und Co. etwaige Kosten für den Crawling-Zugriff schließlich auf die User der KI-Dienste umlegen.

Die Verhandlung der Content-Nutzbarkeit im Digitalraum ist komplex, kennt viele Perspektiven und wird sicher nicht mit einer einzigen Lösung vorangetrieben. Doch Optionen wie Pay per Crawl bieten Publishern in unsicheren Zeiten neue Möglichkeiten.

Noch befindet sich das Modell in der Betaphase. Interessierte können sich bereits für den Zugang bewerben. Derweil fürchten Publisher aufgrund der KI-Suchlösungen von Perplexity, OpenAI, Google und Co. zusehends um ihren Traffic. Cloudflare zeigt im eigenen Radar jetzt an, wie oft AI-Modelle in Relation zum Crawling Traffic zur betreffenden Seite schicken.





Source link

Weiterlesen
Kommentar schreiben

Leave a Reply

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert

Online Marketing & SEO

How to: Innovation: 5 Tipps für produktive Co-Creation


Wo Nutzer:innen, Teams und Partner gemeinsam gestalten, entstehen bessere und innovative Produkte. Medien- und Startup-Expertin Ronja Schneider vom Media Lab Bayern erklärt, wie Unternehmen mit Co-Creation Tempo aufnehmen, kreative Ideen freisetzen und technologische Entwicklungen praxisnah integrieren.

In Co-Creation-Prozessen beziehen Unternehmen andere Personengruppen aktiv in die Entwicklung von Produkten oder Dienstleistungen mit ein und nutzen deren Wissen und Erfahrung, um neue Lösungen oder Features zu entwickeln. Durch diese Zusammenarbeit entsteht eine partnerschaftliche Dynamik, die Externe zu Mitgestalter:innen werden lässt. Einsetzbar ist diese Art der Kollaboration in vielen Bereichen – ob in der Produktentwicklung, im Marketing oder bei der Gestaltung neuer Abläufe. Doch wie bringt man einen solchen Prozess erfolgreich in Gang?

Co-Creation: Der Einstieg

Ich arbeite fast täglich mit Startups zusammen, die entweder gerade ihre erste Produktversion entwickeln oder ihr bestehendes Produkt erweitern wollen. Daher weiß ich: Gründer:innen nutzen überdurchschnittlich oft Co-Creation-Prozesse, um sicherzustellen, dass ihre Software auch wirklich Anklang findet und einen Mehrwert für die Zielgruppe stiftet. Dafür gehen sie häufig auf interessierte Unternehmen oder Kund:innen der ersten Stunde zu, beteiligen sie an ihren internen Entscheidungsprozessen und lassen deren Bedürfnisse stark in die initiale Produktentwicklung einfließen. 

Vermutlich ist das der häufigste Weg, auf dem etablierte Unternehmen Teil von Co-Creation-Prozessen werden und meist merken sie schnell, dass der Prozess auch für sie viele Vorteile birgt: Sie lernen neue Technologien und Lösungen kennen, können sie ausprobieren oder gar zu ihrem Vorteil mitgestalten, ohne selbst ein Risiko durch eigene Investitionen einzugehen. Und seien es auch „nur“ zeitliche Ressourcen, um sich in Themen und Technologien initial oder auch tiefergehend einzuarbeiten. 

Aus Unternehmenssicht mag es vielleicht zunächst unattraktiv klingen, an Feedback- und Arbeits-Sessions teilzunehmen oder sich beispielsweise kurze Notizen zur Softwarenutzung zu machen und diese mit anderen zu teilen. Doch wenn die betreffende Lösung dann die notwendigen Effizienzgewinne mit sich bringt, die eigenen technischen Ressourcen schont und sich deshalb trotz voller Roadmap umsetzen lässt: was macht da schon das eine Meeting und die eine zusätzliche E-Mail mehr aus? 

Wer jetzt überzeugt ist und in einen eigenen Co-Creation-Prozess starten möchte: Hier sind 5 Tipps für die erfolgreiche Umsetzung:

1. Momentum nutzen

Wenn die interne Herausforderung groß und deren Lösung akut oder strategisch wichtig ist, dann hat das Thema Momentum. Idealerweise nehmen Unternehmen diesen Schwung mit, um Veränderung anzustoßen und Projekte zu starten. Co-Creation-Zeiträume sollten daher unbedingt kurzgehalten und auf drei bis sechs Monate befristet sein. Das mag für klassische, interne Projekte ambitioniert klingen, doch für Startups und Softwareunternehmen ist das oft bereits vollkommen ausreichend. Während der Laufzeit sollte das Co-Creation-Projekt auch Raum in allen relevanten internen Meetings erhalten, damit der Projektfortschritt und Veränderungen intern sichtbar sind.

2. Regelungen treffen

Unternehmen sind außerdem gut beraten, neben der zeitlichen Frist mit ihren Partnern zusätzlich Regeln zur Kommunikation auf Basis der folgenden Fragen zu vereinbaren: Wie genau wird die gestaltende Natur der Co-Creation-Partnerschaft gelebt? Wie viele und welche Art von Daten oder Input benötigt das Startup? Wie weit kann sich die Unternehmensseite auf kurzfristige Sprints einlassen und wer muss intern aus der oberen Führung bereits im Vorfeld dazu ins Boot geholt werden? Was sind die Restriktionen? Wer sich hier zu Beginn der Zusammenarbeit gut abstimmt, sammelt später auch positive Erfahrungen in der Kollaboration.

3. Transparenz schaffen

Sich Ziele zu setzen, war noch nie verkehrt. Doch in Kooperationen sind sie echte Schlüsselelemente, um sicherzustellen, dass beide Parteien zusammenpassen. Denn die Zielsetzung von Startup und Unternehmen im Rahmen einer Co-Creation können unterschiedlich sein, sollten sich idealerweise aber nicht widersprechen, sondern verstärken. Meine Empfehlung: ein gemeinsames und möglichst konkretes Kooperation Ziel formulieren und dazu passende Meilensteine im Projekt vereinbaren. Darüber hinaus sollten die Rollen, also Aufgaben und Kompetenzen zwischen Unternehmen und Startup, klar aufgeteilt, kommuniziert und festgehalten sein. Das schafft Transparenz und Verbindlichkeit und verhilft dem Projekt ebenfalls zum Erfolg.

4. Wenn es trotz allem nicht läuft…

Wenn die ambitionierten Ziele in der Zusammenarbeit doch nicht erreicht werden, heißt es nicht, dass das gesamte Projekt zum Scheitern verurteilt ist. Hier ist partnerschaftlicher Austausch gefragt: welche Ziele sollten iterativ angepasst oder strategisch anders ausgerichtet werden. Das ist insbesondere dann eine gute Idee, wenn zuvor abseits vom reinen Zahlen Ziel gute, gemeinsame Fortschritte gemacht wurden. 

Im Sinne der Rollenklärung im Projekt kann auch eine Eskalationsmöglichkeit geschaffen werden oder man erreicht durch die zeitliche Begrenzung des Co-Creation-Prozesses ein natürliches Ende der Partnerschaft.

5. Selbst aktiv werden

Natürlich können auch Unternehmen selbst Co-Creation für ihre Herausforderungen einsetzen – etwa dazu, sehr menschen- oder kundenzentrierte Lösungen zu entwickeln. Ob für potenzielle Nutzer:innen oder für weitere interne und externe Stakeholder, Dienstleister:innen entlang der Wertschöpfungskette oder alle anderen Personengruppen, die mit der betreffenden Dienstleistung oder dem Produkt in Verbindung stehen – Co-Creation stellt diese konsequent in den Mittelpunkt des Entwicklungsprozesses. Statt Vermutungen darüber anzustellen, was die betreffende Zielgruppe möchte, arbeiten Unternehmen Seite an Seite mit dieser zusammen. So gelingt es, genau die Produkte und Dienstleistungen zu schaffen, die wirklich gefragt sind.

Fazit

Wer laufend auf neue Trends reagieren muss, kann durch diese Form der Zusammenarbeit die Zukunft zum eigenen Vorteil nutzen und diese unter Einbeziehung verschiedener Perspektiven aktiv mitgestalten. Das gilt nicht nur, aber besonders für die sich ständig wandelnde Medienbranche und alle darin tätigen Startups. 

Die Autorin

Ronja Schneider ist Group Lead Startup im Team des Media Lab Bayern. In dieser Funktion arbeitet sie seit über sechs Jahren mit Startups aus der Medienbranche zusammen und unterstützt sie dabei, sich im Markt zu etablieren.



Source link

Weiterlesen

Online Marketing & SEO

HORIZONT Award: Das sind die Preisträger:innen der HORIZONT Stiftung 2025


Chiara Gerards, Georgia Liadeli, Tobias Kircher, Emma Jacobsen (v.l.n.r.) sind die Preisträger:innen der HORIZONT Stiftung

Die HORIZONT Stiftung würdigt junge Talente, die sich auf dem Karrieresprung befinden. In diesem Jahr werden vier junge Menschen für praxisnahe Forschungsarbeiten und ambitionierte Schritte in Marketing und Kommunikation ausgezeichnet. Das sind die Preisträger:innen.

Berufsberatung kann schon früh und in der Familie gelingen, dafür ist Preisträgerin Chiara Gerards das beste Beispiel. Die ebenfalls mi

Jetzt Angebot wählen und weiterlesen!

1 Monat

19 €

  • zum Testen
  • danach 33,25 € mtl.

12 Monate

279 €

  • anstatt 399 €
  • 120€ sparen

24 Monate

479 €

  • anstatt 798 €
  • 319 € sparen

HORIZONT Digital

  • Vollzugriff auf HORIZONT Online mit allen Artikeln
  • E-Paper der Zeitung und Magazine
  • Online-Printarchiv

HORIZONT Digital-Mehrplatzlizenz für Ihr Team



Source link

Weiterlesen

Online Marketing & SEO

Autoglas-Werkstattkette mit Kultwerbung: Wie CMO Julia Krönlein bei Carglass neue Impulse setzt


Julia Krönlein führt seit dem 1. Januar 2025 das Marketing von Carglass in Deutschland.

Seit Jahresbeginn führt Julia Krönlein das Marketing von Carglass. Die CMO war zuvor bei Bridgestone. Wie sie die Marke weiterentwickeln will, wieso der Kult-Spot bleibt und warum sie weiß, was die Kolleginnen und Kollegen in den Werkstätten alles leisten.

Carglass kann man nicht entkommen. Jedenfalls nicht, wenn man im Auto Radio hört. Auf der A5, auf der A8. Bei Heidelberg, Stuttgart, Ulm, Augsbur

Jetzt Angebot wählen und weiterlesen!

1 Monat

19 €

  • zum Testen
  • danach 33,25 € mtl.

12 Monate

279 €

  • anstatt 399 €
  • 120€ sparen

24 Monate

479 €

  • anstatt 798 €
  • 319 € sparen

HORIZONT Digital

  • Vollzugriff auf HORIZONT Online mit allen Artikeln
  • E-Paper der Zeitung und Magazine
  • Online-Printarchiv

HORIZONT Digital-Mehrplatzlizenz für Ihr Team



Source link

Weiterlesen

Beliebt