Online Marketing & SEO
Cloudflare plant Publisher Opt-out für AI Overviews
Mit der neuen Content Signals Policy möchte das einflussreiche Web-Unternehmen Cloudflare Publishern ermöglichen, ihre Inhalte KI-Diensten wie AI Overviews in der Suche vorzuenthalten, ohne die Indexierung zu gefährden. Damit das klappt, müsste Google aber mitspielen.
Clouflare möchte das Open Web fördern und Seitenbetreiber:innen endlich mehr Kontrolle darüber geben, wie ihre Inhalte in der zeitgemäßen Suche eingesetzt werden. Denn aktuell müssen diese sich entscheiden, ob sie ihre Inhalte indexieren lassen oder bestimmte Crawler wie den GoogleBot, PerplexityBot oder GPTBot ausschließen. Letzteres minimiert die Sichtbarkeit, doch bei der Indexierung lässt sich nicht vermeiden, dass der Content auch für KI-Dienste wie AI Overviews oder den AI Mode genutzt wird. Und diese verringern nachweislich die Click-Throughs, werden von manchen Medien und Verbänden sogar als illegitime Lösung zur Content-Aneignung eingeordnet. Während es bereits Kartellbeschwerden und Klagen gegen die AI Overviews von Google gibt und im UK sogar eine Opt-out-Möglichkeit verhandelt wird, setzt Cloudflare auf eine innovative Lösung im Quasi-Standardprotokoll robots.txt: Content Signals Policy. Damit sollen AI-Dienste ausgeschlossen werden können, wobei die Indexierung für die Web-Suche weiterläuft. Das Modell hat aber einen Haken.
Cloudflare blockiert AI Crawler per Default
– Pay per Crawl als Alternative
Das plant Cloudflare, um mehr Kontrolle über AI Overviews zu bieten
Ungefähr 20 Prozent aller Websites laufen über das Netzwerk des Internet- und Cybersicherheitsunternehmens Cloudflare. Das unterstreicht bereits, welchen Einfluss das Unternehmen im Digitalmarkt nehmen könnte. 15 Jahre ist das Unternehmen jetzt alt – genau wie Instagram. Dieser Tage wurde es sogar in Fortunes 2025 Change the World-Liste mit aufgenommen.
We’re excited to celebrate that Cloudflare has been named to Fortune’s 2025 Change the World list. #ChangetheWorld pic.twitter.com/0WRLgUTYZn
— Cloudflare (@Cloudflare) September 24, 2025
Zuletzt hat Cloudflare bereits die Blockierung von AI Crawlern als Default für vom Unternehmen betriebene Seiten eingeführt und ein Pay-per-Crawl-Modell vorgestellt. Dieses Modell soll Publishern Umsatz liefern, wenn Unternehmen ihre Inhalte für KI-Dienste crawlen und aufnehmen möchten. In einem ähnlichen Kontext soll Microsoft derzeit an einem Publisher Content Marketplace arbeiten, der die Publisher für die Nutzung von Inhalten in KI-Diensten wie etwa dem Copilot bezahlt.
Mit der neuen Content Signals Policy möchte Cloudflare nun mehr Kontrolle über die Content-Nutzung bieten, wenn Crawler darauf zugreifen dürfen. In diesem Sinne gilt die Lösung als Ergänzung zu robots.txt.
To address the concerns our customers have today about how their content is being used by crawlers and data scrapers, we are launching the Content Signals Policy. #BirthdayWeek
— Cloudflare (@Cloudflare) September 24, 2025
Wie die Kontrolle im robots.txt-Kontext aussehen kann
In diesem Protokoll können Seitenbetreiber:innen Crawlern Zugang zu allen Bereichen einer Seite gewähren oder den Zugang auch verbieten. In den Dateien können SEOs auch Kommentare integrieren, aber die werden von den Crawlern nicht beachtet. Bei der Verfeinerung der Vorgaben gibt es aber noch Nachholbedarf. Zwar können bestimmte Pfade – etwa ein Archiv – ausgeschlossen werden. Allerdings lässt sich nicht anordnen, wie die Unternehmen hinter den Crawlern mit den Inhalten weiter verfahren. Kurzum: Werden Inhalte nicht vorenthalten und gecrawlt, kann zum Beispiel Google diese in die Suche samt AI Overviews und AI Mode integrieren und selbst profitieren. Und die Publisher erhalten durch KI-Lösungen oft weniger Klicks. Zudem nimmt Cloudflare an, dass zwischen 2029 und 2031 der Bot Traffic den menschlichen überholen wird.
Deshalb sollen die Seitenbetreiber:innen künftig ihre Inhalte zur Indexierung freigeben, aber zugleich einstellen können, dass sie für Dienste wie AI Overviews oder das Traininig nicht zur Verfügung stehen. Ein möglicher robots.txt-Element könnte so aussehen.
User-Agent: * Content-Signal: search=yes, ai-train=no Allow: /
Enabling the ability to express preferences was overdue,
erklärt Cloudflare im Blog Post, über den du noch mehr Beispiele und Details mitnehmen kannst.
Ein großes Problem gibt es mit dieser neuen Lösung jedoch noch. Und Cloudflare verweist selbst darauf. Die Vorgaben können nur funktionieren, wenn andere Player sie wahrnehmen und akzeptieren. Damit ist vor allem Google gemeint, aber auch Perplexity und Co. könnten sich angesprochen fühlen. Google hat bisher nicht gesagt, dass die Suchmaschine den Vorgaben folgen würde, was sie für viele nutzlos machen könnte. Immerhin könnte Google auch argumentieren, dass die Aufteilung von KI-Diensten und klassischer Suche bei einer Indexierung für das Unternehmen keinen Sinn ergibt, weil AI Overviews und AI Mode so eng mit dem neuen Suchkontext verknüpft sind. Im Juli gab Cloudflare CEO Matthew Prince auf X noch an, Google dazu bringen zu wollen, eine granularere Auswahl bei der Indexierung zu ermöglichen. Es gibt also Bemühungen, dedizierte Ausschlüsse für die AI Overviews zu ermöglichen; doch der Erfolg mag mit Google stehen und fallen.
Opt-out für AI Overviews?
Warum Publisher auf Google-Änderung hoffen
