Cloudflare vs. KI-Bots: „Die Menschheit braucht vom Menschen gemachte Inhalte“

Stephanie Cohen ist Chief Strategy Officer bei Cloudflare, einem Content Delivery Network (CDN) mit zahlreichen integrierten Sicherheits- und Managementfunktionen, das heute gut 20 Prozent des Internet-Datenverkehrs ausliefert (eigene Angabe). Bevor Cohen zu dem Netzdienstleister kam, arbeitete sie 25 Jahre beim Bankhaus Goldman Sachs, war zuletzt unter anderem auf das Thema Fintech spezialisiert.

In ihrer Position bei Cloudflare, die sie vor einem Jahr antrat, arbeitet sie laut eigenen Angaben “hauptsächlich an strategischen Initiativen, bei denen es um unser Netzwerk und die Infrastruktur” geht. Dazu gehörte zuletzt besonders das Thema KI-Monetarisierung für Kreative und Urheberrechtsinhaber über neuartige KI-Crawler-Filter. Im Interview mit heise online erläutert Cohen, was die Motivation dahinter ist.

heise online: Viele Kreative fragen sich heute, wie sie KI, die immer mehr auf ihre Geschäftsfelder vordringt, monetarisieren können. Sie haben das Gefühl, dass KI-Unternehmen ihre Daten abgreifen und es Nutzern ermöglichen, Texte, Bilder oder Videos in ihrem Stil zu erstellen. Wie sieht Ihr Unternehmen die aktuelle Situation?

Stephanie Cohen: Da Cloudflare mehr als 20 Prozent des Internet-Datenverkehrs ausliefert, haben wir eine beträchtliche Anzahl von Content-Erstellern auf unserer Plattform, große wie kleine. Auf unserer Plattform gibt es aber auch eine beträchtliche Anzahl von KI-Unternehmen, ebenfalls große und kleine. Wir sehen also die Dinge stets im Internet-Maßstab und haben festgestellt, dass sich die Art und Weise dieses Datenverkehrs verändert.

Jemand wie Sie als Journalist beispielsweise investiert Zeit und Mühe, um originelle Ideen zu entwickeln, zu recherchieren und darüber zu schreiben. Sie tun das, weil Sie einen Anreiz dazu haben, da Sie diese Inhalte monetarisieren können, entweder durch Werbung oder durch Abonnements.

Heutzutage lesen die Menschen jedoch oft eher Derivate und Ableitungen dieser Inhalte statt das Original. Und womit tun sie das? Sie nutzen KI. In einer Welt, in der alle nur noch Derivate lesen, müssen wir also ein funktionierendes Geschäftsmodell finden, damit wir ein nachhaltiges Ökosystem schaffen können, in dem sowohl Content-Ersteller als auch KI-Innovatoren erfolgreich sein können.

Warum interessiert Cloudflare das überhaupt?

Unsere Mission ist es, zum Aufbau eines besseren Netzes beizutragen. Aber damit es ein Internet gibt, braucht man hochwertige, originelle und vielfältige Inhalte. Ohne diese gibt es wirklich keinen Grund mehr für das Netz. Um es ganz klar zu sagen: Es geht um das Überleben des Internet. Deshalb hat Cloudflare beschlossen, die Standardeinstellungen in unserem Netzwerk zu ändern, um die Voraussetzungen für neue Geschäftsmodelle im Zusammenhang mit KI zu schaffen.

Wie genau machen Sie das?

Wir stellen für alle neuen Kunden und neuen Domains im Netzwerk auf ein berechtigungsbasiertes System um. Erstens blockieren wir standardmäßig KI-Crawler für Trainingszwecke. Wir blockieren sie auf Netzwerkebene oder mithilfe von robots.txt. Bei der Anmeldung können Sie als Kunde entscheiden, ob Sie diese Funktion aktiviert lassen oder deaktivieren möchten.

Zweitens können Sie KI-Crawler auch individuell verwalten und entscheiden, ob Sie sie überhaupt auf Ihrer Website zulassen möchten, ob Sie ihnen das Training mit Ihren Daten erlauben wollen oder ob sie beispielsweise nur Suchanfragen durchführen dürfen.

Und drittens haben wir einen derzeit noch privaten Betatest gestartet, bei dem Website-Betreiber KI-Unternehmen fragen können, ob sie für das Crawling eine Gebühr zahlen möchten.

Diese drei Dinge sind nur der erste Schritt zur Schaffung eines nachhaltigeren Ökosystems, in dem KI und Content-Ersteller beide gedeihen können.

Wie lösen Sie das auf technischer Ebene und stellen sicher, dass KI-Unternehmen dies nicht umgehen?

Wir tun hier Einiges. Ein Beispiel: Wenn Sie eine von uns erstellte Website namens goodaibots.com besuchen, sehen Sie, ob die verschiedenen KI-Crawler ihre IP-Adressen bekannt geben, ob sie ihre Identität kryptografisch überprüfen lassen, ob sie robots.txt befolgen und so weiter.

In der Praxis haben wir technisch mehrere Möglichkeiten, Bots im Allgemeinen und KI-Bots im Speziellen zu blockieren. Erstens verfügen wir über ein verifiziertes Crawler-Programm, das mittlerweile von den meisten bekannten KI-Crawlern verwendet wird und uns mitteilt, wer sie sind. Die KI-Unternehmen geben auch die von ihnen verwendeten IPs bekannt.

Zweitens haben wir vor einigen Wochen ein Werkzeug namens WebBot Auth angekündigt, mit dem Bots wie erwähnt ihre Identität kryptografisch überprüfen lassen können, was ein wichtiger nächster Schritt ist. Es gibt einen kryptografischen Handshake, der bestätigt, dass Sie als Bot der sind, für den Sie sich ausgeben. Wir glauben, dass dies die Sicherheit im Internet allgemein erhöhen wird.

Der letzte Punkt ist, dass wir Unternehmen, die mehrere Aktivitäten in einem Crawler kombinieren, über robots.txt Anweisungen geben können. Unserer Erfahrung nach halten sie sich im Allgemeinen daran, zumindest die bekannten Crawler.

Welche Geschäftsmodelle sehen Sie sich daraus entwickeln?

Wir hoffen, dass durch die Schaffung der Voraussetzungen eines solchen nachhaltigen Systems viele verschiedene Geschäftsmodelle entstehen werden, die wir und andere testen und weiterentwickeln können.

Das von mir schon erwähnte Betamodell beispielsweise heißt „Pay per Crawl“ und bedeutet, dass Sie als Website-Betreiber oder Content-Ersteller einen bestimmten Betrag pro Crawl verlangen können oder dass der Crawler den Höchstpreis angibt, den er zu zahlen bereit ist.

Diese Kommunikation ist übrigens eine bilaterale Kommunikation, das heißt, es handelt sich um einen privat bleibenden Handshake: Er findet nur zwischen dem Crawler und den Content-Erstellern statt. Wenn die Preise übereinstimmen, findet der Crawl dann statt und sie werden bezahlt. Wenn keine Übereinstimmung vorliegt, erhält der Crawler eine 402-Antwort.

Es gibt sicherlich ausgefeiltere Lösungen wie man sie aus dem Programmatic-Advertising-Bereich kennt. Aber wir sind der Meinung, dass es am besten ist, mit etwas anzufangen, das einfach und leicht verständlich ist. Das war der Beginn. Und wir werden jetzt herausfinden, ob sich der Markt so entwickeln kann, dass sowohl die Ersteller von Inhalten als auch die KI-Firmen davon profitieren.