Was KI-Crawler wirklich zurückgeben

Seit zwei Jahren lautet der Rat, die eigene Website für KI-Systeme gut lesbar zu machen — in der Annahme, gelesen zu werden führe zu Zitaten und Zitate führten zu Besuchern. Die ersten beiden Schritte passieren tatsächlich. Der dritte lässt sich inzwischen messen, und die Zahlen sehen anders aus, als der Rat nahelegte. Hier ist, wie der Tausch wirklich aussieht, was er dich im Hosting kostet und was du tun kannst — samt der seit diesem Jahr neuen Möglichkeit, ihn abzurechnen.

Gelesene Seiten pro vermitteltem menschlichen Besucher

Cloudflare Radar, Q1 2026. Das Verhältnis zählt abgerufene Seiten gegen menschliche Klicks, die auf dieselbe Website zurückverwiesen werden. Es ist ein netzweiter Durchschnitt über Websites bei Cloudflare — dein eigener Wert wird abweichen, aber die Aussage steckt in der Größenordnung, nicht in den Nachkommastellen. Googlebot steht als Referenz dafür, wie ein Such-Crawler aussieht, der tatsächlich Traffic schickt; die Zahl stammt nicht aus derselben Messung.

Der Tausch, dem niemand zugestimmt hat

Ein Such-Crawler und eine Website hatten immer eine Abmachung. Der Crawler nimmt deine Seiten und schickt dir dafür Menschen, die genau danach gesucht haben. Das Verhältnis war nie eins zu eins, aber nah genug, dass es niemand als Tausch empfand.

Ein KI-Crawler nimmt dieselben Seiten und gibt im gemessenen Durchschnitt fast nichts zurück. Inhalte werden im industriellen Maßstab gelesen, in einer Antwort aufgelöst, und der Mensch, der sie gebraucht hätte, kommt nie bei dir an. Wenn deine Website von Seitenaufrufen lebt, ist das kein Ärgernis — dann wird still das Geschäftsmodell abgeschaltet, während die Traffic-Kurve weiter beschäftigt aussieht.

Was es kostet, bevor jemand kommt

Der erste Kostenpunkt sind Bandbreite und CPU. Ein Crawler, der Zehntausende Seiten zieht, ist ein Lastmuster, und auf Shared- oder Einsteiger-Hosting konkurriert er mit echten Besuchern um dieselben Ressourcen. Websites auf knappen Tarifen erleben das als zähe Nachmittage ohne passenden Anstieg der Sitzungen — und das ist wirklich schwer zu diagnostizieren, wenn du deine Logs nicht nach User Agent ansiehst.

Der zweite Kostenpunkt ist analytisch. Ungefilterter Bot-Traffic bläht genau die Zahlen auf, auf die du Entscheidungen stützt: welche Seiten beliebt wirken, wie viel Traffic du einplanst, welche Artikel eine Auffrischung zu verdienen scheinen. Wenn du deine Logs noch nie nach User Agent aufgeteilt hast, ist diese Aufteilung meist der überraschendste Report des Jahres.

Drei Haltungen, und keine davon offensichtlich richtig

Du kannst alles erlauben, mit dem Argument, dass Präsenz in KI-Antworten Marke aufbaut, auch wenn sie nie zu einem Klick wird. Dieser Effekt ist real, und es ist vermutlich die Haltung, die die meisten kleinen Unternehmen einnehmen sollten — denn die Alternative heißt, an dem Ort zu fehlen, an dem immer mehr Menschen ihre Fragen stellen.

Du kannst blockieren, über robots.txt oder eine CDN-Regel, was Inhalte und Server schützt und dich vollständig aus KI-Antworten entfernt. Und du kannst neuerdings lizenzieren: Cloudflares Pay-per-Crawl nutzt eine HTTP-402-Antwort mit signiertem Payment-Header, sodass einem Crawler ein Preis pro Anfrage genannt wird, statt ihn nur zuzulassen oder abzuweisen. Diese dritte Option macht aus einer Erlaubnisfrage eine kaufmännische.

Das Datum für den Kalender

Ab dem 15. September 2026 blockiert Cloudflare Crawler mit gemischter Nutzung standardmäßig auf jeder Seite, die Werbung trägt. Gemischte Nutzung heißt: ein Bot, der sowohl für die Suche indexiert als auch für das Modelltraining sammelt — also die meisten. Wenn deine Website hinter Cloudflare liegt und über Werbung Geld verdient, ändern sich deine Voreinstellungen, ohne dass du etwas tust. Das solltest du wissen, bevor sich deine Traffic-Zusammensetzung verschiebt, nicht danach.

Der praktische Schritt ist kleiner, als er klingt: schau nach, was dein CDN gerade tut, entscheide bewusst statt per Voreinstellung, und schreib die Entscheidung dorthin, wo du sie in einem Jahr wiederfindest. Die Einstellung, die dich überrascht, ist immer die, die du nicht selbst gewählt hast.

Was das nicht bedeutet

Es bedeutet nicht, dass die Arbeit an der Lesbarkeit umsonst war. Saubere Struktur, eindeutige Fakten und korrektes Schema sind das, was ein Zitat einbringt, und ein Zitat lohnt sich auch bei schlechter Klickrate — es setzt deinen Namen in die Antwort, wenn jemand nach einer Empfehlung fragt. Die Mechanik steht in unserem GEO-Guide, und wie lange es bis zum ersten Zitat dauert ist eine eigene, langsamere Frage.

Es bedeutet aber, dass Traffic das falsche Versprechen an dich selbst ist. Miss diesen Kanal wie eine Markenkampagne — Suchanfragen nach deinem Namen, direkte Anfragen, genannt zu werden, wenn jemand um eine Empfehlung bittet — und nicht als Referral-Zeile, die nie in Menge kommen sollte. Wenn dein Reporting immer noch mit Sitzungen beginnt: die Kennzahlen, die stattdessen taugen, stehen hier.

Quellen

Zahlen im September 2026 geprüft. Die Verhältnisse sind netzweite Durchschnitte und als Größenordnung zu lesen, nicht als Zusage für eine einzelne Website.

• TechCrunch — Cloudflares neue Regel drängt KI-Firmen dazu, für Inhalte von Publishern zu zahlen ↗

  Der Start von Pay-per-Crawl: standardmäßiges Blockieren von KI-Crawlern für neue Domains und ein Marktplatz, auf dem Publisher einen Zugangspreis festlegen.

• Digital Applied — Zugriffssteuerung für KI-Crawler: die Entscheidungsmatrix 2026 ↗

  Quelle der Verhältniszahlen in der Tabelle (Cloudflare Radar, Q1 2026) und der Änderung vom 15. September 2026 zu Crawlern mit gemischter Nutzung auf werbetragenden Seiten.

• Learn & Work Ecosystem Library — Pay-per-Crawl ↗

  Der Mechanismus selbst: HTTP 402 Payment Required mit Ed25519-signierten Payment-Headern, abgerechnet pro Anfrage.