🕵️‍♂️ Pay per Crawl: Wer crawlt, zahlt.

Okay, jetzt wird’s spannend: 20 % des globalen Internet-Traffics laufen über Cloudflare. Man könnte das Unternehmen als Internet-Infrastruktur-Unternehmen bezeichnen. Kurz gesagt sorgt Cloudflare dafür, dass deine Webseiten schnell laden und sicher bleiben – schützt sie also vor Spam-Bots, Hacker-Angriffen und Datendiebstahl.

Und genau dieser Riese sagt jetzt: „KI, wenn du meine Kunden crawlen willst – bezahl gefälligst.“

Und keine Sorge, dass Thema hört sich zunächst etwas technisch an aber ist für uns im Marketing extrem relevant.

Was wie ein kleiner Schalter in der Server-Einstellung aussieht, könnte den gesamten Deal zwischen Content-Creatorn und KI-Firmen auf den Kopf stellen.

Bisher war’s simpel: Du produzierst Content, Google crawlt, du bekommst (menschlichen) Traffic zurück. Doch dieser „Traffic-Vertrag“ gilt immer weniger.

Ähnlich wie Google sich die besten Snippets krallt, zapfen KI-Chatbots (ChatGPT, Claude …) heute Webseiten massenhaft an und liefern kaum noch Besucher zurück. Eine KI crawlt tausend Seiten, ohne einen einzigen User zu schicken? Ganz normal.

Insbesondere seit dem Aufkommen von KI ist die Mehrheit des globalen Website-Traffics auf Bots statt auf Menschen zurückzuführen.

➡️ Was schätzt ihr, wie viele Bot-Besuche, bzw. wie oft “crawlt” eine KI eure Website, bevor sie euch EINEN menschlichen Besucher durch schickt (nennt man übrigens “Crawl-to-Refer-Ratio”)

• Google ➡️ 9,4 crawls für EINEN menschlichen Besucher

• ChatGPT ➡️ 1.600 crawls für EINEN menschlichen Besucher

• Claude ➡️ 70.900 crawls für EINEN menschlichen Besucher

Claude zieht sich also 71.000x Informationen von deiner Website, bevor die KI dir einen einzigen menschlichen Besucher beschert. Traffic bekommt hier nochmal einen ganz anderen Stellenwert. Insbesondere wenn man je nach Publisher für Traffic bezahlt oder auch Werbebanner platziert.

Naja Cloudflare hat darauf jetzt auf jeden fall eine Antwort: „Pay per Crawl.“

Publisher können entscheiden:
Blockieren. Kostenlos zulassen. Oder: Crawlen gegen Gebühr.

Technisch wird das über den fast vergessenen HTTP-Statuscode 402 („Payment Required“) geregelt. Cloudflare spielt dabei Sheriff, Payment-Abwickler und Türsteher in einem.

👮 Der neue Sheriff im Netz

Viele große Medienhäuser machen mit: Condé Nast, TIME, The Atlantic, sogar die Associated Press sagen: „KI-Bots? Erst zahlen, dann lesen.“

Und ja: Sperren konnte man Bots schon immer (robots.txt lässt grüßen). Aber Cloudflare setzt Defaults und Defaults sind Macht.

Mit einem Klick werden ganze Websites für KI-Bots unsichtbar. Und wer trotzdem crawlt, fliegt raus.

Die Message: Wer Inhalte will, muss fair zahlen. Oder wie Cloudflare-CEO Prince es nennt: „Content Independence Day.“PR-technisch sehr clever. Tatsächlich ist es der Startschuss für einen offenen Machtkampf.

🪃 Chance oder Bumerang?

Klingt nach fairer Bezahlung? Ist es vielleicht auch.
Aber es stellt Marken, Publisher & Plattformen vor eine knallharte Frage: Content oder Kontrolle?

Lässt du dich crawlen und verschenkst menschliche Reichweite in der KI-Welt?
Oder kassierst du pro Abruf – riskierst aber, dass dich ChatGPT & Co. komplett aussperren?

Gerade kleine Anbieter könnten so Sichtbarkeit verlieren, weil große Plattformen Deals mit den Großen machen und den Rest links liegen lassen.

👀 Warum das Marketer jetzt etwas angeht

Das Thema ist kein Nerd-Kram für Server-Admins. Es ist strategisch. Besonders für Content-erstellende Marketing-Teams.

Denn wenn KI-Modelle zum Gatekeeper für Sichtbarkeit werden, entscheidest du morgen nicht nur, WER deine Inhalte sieht, sondern WIE du dafür bezahlt wirst (oder nicht).

Fragen, die du dir stellen solltest:

• Welchen Wert haben deine Inhalte?

• Wäre „Pay per Crawl“ für dich ein Revenue-Stream oder ein Risiko für Reichweite?

• Brauchst du überhaupt Reichweite in KI-Chatbots?

Und da das Thema noch recht neu ist und es bisher kaum verlässliche Strategien gibt, habe ich hier einmal eine kleine Decision Map die die Entscheidung hoffentlich etwas vereinfacht:

🗺️ Decision Map: Pay per Crawl – Deal oder No Deal?

 1. Kennst du den Wert deiner Inhalte?
✅ Du hast exklusive, hochwertige Inhalte, die KI-Modelle brauchen? → Monetarisierung kann sich lohnen.
❌ Deine Inhalte sind leicht ersetzbar, Standard-Wissen? → Reichweite ist wichtiger.

2. Was ist dir wichtiger: Reichweite oder Erlös?
✅ Du willst Geld sehen, auch wenn du Reichweite verlierst? → Zugriff kostenpflichtig machen.
❌ Du willst in KI-Answers, Chatbots & AI Overviews sichtbar bleiben? → Freier Zugang.

3. Hast du genug Verhandlungsmacht?
✅ Große Publisher/Brand mit starker Marke? → Besserer Hebel für faire Deals.
❌ Kleines Team, Nischen-Content? → Aufpassen: Sichtbarkeit könnte wegbrechen.

4. Wer ist deine Zielgruppe?
✅ B2B mit klarem Fachpublikum? → Pay per Crawl kann zusätzlichen Umsatz bringen.
❌ B2C, Traffic-getrieben, Werbeerlöse? → Kostenloser Zugriff oft sinnvoller.

Zusammenfassend:
Wenn deine Inhalte einzigartig & unverzichtbar für KI sind, kannst du crawlen lassen – aber nur gegen Cash.

Wenn deine Reichweite über AI-Search & Chatbots essentiell ist, dann lass deine Website fürs Crawling offen aber finde andere Wege, deinen Wert zu schützen.

Sollte das Modell von Cloudflare funktionieren, dürfte das auch weitere Unternehmen motivieren ähnliche Wände hochzuziehen.

🍿 KI-Snacks

Es war (zum Glück) mal etwas ruhiger in der KI-Welt. Ein paar Updates gab es trotzdem. Hier die KI-News der Woche. Wie immer kurz & knapp für dich zusammengefasst. Let’s go!

💼 OpenAI wird Beratungsfirma
OpenAI startet ein maßgeschneidertes Consulting-Angebot für Unternehmen und Behörden. Los geht’s ab 10 Mio. US-Dollar. Erste Kunden: das US-Verteidigungsministerium und die App Grab. OpenAI schickt dafür eigene Engineers direkt ins Unternehmen, um GPT-4o auf interne Workflows zu trimmen. Damit greift man Palantir & Accenture frontal an und will langfristig Deals über eine Milliarde Dollar klar machen. Mehr hier.

📉 Gartner: 40 % aller AI-Agent-Projekte scheitern
Laut Gartner werden bis 2027 über 40 % aller Agentic-AI-Projekte gecancelt – zu teuer, zu riskant, zu wenig Mehrwert. Der Hype um selbständige KI-Agenten sei oft nur „Agent Washing“. Trotzdem: Wer Use Cases klug auswählt, kann von Agentic-AI profitieren. Bis 2028 sollen immerhin 15 % aller täglichen Entscheidungen autonom durch KI getroffen werden. Mehr hier.

💸 Meta schnappt sich Apples Top-AI-Chef
Meta baut sein Superintelligenz-Team weiter aus und schnappt sich nach Top-Angestellten von OpenAI, jetzt auch Apples Top-Kopf: Ruoming Pang. Er war verantwortlich für die Foundation Models, Genmoji und der neuen Siri. Meta lockt ihn mit einem Gehaltspaket im zweistelligen Millionenbereich. Bei Apple sorgt der Abgang für Umbrüche: Die KI-Abteilung wird neu aufgestellt, interne Modelle geraten ins Stocken und man testet vermehrt Third-Party-Lösungen wie OpenAI. Mehr hier.

🎬 Veo 3 jetzt in Gemini für DE verfügbar
Googles Video-Generator Veo 3 ist ab sofort für Gemini Pro-Abonnent:innen auch in Deutschland nutzbar. Highlights: 8-Sekunden-Clips mit Sound und SynthID-Wasserzeichen. Deine wilden Prompts kannst du jetzt also direkt in virale Clips verwandeln. Mehr hier.

☁️ OpenAI schließt Mega-Deal mit Oracle
OpenAI sichert sich ab 2028 Cloud-Kapazitäten bei Oracle für satte 30 Mrd. Dollar jährlich. Damit sollen 4,5 Gigawatt Rechenleistung über neue US-Rechenzentren fließen als Teil des Stargate-Projekts. Ziel: Unabhängiger von Microsoft und flexibel bei steigender Nachfrage. Mehr hier.

🇫🇮 Groq eröffnet erstes EU-Rechenzentrum
Der Nvidia-Konkurrent Groq (nicht zu verwechseln mit Grok von Elon Musik) startet mit Equinix ein erstes Datacenter in Europa. Standort: Helsinki. Groq setzt auf eigene LPUs, spezialisiert fürs KI-Inferencing, und will damit den Hype um schnellere, günstigere KI-Auswertungen bedienen. Zielgruppe: Firmen, die Sovereign AI in Europa wollen. Mehr hier.

Not All AI Notetakers Are Secure. Here’s the Checklist to Prove It.

You wouldn’t let an unknown vendor record your executive meetings, so why trust just any AI?

Most AI notetakers offer convenience. Very few offer true security.

This free checklist from Fellow breaks down the key criteria CEOs, IT teams, and privacy-conscious leaders should consider before rolling out AI meeting tools across their org.

Get the Security Checklist

🤖 Microsoft streicht Jobs für mehr AI

Microsoft will bis zu 9.000 Jobs streichen, vor allem in Gaming-Bereichen wie Xbox, ZeniMax oder Turn 10. Laut interner Memos werden geplante Titel wie Perfect Dark sogar komplett gecancelt.

Grund: Mehr Fokus auf AI. Dafür investiert Microsoft 80 Milliarden Dollar in Rechenzentren und Modelle.

Der Umbau ist Teil einer größeren Wette: AI soll das nächste halbe Jahrhundert prägen, so Microsoft. Gleichzeitig brennt der War for Talent, während Meta & Co. Top-Leute mit Mega-Boni abwerben.

Die Tech-Branche sortiert sich gerade radikal neu, weshalb das vermutlich nicht die letzten Layoffs gewesen sein dürften.

👉 Mehr dazu bei BBC

🔗 LinkedIn zeigt jetzt Link-Klicks aus Posts

LinkedIn erweitert seine Post-Analytics: Ab sofort können erste Nutzer:innen sehen, wie viele Klicks externe Links im Post bekommen haben.

Neben Profilaufrufen und neuen Followern ist das Link Engagement eine der meistgewünschten Metriken, vor allem für Marketer und Creator, die auf CTAs und Traffic setzen.

Das Feature scheint noch im Test zu sein und wird wohl zuerst für Premium-User ausgerollt. Wenn LinkedIn das breit öffnet, könnte es Link-Posts wieder spannender machen.

On top: Wer Artikel oder Newsletter auf LinkedIn schreibt, kann jetzt ein Video als Cover-Visual nutzen. Heißt: Mehr Aufmerksamkeit direkt beim Scrollen und ein kleiner Push fürs Content-Branding.

👉 Mehr dazu bei Onlinemarketing.de und Lindsey Gamble

📏 Bald Ad-Preise nach Bildgröße?

Elon Musk hat angekündigt, dass X (aka Twitter) Ads künftig nach vertikaler Größe abgerechnet werden. Da stellt sich mir zwar zunächst die Frage wer überhaupt auf X wirbt.. aber muss jeder selbst wissen. 🙃 

Heißt: Je mehr Platz deine Anzeige im Feed einnimmt, desto mehr zahlst du.

Hintergrund ist laut Musk der „saubere Look“ des Feeds und dass riesige Visuals die Nutzererfahrung nicht stören sollen. Hier ein Beispiel wie unterschiedliche Formate im Feed aussehen können:

Ob das clever oder nur ein Cash-Grab ist? Andere Plattformen machen sowas längst. Aber gerade auf X, wo Visuals und Videos oft größer ausgespielt werden, könnte das deinen Mediaplan beeinflussen, wenn der Preisaufschlag hoch ausfällt.

Noch ist unklar, wie stark der Preis pro Placement steigen wird. Werbetreibende auf der Plattform sollten jedenfalls genau prüfen, ob mehr Fläche wirklich mehr bringt oder ob sich kleinere Creatives auch lohnen.

👉 Mehr dazu auf SocialMediaToday

📊 YouTube lässt Creator jetzt Daten mit Brands teilen

YouTube rollt ein neues Setting aus: Creator können ihre Channel- und Audience-Daten direkt mit Marken teilen, um leichter für Ads, Brand Deals oder Affiliate-Kampagnen entdeckt zu werden.

Klingt zum einen nach mehr Monetarisierungschancen für Creator aber auch nach mehr Transparenz für Werbetreibende – was ich persönlich sehr begrüße.

Denn die Creator Economy ist oftmals doch etwas intransparent mit ihren tatsächlich Zahlen. Diese direkten Daten aus erster Hand, können uns als Marketer definitiv helfen.

Die Freigabe ist freiwillig und standardmäßig deaktiviert. Wer mitmacht, könnte für besser bezahlte Ads oder Shopping-Deals relevanter werden – riskiert aber auch, dass Brands künftig mehr Daten fordern, um Budgets zu verhandeln.

Für Marketer heißt das: Creator-Kooperationen werden planbarer, weil Zielgruppen-Insights direkt vorliegen.

Für Creator: ein Potenzial-Booster – wenn man bereit ist, ein Stück mehr Einblick zu geben.

👉 Mehr dazu auf Threads von vidiq