KI-Agenten auf deiner Website tracken: Wer sie sind, was sie tun, wie du sie misst

TL;DR

• KI-Agenten sind längst auf deiner Website – aber die meisten Analytics-Setups sehen sie nicht. Es gibt drei Klassen: geplante Crawler, nutzergetriggerte Abrufe (ChatGPT-User, Perplexity-User) und agentische Browser (Comet, Atlas, Claude im Browser), die wie Menschen aussehen.
• Was sie tun (Branchen-Benchmark, April 2026): rund 70 % Produkt- und Suchseiten, gut 9 % Login-/Auth-Routen, gut 3 % bereits Checkout und Bezahlung. Browser-Agenten stellen rund 71 % des Agenten-Traffics.
• Messen geht nur in Schichten: Server-Logs (User-Agents + IP-Verifikation), Web-Analytics (nur Referral-Sicht), Bot-Management am Edge – und künftig kryptografisch per Web Bot Auth (RFC 9421).
• Key-Takeaway: Behandle Agenten als eigenes Besuchersegment mit eigenem Funnel – nicht als Bot-Störgeräusch. Unten: Zahlen, Erkennungsmethoden Schritt für Schritt und ein ehrlicher Blick auf die Grenzen.

Ein wachsender Teil deiner „Besucher" ist kein Mensch mehr – und auch kein klassischer Crawler. Es sind Agenten: Software, die im Auftrag einer echten Person deine Seiten liest, Produkte vergleicht, Formulare ausfüllt und in ersten Fällen sogar bezahlt. Dieser Beitrag ordnet die Datenlage aus mehreren Studien, erklärt, was Agenten auf Websites konkret tun, warum GA4 sie größtenteils nicht sieht, und zeigt, wie du sie sauber misst.

Erst die Begriffe: Crawler, Fetcher, Agent

„KI-Traffic" ist keine homogene Masse. Für die Messung musst du drei Klassen trennen, weil sie sich technisch völlig unterschiedlich verhalten:

Die dritte Klasse ist die, um die es in diesem Beitrag vor allem geht – und die am schwersten zu fassen ist. Nach dem Monats-Benchmark von HUMAN Security (April 2026) entfallen rund 71 % des beobachteten Agenten-Traffics auf Browser-Agenten, angeführt von Perplexitys Comet (48,1 %) und OpenAIs Atlas (21,3 %), gefolgt von der Claude-Browser-Erweiterung (17,3 %) und dem ChatGPT Agent (8,6 %). Diese Agenten kommen mit allem, was ein Mensch auch mitbringt: User-Agent eines normalen Browsers, Cookies, Sessionverlauf, JavaScript-Ausführung.

Was Agenten auf Websites tatsächlich tun

Der spannendste Teil des HUMAN-Benchmarks ist die Aufschlüsselung nach Seitentypen – also die Antwort auf die Frage „was machen die eigentlich bei mir?":

Zwei Lesarten daraus. Erstens: Agenten sind heute überwiegend Rechercheure – sie vergleichen Produkte, lesen Inhalte und führen Suchen aus, stellvertretend für Menschen, die eine Kaufentscheidung oder eine Informationsfrage haben. Zweitens, und das ist die eigentliche Nachricht: Login und Checkout sind keine Theorie mehr. Gut 12 % der Agenten-Aktivität berührt Auth- und Konto-Routen, gut 3 % bereits Bezahlvorgänge. Wie das Bezahlen technisch abgesichert wird, haben wir im Beitrag zum AP2 Agent Payments Protocol beschrieben.

Auch die Branchenverteilung ist deutlich: Medien (45,6 %), E-Commerce (38,2 %) und Reise (14,1 %) ziehen zusammen 98 % des Agenten-Traffics an. Wer in diesen Branchen arbeitet, hat das Thema bereits auf der Website – ob gemessen oder nicht. Bemerkenswert am Monatsvergleich: Behörden-Websites (+254 %) und SaaS (+41,5 %) wachsen am schnellsten, von kleiner Basis.

Warum deine Analytics das nicht zeigt

Hier liegt das Kernproblem, und es hat zwei entgegengesetzte Seiten:

Crawler und Fetcher sind unsichtbar, weil sie kein JavaScript ausführen. GA4, Matomo und ähnliche Tools messen per JavaScript-Tag. GPTBot, ClaudeBot und auch die nutzergetriggerten Fetcher rendern in der Regel kein JavaScript – sie tauchen in deinem Web-Analytics schlicht nicht auf. Sichtbar sind sie nur in den Server-Logs. (Dasselbe Rendering-Verhalten ist übrigens der Grund, warum clientseitig gerenderte Inhalte für KI-Systeme unsichtbar sind – siehe der Beitrag zu Hydration und SEO.)

Browser-Agenten sind unsichtbar, weil sie zu menschlich aussehen. Comet, Atlas und Co. führen JavaScript aus, akzeptieren Cookies und erzeugen Sessions – sie erscheinen in GA4, aber als normale Nutzer. Ohne zusätzliche Signale kannst du sie nicht von Menschen unterscheiden. Deine Engagement-Metriken, Conversion-Raten und Zielgruppen-Segmente enthalten also bereits einen unbekannten Agenten-Anteil.

Wichtig zur Abgrenzung: Der „AI-Traffic", den GA4 seit dem AI-Assistant-Channel ausweist, ist etwas anderes – das sind Menschen, die über einen Link aus ChatGPT und Co. kommen (Referral-Sicht). Wie du diese Klicks sauber erfasst, zeigt die Anleitung zur Custom Channel Group für AI-Traffic. Agenten-Tracking beantwortet die andere Frage: Wer besucht meine Seite maschinell, bevor oder statt eines menschlichen Klicks?

Die Datenlage aus den Server-Logs

Wie sich die planbaren Bots real verhalten, zeigt eine 30-Tage-Logstudie über zwölf Produktiv-Websites (März/April 2026). Die Kernzahlen als Orientierung:

Drei Befunde daraus verdienen Beachtung. Erstens: Die vier großen Bots hielten sich in der Studie zu 100 % an robots.txt – die Steuerung funktioniert also (wie du sie einsetzt, steht im Ratgeber zu KI-Crawlern: Training vs. Suche steuern). Zweitens: Die Last ist real – auf kleinen, dynamisch gerenderten Seiten machte allein GPTBot im Schnitt 14 % der Server-CPU aus, die vier großen Bots zusammen 21–37 %; hinter einem Edge-Cache fällt das auf praktisch null. Drittens: Der nutzergetriggerte „Shadow Crawl" (~690 Zugriffe/Tag) ist Lesetraffic deiner KI-vermittelten Zielgruppe – wer ihn blockiert, fliegt aus den Antworten, ohne irgendetwas zu gewinnen.

So misst du Agenten: das Drei-Schichten-Modell

Es gibt kein einzelnes Tool, das alle drei Klassen sieht. In der Praxis brauchst du drei Schichten:

Schicht 1: Server-Logs (Pflicht). Die Logs sehen jeden Request – unabhängig von JavaScript. Konkret:

1. Filtere die Logs nach den bekannten Agent-Strings: GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-User, Claude-SearchBot, Google-Extended, PerplexityBot, Perplexity-User, Bytespider.
2. Verifiziere kritische Fälle gegen die veröffentlichten IP-Listen der Anbieter (OpenAI, Anthropic, Google, Perplexity publizieren JSON-Dateien mit ihren Ranges) – User-Agent-Strings sind fälschbar, IPs deutlich schwerer.
3. Baue daraus ein wiederkehrendes Dashboard: Zugriffe je Bot und Tag, abgerufene Pfade, Statuscodes. Damit siehst du, welche Inhalte KI-Systeme wirklich lesen – und ob deine robots.txt-Regeln greifen.

Schicht 2: Web-Analytics (Referrals + Verdachtssignale). GA4 oder Matomo zeigen dir zuverlässig die menschlichen Klicks aus KI-Antworten (Referral-Quellen wie chatgpt.com, perplexity.ai); Matomo bringt dafür inzwischen eine eigene KI-Assistenten-Kategorisierung mit. Browser-Agenten lassen sich hier höchstens an Mustern erahnen: ungewöhnlich schnelle, lineare Klickpfade, untypische Viewport-Größen, Sessions ohne jede Scroll-Varianz. Das ist Indiz, kein Beweis.

Schicht 3: Edge / Bot-Management (für Browser-Agenten). Wer es genau wissen muss – vor allem Shops mit Login und Checkout – braucht eine Erkennung vor dem Server: Bot-Management-Dienste klassifizieren Sessions nach Verhaltenssignalen und erkennen agentische Browser, die sich per User-Agent nicht verraten. Hier entsteht gerade auch der wichtigste neue Standard: Web Bot Auth – kryptografisch signierte Agent-Requests auf Basis von HTTP Message Signatures (RFC 9421). Agenten signieren ihre Anfragen mit einem privaten Schlüssel und publizieren die öffentlichen Schlüssel in einem Verzeichnis; Cloudflare, AWS (WAF), Akamai und OpenAI unterstützen den Ansatz, eine IETF-Arbeitsgruppe standardisiert ihn. Damit wird aus „welcher User-Agent behauptet das?" ein „wer kann es beweisen?" – die Grundlage, um erwünschte Agenten gezielt zuzulassen und unerwünschte zu blocken.

Was du mit den Erkenntnissen anfängst

Messen ist Mittel, nicht Zweck. Die praktischen Konsequenzen:

1. Agenten als Segment denken. Ein Agent, der Produktseiten vergleicht, ist ein Kaufinteressent in Maschinenform. Prüfe, ob deine wichtigsten Seiten das liefern, was Agenten brauchen: strukturierte Daten, maschinenlesbare Preise und Verfügbarkeiten, klare Antwort-Passagen. Für Shops führt der Weg über saubere Produktdaten – siehe der Ratgeber zum Shop für Agentic Commerce vorbereiten.
2. Nicht pauschal blocken. Training-Crawler blocken kann eine legitime Entscheidung sein; nutzergetriggerte Fetcher und Browser-Agenten zu blocken heißt dagegen, die eigene KI-vermittelte Kundschaft auszusperren. Differenziere nach Klasse, nicht nach „Bot ja/nein".
3. Kennzahlen absichern. Wenn Browser-Agenten in GA4 als Menschen zählen, verzerren sie Conversion-Raten und Zielgruppen. Halte die Server-Log-Sicht daneben, um Diskrepanzen zu erkennen – und sei vorsichtig, Optimierungsentscheidungen allein auf Engagement-Metriken zu stützen.
4. Infrastruktur vorbereiten. Edge-Cache vor das HTML (macht Crawler-Last irrelevant), Rate-Limits für Bursts (PerplexityBot), und Web Bot Auth im Blick behalten, sobald dein CDN es anbietet.
5. Login/Checkout-Routen beobachten. Gut 12 % der Agenten-Aktivität berührt Auth-Routen. Definiere jetzt, ob und wie Agenten sich bei dir einloggen und kaufen dürfen – bevor es der Traffic für dich entscheidet.

Ehrliche Grenzen

Vollständig wird das Bild nicht. Browser-Agenten ohne Signatur sind von Menschen derzeit nur probabilistisch zu unterscheiden – jede Zahl zu „Agenten-Anteil am Traffic" ist eine Schätzung mit Methodik-Fußnote. Die Benchmarks oben stammen aus Anbieter-Netzwerken (HUMAN) bzw. einer 12-Site-Stichprobe (Logstudie); deine Website kann deutlich abweichen, je nach Branche, Bekanntheit und Inhaltstyp. Und das Feld bewegt sich schnell: User-Agent-Namen, Anteile und Standards ändern sich im Monatsrhythmus. Nimm die Zahlen als Größenordnung und die Methoden als das eigentlich Haltbare.

Key-Takeaways

• Drei Agenten-Klassen, drei Messwege: geplante Crawler (Server-Logs), nutzergetriggerte Fetcher (Server-Logs, robots-exempt), Browser-Agenten (Edge/Bot-Management – in GA4 unsichtbar als Menschen getarnt).
• Agenten recherchieren vor allem (rund 70 % Produkt/Suche/Inhalte), aber Login (9,2 %) und Checkout (3,2 %) sind bereits real – Medien, E-Commerce und Reise ziehen 98 % des Agenten-Traffics.
• GPTBot ist mit ~4.200 Zugriffen/Tag der aggressivste Crawler; die vier großen Bots respektieren robots.txt zu 100 %; nutzergetriggerte Abrufe (~690/Tag) solltest du nicht blocken.
• Web Bot Auth (RFC 9421) macht Agenten-Identität kryptografisch beweisbar – von Cloudflare, AWS, Akamai und OpenAI getragen.
• Behandle Agenten als eigenes Besuchersegment mit eigenem Funnel – und miss sie in Schichten statt mit einem einzelnen Tool.

Fazit

„Was machen Agenten auf meiner Website?" hat 2026 eine messbare Antwort: Sie recherchieren stellvertretend für deine Kundschaft, überwiegend auf Produkt- und Inhaltsseiten, zunehmend bis in Login und Checkout. Das Problem ist nicht der Mangel an Daten, sondern dass die Standard-Werkzeuge an beiden Enden blind sind – Crawler tauchen im Web-Analytics nicht auf, Browser-Agenten tarnen sich als Menschen. Wer Server-Logs, Analytics und Edge-Erkennung kombiniert, sieht dagegen ein klares Bild und kann bewusst entscheiden: welche Agenten rein dürfen, was sie zu sehen bekommen und wo die Grenze verläuft. Genau diese Entscheidungen werden zur neuen Grundausstattung im Online-Marketing. Wer sein Setup dafür aufbauen will, findet bei spezialisierten Analytics-Fachleuten Unterstützung – die Methodik oben funktioniert unabhängig davon, mit wem du arbeitest.

Quellen

• HUMAN Security: State of Agentic Traffic – April 2026 (Monats-Benchmark: Agenten-Mix, Branchen, Seitentypen)
• Digital Applied: Agentic Crawler Behavior – 30-Day Site Log Study 2026 (12 Sites, 11 User-Agents, Server-Log-Daten)
• Matomo: AI Chatbot Traffic Guide for Web Analytics in 2026
• WorkOS: AI agents now make up the majority of web traffic
• AWS: AWS WAF announces Web Bot Auth support
• No Hacks: The AI User-Agent Landscape in 2026

Hinweis: Alle Prozent- und Volumenangaben sind Studien- bzw. Anbieterangaben mit unterschiedlicher Methodik und Stichprobe (Anbieter-Netzwerke, 12-Site-Logstudie); sie sind Größenordnungen, keine Konstanten, und ändern sich monatlich. Bot-Namen und Standards entwickeln sich schnell weiter.