AI crawlery v serverových logoch: ako zistiť, ktoré systémy navštevujú váš web

Google Analytics vám ukáže návštevníkov, zdroje návštevnosti a konverzie. Nepovie vám však všetko o tom, ktoré roboty, vyhľadávače a AI systémy skutočne pristupujú k vášmu serveru.

Ak chcete vedieť, či váš web navštevuje OpenAI, Claude, Perplexity alebo Google, jedným z najpresnejších zdrojov sú serverové access logy.

Práve v nich môžete nájsť odpoveď na otázky:

• navštívil náš web OAI-SearchBot?
• chodí na web GPTBot?
• pristupuje k obsahu Claude?
• objavuje naše stránky Perplexity?
• ktoré URL AI crawlery navštevujú najčastejšie?
• dostávajú odpoveď HTTP 200, alebo im server vracia chyby?
• blokujeme dôležité AI crawlery vo firewalle alebo cez robots.txt?
• zaujímajú ich produktové stránky, služby alebo odborné články?

Pre firmy, ktoré riešia SEO, GEO a AI Visibility, začínajú byť serverové logy zaujímavým doplnkovým dátovým zdrojom.

Samotná návšteva AI crawlera ešte neznamená, že vás ChatGPT, Gemini, Claude alebo Perplexity začnú odporúčať. Ak však crawler nemá k vášmu obsahu prístup, vzniká technická bariéra, ktorá môže vašu viditeľnosť obmedzovať.

Ak zatiaľ neviete, ako vašu firmu AI nástroje vnímajú, vhodným začiatkom je AI Visibility audit.

Čo sú serverové logy

Pri každom prístupe k webovému serveru môže server zaznamenať technické informácie o požiadavke.

Typický access log môže obsahovať napríklad:

• dátum a čas návštevy,
• IP adresu,
• požadovanú URL,
• HTTP metódu,
• stavový kód servera,
• veľkosť odpovede,
• referrer,
• User-Agent.

Zjednodušený záznam môže vyzerať napríklad takto:

192.0.2.10 - - [17/Aug/2026:14:22:08 +0200]
"GET /seo/ HTTP/1.1" 200 48321 "-"
"Mozilla/5.0 ... compatible; OAI-SearchBot/1.4 ..."

Pre analýzu AI crawlerov je veľmi dôležitý najmä údaj User-Agent.

Práve prostredníctvom neho sa množstvo crawlerov identifikuje.

Ktoré AI crawlery môžete v logoch hľadať

AI ekosystém už netvorí jeden univerzálny robot.

Jednotlivé spoločnosti často používajú rôzne crawlery podľa toho, prečo váš web navštevujú.

To je dôležitý rozdiel.

Crawler používaný na vyhľadávanie nemusí byť rovnaký ako crawler súvisiaci s tréningom modelov alebo návštevou stránky vyvolanou konkrétnym používateľom.

OpenAI: OAI-SearchBot

Jedným z najdôležitejších názvov pre firmy riešiace viditeľnosť v ChatGPT je:

OAI-SearchBot

OpenAI uvádza, že OAI-SearchBot slúži na vyhľadávanie a umožňuje, aby sa webové stránky mohli objavovať vo výsledkoch vyhľadávania ChatGPT. Jeho správanie je možné samostatne regulovať cez robots.txt.

Pre firmu, ktorá chce byť viditeľná v ChatGPT Search, je preto návšteva OAI-SearchBot zaujímavým signálom.

V serverových logoch môžete hľadať výraz:

OAI-SearchBot

Ak ho nájdete, následne kontrolujte predovšetkým:

• ktoré URL navštívil,
• ako často ich navštevuje,
• či dostáva HTTP 200,
• či nenaráža na 403 alebo 5xx,
• či pristupuje k dôležitým službám a článkom,
• či má dostupný robots.txt.

Viac o príprave webu pre ChatGPT nájdete aj v článku Ako dostať firmu do odpovedí ChatGPT.

OpenAI: GPTBot

Ďalším známym crawlerom je:

GPTBot

GPTBot má inú úlohu než OAI-SearchBot. OpenAI ho popisuje ako crawler obsahu, ktorý môže byť použitý pri tréningu generatívnych AI modelov. Prístup GPTBot a OAI-SearchBot je možné spravovať oddelene.

To je veľmi dôležité.

Firma môže napríklad chcieť:

OAI-SearchBot → povoliť
GPTBot → zakázať

Takáto stratégia môže dávať zmysel v prípade, keď chcete podporovať vyhľadateľnosť obsahu v ChatGPT, ale nechcete poskytovať obsah na potenciálne využitie pri tréningu modelov.

Preto pri technickom audite nestačí otázka:

„Máme povolené AI crawlery?“

Správna otázka je:

„Ktoré AI crawlery máme povolené a na aký účel?“

OpenAI: ChatGPT-User

V logoch sa môžete stretnúť aj s:

ChatGPT-User

ChatGPT-User sa od klasického automatického crawlera výrazne líši.

OpenAI uvádza, že sa používa pri určitých akciách používateľov ChatGPT alebo Custom GPTs. Ak používateľ položí otázku, ChatGPT môže v súvislosti s jeho požiadavkou navštíviť webovú stránku. ChatGPT-User nie je automatický webový crawler používaný na systematické prehľadávanie internetu.

Z marketingového pohľadu môže byť preto návšteva ChatGPT-User mimoriadne zaujímavá.

Môže totiž signalizovať situáciu, keď sa AI systém pokúsil načítať konkrétnu stránku v kontexte používateľskej požiadavky.

Ani tu však nemožno zo serverového logu vyvodiť, akú presnú otázku používateľ položil alebo či bola vaša stránka nakoniec citovaná.

Log ukazuje prístup k serveru, nie kompletný rozhodovací proces AI.

Claude: ClaudeBot, Claude-User a Claude-SearchBot

Podobný princíp rozdelenia používa aj Anthropic.

Firma aktuálne rozlišuje tri dôležité roboty:

ClaudeBot
Claude-User
Claude-SearchBot

ClaudeBot súvisí so získavaním obsahu, ktorý môže prispievať k tréningu modelov.

Claude-User podporuje návštevy webov vyvolané otázkami používateľov.

Claude-SearchBot slúži na navigáciu a spracovanie webového obsahu pre zlepšovanie výsledkov vyhľadávania Claude.

Opäť teda vidíme rovnaký trend:

AI platformy postupne oddeľujú crawling pre tréning, crawling pre vyhľadávanie a návštevy vyvolané používateľom.

Pre budúce GEO stratégie bude toto rozlíšenie čoraz dôležitejšie.

PerplexityBot

Pri Perplexity je dôležitý:

PerplexityBot

Perplexity ho popisuje ako crawler používaný na zobrazovanie a odkazovanie webových stránok vo výsledkoch Perplexity. Podľa dokumentácie nie je PerplexityBot určený na crawling obsahu pre tréning foundation modelov.

Ak chcete, aby sa váš obsah objavoval vo výsledkoch Perplexity, jeho návštevy preto dávajú z pohľadu AI Visibility zmysel sledovať.

Zaujímavé je porovnávať napríklad:

/blog/

oproti:

/sluzby/

alebo:

/produkty/

Možno zistíte, že AI crawler intenzívne objavuje váš blog, ale takmer vôbec sa nedostáva k dôležitým obchodným stránkam.

To už nie je iba technická informácia.

Môže ísť o signál problému s:

• interným prelinkovaním,
• informačnou architektúrou,
• obsahovou stratégiou,
• crawlability,
• tematickým prepojením stránok.

Perplexity-User

Ďalším zaujímavým User-Agentom je:

Perplexity-User

Ten sa môže objaviť vtedy, keď Perplexity načítava stránku v súvislosti s konkrétnou požiadavkou používateľa. Perplexity ho odlišuje od svojho automatického crawlera.

Aj tu platí:

návšteva používateľského fetchera je hodnotný signál, ale nie dôkaz citácie alebo odporúčania značky.

A čo Gemini a Google AI?

Tu je situácia komplikovanejšia.

Mnoho ľudí očakáva, že v serverových logoch nájde napríklad:

GeminiBot

alebo:

Google-Extended

a tým jednoducho identifikuje návštevu Gemini.

Takéto vyhodnotenie by bolo príliš zjednodušené.

Google uvádza, že Google-Extended nemá samostatný HTTP User-Agent. Crawling pre tento mechanizmus prebieha prostredníctvom existujúcich Google user-agentov a Google-Extended funguje ako token na riadenie prístupu prostredníctvom robots.txt.

Pre AI funkcie priamo v Google Search je navyše naďalej zásadný Googlebot. Google uvádza, že prístup Googlebotu je relevantný aj pre AI funkcie integrované do vyhľadávania.

Preto pri Google neplatí:

„Vidím Googlebot = navštívilo ma Gemini.“

Googlebot môže navštevovať stránku z mnohých dôvodov.

Serverové logy musíte vždy interpretovať v kontexte.

Prehľad najdôležitejších názvov

Pri základnej analýze môžete začať vyhľadávaním týchto výrazov:

Zoznam však nemožno považovať za nemenný.

AI platformy sa rýchlo vyvíjajú a môžu pridávať nové roboty, meniť verzie User-Agentov alebo upravovať ich účel.

Ako AI crawlery nájsť v access.log

Ak máte prístup k Linux serveru, jednoduché prvotné vyhľadanie môže vyzerať napríklad takto:

grep -Ei 'OAI-SearchBot|GPTBot|ChatGPT-User|ClaudeBot|Claude-SearchBot|Claude-User|PerplexityBot|Perplexity-User|Googlebot' access.log

Pri Nginx bývajú logy často uložené napríklad v:

/var/log/nginx/access.log

pri Apache sa môžete stretnúť napríklad s:

/var/log/apache2/access.log

Konkrétne umiestnenie však závisí od servera, konfigurácie hostingu a infraštruktúry.

Pri managed hostingu nemusíte mať k logom priamy SSH prístup. Dáta môžu byť dostupné cez administráciu hostingu, CDN, Cloudflare alebo export logov.

Nestačí spočítať počet návštev

Predstavte si, že zistíte:

OAI-SearchBot: 1 240 requestov
GPTBot: 870 requestov
PerplexityBot: 320 requestov
Claude-SearchBot: 95 requestov

Na prvý pohľad to vyzerá ako užitočný report.

Samotné čísla však veľa nepovedia.

Potrebujete vedieť predovšetkým čo crawlery navštívili.

Ak OAI-SearchBot urobil 1 240 requestov, ale 900 z nich smerovalo na:

/wp-content/

obrázky alebo technické súbory, marketingová hodnota tejto informácie bude iná, než keby navštevoval vaše najdôležitejšie odborné články a landing pages.

Preto odporúčame pri analýze sledovať minimálne:

Crawler → URL → stavový kód → počet návštev → čas poslednej návštevy.

Sledujte HTTP status kódy

Veľmi dôležitý je výsledok požiadavky.

HTTP 200

200 OK

Crawler stránku úspešne získal.

HTTP 301 alebo 302

Crawler bol presmerovaný.

Jeden redirect je bežný, problémom môže byť:

A → B → C → D

alebo redirect loop.

HTTP 403

403 Forbidden

Crawler je blokovaný.

Príčinou môže byť napríklad:

• firewall,
• WAF,
• Cloudflare pravidlo,
• bezpečnostný plugin,
• hosting,
• blokovanie IP rozsahu.

HTTP 404

Crawler pristupuje k neexistujúcej stránke.

Vo väčšom množstve môže byť vhodné zistiť, odkiaľ tieto URL objavuje.

HTTP 5xx

Najproblematickejšia situácia.

Ak AI crawler pravidelne dostáva:

500
502
503
504

máte technický problém, ktorý môže brániť získaniu obsahu.

User-Agent sa dá sfalšovať

Toto je jedna z najdôležitejších zásad celej analýzy.

Ak serverový log obsahuje:

GPTBot

ešte to automaticky neznamená, že požiadavku skutočne odoslala infraštruktúra OpenAI.

HTTP User-Agent môže napísať prakticky ľubovoľný crawler.

Preto profesionálna analýza nekončí pri regexe nad názvom robota.

OpenAI publikuje IP rozsahy pre svoje crawlery, vrátane OAI-SearchBot, GPTBot a ChatGPT-User. Perplexity rovnako publikuje aktuálne IP rozsahy svojich crawlerov. Anthropic poskytuje zoznam IP adries, pomocou ktorého možno overovať pôvod jeho crawlerov.

Pri Google je možné používať kombináciu IP rozsahov a reverse/forward DNS overenia. Google zároveň výslovne upozorňuje, že User-Agent Googlebot môže byť imitovaný inými crawlermi.

Pre seriózny AI crawler monitoring preto odporúčame:

User-Agent + IP validácia + URL + HTTP status + čas.

Robots.txt a logy musíte vyhodnocovať spolu

Serverové logy hovoria:

čo sa reálne stalo.

Robots.txt hovorí:

čo ste crawlerom dovolili alebo zakázali.

Tieto dve vrstvy je vhodné analyzovať spoločne.

Môžete napríklad zistiť, že:

• OAI-SearchBot chcete povoliť, ale robots.txt ho blokuje,
• crawler má povolený prístup, ale WAF mu vracia 403,
• robots.txt je správny, ale dôležitá stránka má noindex,
• crawler pristupuje k webu, ale interné odkazy ho nevedú na kľúčové podstránky.

Technická dostupnosť je preto jednou z oblastí, ktoré kontrolujeme aj v rámci AI Visibility auditu.

AI crawler návšteva nie je to isté ako AI Visibility

Toto je zásadný rozdiel.

Ak nájdete v logu:

OAI-SearchBot

znamená to, že systém pristúpil k vášmu webu.

Neznamená to automaticky:

ChatGPT pozná našu značku.
ChatGPT nás odporúča.
ChatGPT nás cituje.
Máme vysokú AI Visibility.

Crawler access je iba jedna časť skladačky.

AI Visibility treba hodnotiť širšie:

• objavuje sa značka v AI odpovediach?
• pri ktorých otázkach?
• pri značkových alebo aj neznačkových?
• odporúča AI konkurenciu?
• ktoré zdroje cituje?
• opisuje firmu správne?
• spája značku so správnymi službami?
• prichádza z AI návštevnosť?
• vznikajú z nej dopyty a objednávky?

Preto odporúčame prepájať serverové dáta s meraním, ktoré opisujeme aj v článku Ako merať AI viditeľnosť značky.

Zaujímavá metrika: ktoré stránky AI najviac zaujímajú

Jedným z praktických výstupov log analýzy môže byť rebríček URL podľa AI crawlerov.

Napríklad:

/ako-vybrat-ppc-agenturu/              428
/google-ads/                           312
/seo/                                  207
/o-nas/                                96
/kontakty/                             27

To vám môže ukázať, ktorý obsah AI systémy objavujú a opakovane spracúvajú.

Výsledky však treba interpretovať opatrne.

Vysoký počet requestov nie je automaticky známkou kvalitného obsahu. Môže súvisieť aj s technickou štruktúrou webu, počtom interných odkazov alebo frekvenciou aktualizácií.

Pre marketing je preto zaujímavé analyzovať kategórie stránok:

• odborný blog,
• služby,
• produkty,
• kategórie,
• prípadové štúdie,
• referencie,
• stránky autora,
• kontakty.

Ktoré stránky by ste chceli, aby AI objavovala?

Táto otázka je podľa nás ešte dôležitejšia než samotný počet crawlerov.

Ak ste napríklad B2B firma, nestačí, aby AI crawler poznal homepage.

Mal by sa jednoducho dostať k obsahu, ktorý vysvetľuje:

• čo firma robí,
• komu pomáha,
• v ktorých oblastiach má odbornosť,
• aké problémy rieši,
• aké má skúsenosti,
• aké má referencie,
• aké produkty alebo služby ponúka.

Práve preto sa SEO, GEO a AI Visibility nedajú úplne oddeliť.

Kvalitná informačná architektúra pomáha používateľovi, klasickému vyhľadávaču aj AI crawlerovi.

Interné prelinkovanie získava nový význam

Interné odkazy už dávno neslúžia iba na SEO distribúciu autority.

Pomáhajú vytvárať tematické vzťahy medzi obsahom.

Ak máte stránku o hlavnej službe a desať odborných článkov, ktoré sa jej týkajú, mali by byť logicky prepojené.

Crawler potom ľahšie objaví vzťah:

téma
→ problém
→ odborný článok
→ služba
→ referencia
→ kontakt

Preto interné prelinkovanie patrí medzi základné oblasti kvalitnej SEO optimalizácie a zároveň podporuje logickú štruktúru webu pre GEO.

Server log analysis vs. Google Analytics 4

Nejde o konkurenčné nástroje.

Každý odpovedá na inú otázku.

Google Analytics

Pomáha zisťovať:

• kto prišiel,
• odkiaľ prišiel,
• čo robil,
• či konvertoval.

Serverové logy

Pomáhajú zisťovať:

• kto požiadal server o URL,
• kedy ju požiadal,
• ktorú URL požiadal,
• akú odpoveď dostal,
• akým User-Agentom sa identifikoval.

AI crawler môže navštíviť váš web bez toho, aby sa objavil ako klasická návšteva v GA4.

Preto je serverový log pri technickom monitoringu crawlerov často presnejším zdrojom.

Vytvorte si AI crawler dashboard

Pri väčších weboch nemá význam každý týždeň manuálne prehľadávať gigabajty logov.

Lepším riešením je vytvoriť automatizovaný report.

Môže obsahovať napríklad:

Crawler
Počet requestov
Počet unikátnych URL
HTTP 200
HTTP 3xx
HTTP 4xx
HTTP 5xx
Najnavštevovanejšie URL
Posledná návšteva

Ešte zaujímavejší je trend:

január → 120 návštev
február → 190
marec → 410
apríl → 680

Takýto vývoj môže byť zaujímavým doplnkovým signálom pri rozvoji obsahu a AI Visibility.

Stále však platí:

crawler activity ≠ obchodný výsledok.

Čo by mala firma sledovať každý mesiac

Ak riešite AI Visibility systematicky, dáva zmysel kombinovať viac vrstiev dát:

1. návštevy AI crawlerov,
2. počet crawlovaných URL,
3. technické chyby crawlerov,
4. AI referral traffic,
5. citácie webu v AI odpovediach,
6. zmienky značky,
7. viditeľnosť pri neznačkových otázkach,
8. konkurenciu v AI odpovediach,
9. konverzie z AI návštevnosti,
10. nové obsahové príležitosti.

Tak vzniká podstatne presnejší obraz než jednoduchá otázka:

„Pozná nás ChatGPT?“

Najčastejšia chyba: firmy kontrolujú AI iba ručne

Ručne otvoria ChatGPT a zadajú:

Poznáš firmu XYZ?

Ak AI odpovie správne, považujú problém za vyriešený.

Takýto test má obmedzenú hodnotu.

Oveľa zaujímavejšie sú otázky typu:

Koho odporúčaš na túto službu?
Ktoré firmy ponúkajú toto riešenie?
Ako vyriešiť tento problém?
Akú firmu si vybrať?

A následne treba výsledky porovnať s:

• serverovými logmi,
• indexáciou,
• obsahom,
• citáciami,
• externými zmienkami,
• konkurenciou.

Takýto prístup používame aj pri AI Visibility audite.

AI crawlery by dnes mali zaujímať SEO aj marketing

Serverové logy boli dlhé roky témou najmä technického SEO.

S nástupom generatívnej AI sa ich význam rozširuje.

Marketingový tím môže pomocou nich lepšie pochopiť:

Ktoré AI systémy sa o náš web technicky zaujímajú?

Ktorý obsah objavujú?

Dokážu ho bez problémov načítať?

Ktoré sekcie ignorujú?

Narážajú na technické prekážky?

Serverové logy tak vytvárajú ďalší dátový most medzi:

SEO → GEO → AI Visibility → analytikou → obchodným výsledkom.

A presne týmto smerom sa podľa nás bude technická analýza webov ďalej posúvať.

Chcete zistiť, či váš web vidia ChatGPT, Gemini, Claude alebo Perplexity?

Samotné logy sú iba jedna časť odpovede.

V ROI index sa pri AI Visibility pozeráme širšie: na technickú dostupnosť webu, robots.txt, obsah, AI odpovede, citácie, externé zmienky, konkurenciu, interné prelinkovanie aj to, či sa značka objavuje pri otázkach, ktoré môžu viesť k reálnemu zákazníkovi.

Ak chcete vedieť:

• či AI pozná vašu firmu,
• či správne chápe vaše služby,
• či vás cituje,
• pri ktorých otázkach vás odporúča,
• prečo sa namiesto vás zobrazuje konkurencia,
• či majú AI crawlery k webu správny prístup,
• a čo konkrétne zmeniť,

pozrite si náš AI Visibility audit.

Ak chcete najskôr prebrať váš web a možnosti ďalšieho postupu, kontaktujte ROI index.

Cieľom nie je naháňať čo najvyšší počet návštev crawlerov.

Cieľom je vytvoriť web, ktorému rozumejú ľudia, vyhľadávače aj AI systémy — a ktorý z tejto viditeľnosti dokáže vytvárať reálny obchodný výsledok.