OAI-SearchBot a robots.txt

Ako pripraviť web, aby sa mohol zobrazovať v ChatGPT Search

Ak chcete, aby sa váš web mohol objavovať v odpovediach ChatGPT Search, nestačí mať len kvalitný obsah. Dôležité je aj technické nastavenie webu.

Jednou z najdôležitejších vecí je súbor robots.txt a prístup pre OAI-SearchBot.

OAI-SearchBot je crawler OpenAI používaný pre vyhľadávacie funkcie v ChatGPT. Ak ho web blokuje, môže sa stať, že sa vaše stránky nebudú zobrazovať v odpovediach ChatGPT Search alebo nebudú použité ako zdroj.

Pre firmy, ktoré riešia GEO optimalizáciu, AI visibility audit alebo GEO audit, je kontrola OAI-SearchBot základný technický krok.

Chcem skontrolovať AI dostupnosť webu

Čo je OAI-SearchBot

OAI-SearchBot je robot OpenAI určený pre vyhľadávanie.

Jeho úlohou je pomôcť tomu, aby sa verejne dostupné webové stránky mohli zobrazovať vo vyhľadávacích funkciách ChatGPT.

Jednoducho:

OAI-SearchBot = crawler pre ChatGPT Search

Ak chcete, aby sa váš obsah mohol objavovať v ChatGPT Search, nemali by ste OAI-SearchBot blokovať.

Prečo je OAI-SearchBot dôležitý pre AI viditeľnosť

AI viditeľnosť znamená, či sa vaša značka objavuje v odpovediach nástrojov ako ChatGPT, Gemini, Perplexity alebo Google AI Overviews.

Pri ChatGPT Search je OAI-SearchBot technický signál, ktorý rozhoduje o tom, či môže OpenAI váš web pre vyhľadávanie spracovať.

Ak máte kvalitný obsah, ale OAI-SearchBot je blokovaný, obmedzujete svoju šancu byť viditeľný v ChatGPT Search.

Preto odporúčame kontrolovať OAI-SearchBot pri každom AI visibility audite.

OAI-SearchBot nie je GPTBot

Veľmi častá chyba je zamieňať OAI-SearchBot a GPTBot.

Nie je to to isté.

OAI-SearchBot = používa sa pre ChatGPT Search
GPTBot = používa sa pre crawling obsahu, ktorý môže súvisieť s tréningom modelov
ChatGPT-User = používa sa pri niektorých akciách vyvolaných používateľom

To znamená, že môžete povoliť OAI-SearchBot pre vyhľadávanie, ale zároveň zakázať GPTBot, ak nechcete, aby bol obsah použitý na tréningové účely.

Príklad:

User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

Takéto nastavenie môže dávať zmysel pre firmy, ktoré chcú byť viditeľné v ChatGPT Search, ale nechcú automaticky povoliť všetky typy crawlingu.

Ako nastaviť robots.txt pre OAI-SearchBot

Najjednoduchšie nastavenie je povoliť OAI-SearchBot pre celý web.

User-agent: OAI-SearchBot
Allow: /

Toto nastavenie hovorí, že OAI-SearchBot môže pristupovať k obsahu webu.

Ak chcete povoliť aj GPTBot, môžete použiť:

User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Allow: /

Ak chcete povoliť vyhľadávanie, ale nepovoliť GPTBot, použite:

User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

Toto je pre mnohé firmy praktické rozdelenie.

Ako zakázať OAI-SearchBot

Ak nechcete, aby sa váš web zobrazoval v ChatGPT Search, môžete OAI-SearchBot zakázať.

User-agent: OAI-SearchBot
Disallow: /

Tým však znižujete šancu, že sa váš obsah zobrazí ako zdroj v ChatGPT Search.

Pre firmy, ktoré chcú budovať AI viditeľnosť, toto nastavenie väčšinou nedáva zmysel.

Ako skontrolovať robots.txt

Súbor robots.txt býva dostupný na adrese:

https://vasadomena.sk/robots.txt

Pri kontrole sa zamerajte na:

  • či existuje súbor robots.txt,
  • či neblokuje celý web,
  • či neblokuje dôležité priečinky,
  • či neblokuje OAI-SearchBot,
  • či neblokuje dôležité stránky služieb,
  • či je sitemap uvedená správne,
  • či pravidlá nie sú protichodné,
  • či CDN alebo firewall neblokuje crawlerov mimo robots.txt.

Kontrola robots.txt je súčasťou GEO auditu.

Príklad správneho robots.txt pre AI viditeľnosť

Pre firmu, ktorá chce byť viditeľná v ChatGPT Search, ale chce oddeliť vyhľadávanie od tréningového crawlingu, môže robots.txt vyzerať takto:

User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: *
Allow: /

Sitemap: https://vasadomena.sk/sitemap_index.xml

Toto je iba príklad. Finálne nastavenie závisí od konkrétneho webu, CMS, obsahu a obchodnej stratégie.

Čo ak používate WordPress

Pri WordPresse treba skontrolovať:

  • nastavenie viditeľnosti pre vyhľadávače,
  • SEO plugin,
  • robots.txt,
  • sitemapu,
  • bezpečnostné pluginy,
  • cache pluginy,
  • firewall,
  • CDN,
  • pravidlá hostingu.

V administrácii WordPressu treba skontrolovať, či nie je zapnuté nastavenie, ktoré odrádza vyhľadávače od indexácie.

Ak používate SEO plugin, napríklad Rank Math alebo Yoast SEO, skontrolujte aj automaticky generovaný robots.txt.

Pozor na CDN a firewall

Nie vždy je problém v robots.txt.

Niekedy web OAI-SearchBot síce neblokuje v robots.txt, ale blokuje ho:

  • firewall,
  • CDN,
  • bezpečnostný plugin,
  • hosting,
  • WAF pravidlá,
  • rate limiting,
  • ochrana proti botom.

Preto nestačí pozrieť iba robots.txt. Treba skontrolovať aj serverové logy a pravidlá ochrany webu.

Ak crawler dostáva chyby 403, 429 alebo 5xx, obsah nemusí byť dostupný.

OAI-SearchBot a noindex

Robots.txt a noindex nerobia to isté.

robots.txt = hovorí crawlerovi, kam môže alebo nemôže vstúpiť
noindex = hovorí, že stránka nemá byť indexovaná

Ak chcete, aby stránka nebola zobrazovaná vo vyhľadávacích výsledkoch, často je vhodnejší noindex.

Dôležité je, že crawler musí mať prístup k stránke, aby noindex vôbec videl.

Ak stránku zablokujete v robots.txt, crawler sa k meta značke noindex nemusí dostať.

Ktoré stránky má OAI-SearchBot vidieť

Pre AI viditeľnosť je dôležité, aby OAI-SearchBot videl najmä:

  • homepage,
  • stránku O nás,
  • kontakty,
  • stránky služieb,
  • blogové články,
  • odborné články,
  • referencie,
  • FAQ,
  • slovník pojmov,
  • GEO obsah,
  • stránky s autorom,
  • stránky s prípadovými štúdiami.

Pre ROI index sú dôležité napríklad stránky:

Čo OAI-SearchBot nevyrieši

Povolenie OAI-SearchBot samo o sebe nestačí.

Nevyrieši:

  • slabý obsah,
  • nejasnú značku,
  • chýbajúce referencie,
  • slabé SEO,
  • nekvalitné interné prelinkovanie,
  • technické chyby webu,
  • nedostatok externých zmienok,
  • chýbajúcu autoritu,
  • slabé odpovede na otázky zákazníkov.

OAI-SearchBot je technický predpoklad. Nie je to garancia viditeľnosti.

Preto je vhodné kombinovať technickú kontrolu s GEO optimalizáciou a AI visibility auditom.

Ako OAI-SearchBot súvisí s GEO

GEO, teda Generative Engine Optimization, rieši prípravu webu pre AI odpovede a generatívne vyhľadávanie.

OAI-SearchBot je jedna technická časť GEO.

GEO však zahŕňa aj:

  • obsah,
  • štruktúru webu,
  • autoritu značky,
  • interné odkazy,
  • externé zmienky,
  • FAQ,
  • citovateľné pasáže,
  • meranie AI viditeľnosti.

Viac o tejto téme nájdete v článku Čo je GEO optimalizácia pre AI vyhľadávanie.

Ako merať návštevnosť z ChatGPT

Ak ChatGPT pošle návštevníka na váš web, môžete túto návštevnosť sledovať v analytike.

Sledujte najmä:

  • zdroj návštevnosti,
  • vstupné stránky,
  • formuláre,
  • telefonáty,
  • objednávky,
  • čas na stránke,
  • kvalitu návštevnosti,
  • asistované konverzie.

AI návštevnosť má zmysel vtedy, keď prináša obchodnú hodnotu.

Viac o meraní nájdete v článku Ako merať AI viditeľnosť značky.

Checklist pre OAI-SearchBot

Skontrolujte si:

  • Web má dostupný robots.txt.

  • OAI-SearchBot nie je blokovaný.

  • Dôležité stránky nie sú noindex.

  • Sitemap je aktuálna.

  • Hosting neblokuje OpenAI crawlerov.

  • CDN neblokuje OpenAI crawlerov.

  • Firewall nevracia chybu 403.

  • Web nevracia príliš často chybu 429.

  • Dôležitý obsah je dostupný v HTML.

  • Stránky služieb sú prístupné.

  • GEO obsah je prístupný.

  • Odkazy na dôležité stránky fungujú.

  • Návštevnosť z ChatGPT sa meria v analytike.

Ak neviete, ako je na tom váš web, vhodným riešením je GEO audit.

Najčastejšie chyby

Pri OAI-SearchBot a robots.txt sa často objavujú tieto chyby:

  • OAI-SearchBot je omylom zablokovaný.
  • Firma blokuje všetky boty bez rozlíšenia.
  • Web má noindex na dôležitých stránkach.
  • CDN blokuje crawlerov mimo robots.txt.
  • Firewall blokuje legitímnych robotov.
  • Sitemap neobsahuje dôležité stránky.
  • Dôležitý obsah je iba v JavaScripte alebo obrázkoch.
  • Firma si zamieňa OAI-SearchBot a GPTBot.
  • Web nemeria návštevnosť z ChatGPT.
  • Očakáva sa viditeľnosť bez kvalitného obsahu.

Tieto chyby môžu znížiť šancu, že sa web objaví v AI odpovediach.

Odporúčané nastavenie pre firmy

Pre väčšinu firiem, ktoré chcú riešiť AI viditeľnosť, dáva zmysel minimálne povoliť OAI-SearchBot.

Príklad:

User-agent: OAI-SearchBot
Allow: /

Ak chcete oddeliť ChatGPT Search od tréningového crawlingu, môžete použiť:

User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

Finálne nastavenie by však malo vychádzať z vašej stratégie, typu obsahu a právnych alebo obchodných požiadaviek.

Ako s tým pomáha ROI index

V ROI indexe pomáhame firmám pripraviť web na SEO, GEO a AI viditeľnosť.

Pomáhame s:

Naším cieľom nie je iba povoliť jedného robota. Cieľom je, aby bol váš web technicky dostupný, obsahovo zrozumiteľný a pripravený na nový spôsob vyhľadávania.

Časté otázky

Čo je OAI-SearchBot?

OAI-SearchBot je crawler OpenAI používaný pre vyhľadávacie funkcie v ChatGPT. Pomáha tomu, aby sa webové stránky mohli zobrazovať v ChatGPT Search.

Je OAI-SearchBot to isté ako GPTBot?

Nie. OAI-SearchBot súvisí s vyhľadávaním v ChatGPT. GPTBot súvisí s crawlingom obsahu, ktorý môže byť použitý na tréningové účely.

Mám povoliť OAI-SearchBot?

Ak chcete, aby sa váš web mohol objavovať v ChatGPT Search, vo väčšine prípadov dáva zmysel OAI-SearchBot povoliť.

Môžem povoliť OAI-SearchBot a zakázať GPTBot?

Áno. Tieto pravidlá sa dajú nastaviť samostatne. Môžete povoliť OAI-SearchBot pre vyhľadávanie a zakázať GPTBot.

Zaručí mi OAI-SearchBot zobrazenie v ChatGPT?

Nie. Povolenie OAI-SearchBot nezaručuje top pozície ani odporúčanie. Je to technický predpoklad, nie garancia.

Kde nájdem robots.txt?

Najčastejšie na adrese vasa-domena.sk/robots.txt.

Čo ak nechcem, aby sa stránka zobrazovala?

Vtedy je vhodné riešiť kombináciu robots.txt a noindex podľa toho, či chcete zakázať crawling, indexovanie alebo oboje.

Chcete skontrolovať OAI-SearchBot a AI dostupnosť webu?

Ak chcete vedieť, či je váš web technicky pripravený pre ChatGPT Search a AI vyhľadávanie, začnite kontrolou robots.txt, crawlerov a AI viditeľnosti.

V ROI indexe preveríme, či OAI-SearchBot nie je blokovaný, či sú dôležité stránky dostupné a čo treba upraviť, aby mal web lepší základ pre GEO a AI odpovede.

Chcem skontrolovať AI dostupnosť webu

Miloš Vargic
Miloš Vargic
V marketingu sa pohybujem viac ako 22 rokov. Som zakladateľ agentúry ROI index a špecializujeme sa na výkonnostný marketing, ktorý firmám reálne prináša výsledky. Pomáhame značkám rásť vďaka efektívnej reklame na Google, Bingu a Facebooku, výkonnému SEO a GEO, precízne nastaveným marketingovým stratégiám pre B2B aj B2C segment. Pracoval som ako marketingový riaditeľ a spúšťal som reklamy v 23 krajinách a 14 jazykoch, kde sme dosahovali vysokú návratnosť investícií z rozpočtov nad 14 300 € mesačne.