Politika AI crawlerov (robots.txt pre GPTBot, ClaudeBot a spol.)
Politika AI crawlerov je jasné rozhodnutie, ktoré AI roboty môžu čítať váš web, a jeho správne nastavenie v robots.txt, firewalle a CDN.
- Základ: 190 €
- S overením v access logu: 390 €
- Tréning vs. AI vyhľadávanie
- Robots.txt, firewall, CDN
- WordPress aj iné weby
- Hotové do 3 pracovných dní
Pošlite adresu webu a zadarmo vám napíšem, ktoré AI roboty dnes blokujete. Napísať alebo 0940 634 491.
Cenové rozpätie: od 190 € do 390 €
Politika AI crawlerov je jasné rozhodnutie, ktoré AI roboty môžu čítať váš web, a jeho správne nastavenie v robots.txt, firewalle a CDN. Väčšina webov má buď všetko otvorené bez toho, aby o tom niekto rozhodol, alebo zo strachu zablokuje všetky AI roboty a potom sa čuduje, prečo ich ChatGPT ani Perplexity necitujú. Pritom tréning a AI vyhľadávanie sú dve rôzne veci. Od 190 €.
- Základ: 190 €
- S overením v access logu: 390 €
- Tréning vs. AI vyhľadávanie
- Robots.txt, firewall, CDN
- WordPress aj iné weby
- Hotové do 3 pracovných dní
Prečo weby AI roboty blokujú zle?
AI roboty nie sú jeden robot a nerobia jednu vec. Jedny zbierajú texty na tréning modelov, iné hľadajú zdroje pre odpoveď, ktorú AI práve píše používateľovi. Kto ich hodí do jedného vreca, často zablokuje práve tie, ktoré mu prinášajú citácie. Toto vidím najčastejšie:
Zablokované všetko
Robots.txt skopírovaný z nejakého článku blokuje aj roboty AI vyhľadávania. Web potom v odpovediach ChatGPT či Perplexity chýba, aj keď by tam patril.
Otvorené všetko bez rozhodnutia
Nikto nerozhodol, či obsah môže ísť na tréning modelov. Pri platenom obsahu, kurzoch alebo vlastných dátach to je obchodná otázka, nie technická.
Firewall blokuje potajomky
Robots.txt hovorí áno, ale Cloudflare alebo bezpečnostný plugin AI roboty odrežú. Nikto o tom nevie, kým sa nepozrie do logov.
Google-Extended ako strašiak
Blokujú Google-Extended v domnení, že tým zmiznú z AI Overviews. Nezmiznú. Ten token rieši tréning Gemini, nie zobrazovanie vo vyhľadávaní.
Falošní roboti
Do logov chodia roboty, ktoré sa len vydávajú za GPTBot alebo ClaudeBot. Bez overenia IP adries nevidíte, kto je kto.
Pravidlá bez kontroly
Robots.txt je dobrovoľný. Kto neoverí v access logu, či ho roboty dodržiavajú, len dúfa.
Čo robia iní zle: vložia do robots.txt zoznam 40 AI robotov z nejakého GitHubu a „Disallow: /“ pre všetkých. Tým si zablokujú aj citácie v AI vyhľadávaní a firma o tom nevie. Správne je najprv rozhodnúť, čo chcete (byť citovaní áno, tréning áno či nie), a až potom písať pravidlá.
Čo pri AI crawleroch robím
Rozhodnutie na 30 minút
S vami prejdem, čo chcete: byť v AI odpovediach, povoliť či zakázať tréning, chrániť platený obsah. Rozhodnutie je vaše, ja vysvetlím dôsledky.
Roboty na tréning
GPTBot, ClaudeBot, CCBot a tokeny Google-Extended a Applebot-Extended podľa vášho rozhodnutia.
Roboty AI vyhľadávania
OAI-SearchBot, ChatGPT-User, PerplexityBot, Claude-SearchBot a Claude-User nechám otvorené, ak chcete byť citovaní.
Nový robots.txt
Čisté pravidlá s komentármi, bez blokovania Googlebotu, CSS a JS. Pri WordPresse cez Rank Math alebo súbor.
Firewall a CDN
Kontrola Cloudflare, Wordfence a hostingu, aby neblokovali roboty, ktoré chcete pustiť, a naopak.
Platený a chránený obsah
Členské sekcie, kurzy a súbory oddelím tak, aby sa nedostali tam, kam nemajú.
Overenie v access logu
V balíku za 390 €: ktoré AI roboty chodia, ktoré stránky čítajú, či dodržiavajú pravidlá a ktoré sú falošné.
Dokumentácia
Krátky dokument, čo je nastavené a prečo, aby to váš správca pri ďalšej zmene nepokazil.
Cena nastavenia AI crawlerov
| Balík | Pre koho | Cena |
|---|---|---|
| Základ | Rozhodnutie, nový robots.txt, kontrola firewallu a CDN, dokumentácia. Najčastejšia voľba pre firemné weby. | 190 € |
| S overením v access logu | Všetko zo Základu plus analýza access logu za posledné týždne: reálne návštevy AI robotov, čítané stránky, dodržiavanie pravidiel a odhalenie falošných robotov. | 390 € |
Ceny sú konečné, nie sme platcovia DPH. Hotové do 3 pracovných dní od získania prístupov. Pri overení v access logu potrebujem logy aspoň za 2 týždne, ideálne za mesiac.
Ako to prebieha
Krátka práca, ale s jasným rozhodnutím na začiatku. Potrebujem prístup do administrácie alebo k robots.txt, ku Cloudflare či firewallu a pri väčšom balíku access logy z hostingu.
1
Rozhodnutie (deň 1). Krátky hovor alebo e-mail: čo chcete povoliť, čo zakázať a prečo. Pošlem odporúčanie s dôsledkami.
2
Nastavenie (deň 2). Robots.txt, firewall, CDN, chránené sekcie. Všetko otestované nástrojom na kontrolu robots.txt.
3
Kontrola (deň 3). Dokumentácia, pri väčšom balíku report z access logu. O 30 dní pozriem, či roboty pravidlá dodržiavajú.
Čo dostanete navyše
Kontrola robots.txt zadarmo
Pošlite adresu webu a do jedného pracovného dňa vám napíšem, ktoré AI roboty dnes blokujete a či ste to tak chceli.
Kontrola o 30 dní
Pozriem logy alebo správanie robotov znova a overím, že nastavenie funguje.
Upozornenie na nových robotov
Keď niektorá veľká AI firma ohlási nového robota, dám vám do roka vedieť, či treba pravidlá upraviť.
Súvisiace služby
| Služba | Kedy sa hodí | Cena |
|---|---|---|
| Politika AI crawlerov | Chcete rozhodnúť, kto smie čítať váš web | od 190 € |
| SEO analýza access logu | Chcete vidieť všetky roboty, nielen AI | od 390 € |
| Implementácia llms.txt | Chcete AI ukázať, čo je na webe dôležité | 282 € |
| Entita značky a Knowledge Panel | Chcete, aby AI vedela, kto ste | od 490 € |
| Správa a údržba WordPressu | Chcete, aby to niekto strážil priebežne | od 49 € / mesiac |
Kto to robí
RNDr. Milan Fraňo, PhD., HEAD of SEO WooAcademy. Access logy čítam pravidelne a o tom, ako AI roboty reálne prechádzajú weby, píšem aj v článku technické SEO pre AI. Nikomu neodporúčam blokovať všetko ani púšťať všetko naslepo.
Ďalšie krátke videá o SEO a GEO sú na YouTube kanáli WooAcademy.
Časté otázky o AI crawleroch
Čo sú AI crawlery?
Roboty firiem, ktoré robia AI modely a AI vyhľadávanie. Niektoré zbierajú texty na tréning (napríklad GPTBot, ClaudeBot, CCBot), iné hľadajú zdroje pre konkrétnu odpoveď (OAI-SearchBot, ChatGPT-User, PerplexityBot, Claude-SearchBot, Claude-User).
Koľko stojí nastavenie AI crawlerov?
Základ 190 €, s overením v access logu 390 €. Ceny sú konečné, nie sme platcovia DPH.
Ak zablokujem GPTBot, zmiznem z ChatGPT?
Nie nevyhnutne. GPTBot zbiera dáta na tréning. Za vyhľadávanie v ChatGPT zodpovedá OAI-SearchBot a za načítanie stránky na žiadosť používateľa ChatGPT-User. Preto sa dá tréning zakázať a citácie si nechať.
Zmiznem z AI Overviews, keď zablokujem Google-Extended?
Nie. Google-Extended je len token v robots.txt, ktorý hovorí, či obsah môže ísť na tréning a grounding Gemini. AI Overviews sú súčasť vyhľadávania Google a riadi ich bežný Googlebot.
Dodržiavajú AI roboty robots.txt?
Veľké firmy deklarujú, že áno, ale robots.txt je dobrovoľný a niektoré boty spúšťané priamo používateľom sa ním podľa dokumentácie riadiť nemusia. Preto v balíku za 390 € overujem správanie v access logu.
Mám blokovať AI tréning?
Závisí od obsahu. Ak predávate kurzy, dáta alebo autorský obsah, dáva to zmysel. Ak chcete hlavne viditeľnosť značky, tréning často necháte otvorený. Rozhodnutie je vaše, ja vysvetlím dôsledky.
Pomôže to k citáciám v ChatGPT?
Samotné nastavenie len zaistí, že vás AI vyhľadávanie môže čítať. Či vás bude citovať, závisí od obsahu a dôveryhodnosti značky. O tom je článok o zmienkach o značke v AI.
Politiku AI crawlerov nastavuje Milan Fraňo, WooAcademy, Bratislava. Ceny platné od októbra 2026.
Facebook hodnotenia.
Naplánuj si konzultáciu s našimi profesionálmi.
Google certifikovaná trénerka – Google ads kampane (PPC)
Facebook marketing partner – social marketing
HEAD of SEO a web editor – weby & SEO
Zanechajte nám kontaktné informácie a pripravíme cenovú ponuku na mieru ?
Marketingové služby na mieru, ozvite sa!