Politika AI crawlerů (robots.txt pro GPTBot, ClaudeBot a spol.)
Politika AI crawlerů je jasné rozhodnutí, které AI roboty smí číst váš web, a jeho správné nastavení v robots.txt, firewallu a CDN.
- Základ: 190 €
- S ověřením v access logu: 390 €
- Trénink vs. AI vyhledávání
- Robots.txt, firewall, CDN
- WordPress i jiné weby
- Hotovo do 3 pracovních dní
Pošlete adresu webu a zdarma vám napíšu, které AI roboty dnes blokujete. Napsat nebo +421 940 634 491.
Rozpětí cen: 190 € až 390 €
Politika AI crawlerů je jasné rozhodnutí, které AI roboty smí číst váš web, a jeho správné nastavení v robots.txt, firewallu a CDN. Většina webů má buď všechno otevřené, aniž by o tom někdo rozhodl, nebo ze strachu zablokuje všechny AI roboty a pak se diví, proč je ChatGPT ani Perplexity necitují. Přitom trénink a AI vyhledávání jsou dvě různé věci. Od 190 €.
- Základ: 190 €
- S ověřením v access logu: 390 €
- Trénink vs. AI vyhledávání
- Robots.txt, firewall, CDN
- WordPress i jiné weby
- Hotovo do 3 pracovních dní
Proč weby blokují AI roboty špatně?
AI roboti nejsou jeden robot a nedělají jednu věc. Jedni sbírají texty na trénink modelů, jiní hledají zdroje pro odpověď, kterou AI právě píše uživateli. Kdo je hodí do jednoho pytle, často zablokuje právě ty, kteří mu přinášejí citace. Tohle vídám nejčastěji:
Zablokované všechno
Robots.txt zkopírovaný z nějakého článku blokuje i roboty AI vyhledávání. Web pak v odpovědích ChatGPT či Perplexity chybí, i když by tam patřil.
Otevřené všechno bez rozhodnutí
Nikdo nerozhodl, jestli obsah může jít na trénink modelů. U placeného obsahu, kurzů nebo vlastních dat je to obchodní otázka, ne technická.
Firewall blokuje potají
Robots.txt říká ano, ale Cloudflare nebo bezpečnostní plugin AI roboty odřízne. Nikdo o tom neví, dokud se nepodívá do logů.
Google-Extended jako strašák
Blokují Google-Extended v domnění, že tím zmizí z AI Overviews. Nezmizí. Ten token řeší trénink Gemini, ne zobrazování ve vyhledávání.
Falešní roboti
Do logů chodí roboti, kteří se jen vydávají za GPTBot nebo ClaudeBot. Bez ověření IP adres nevidíte, kdo je kdo.
Pravidla bez kontroly
Robots.txt je dobrovolný. Kdo neověří v access logu, jestli ho roboti dodržují, jen doufá.
Co dělají jiní špatně: vloží do robots.txt seznam 40 AI robotů z nějakého GitHubu a „Disallow: /“ pro všechny. Tím si zablokují i citace v AI vyhledávání a firma o tom neví. Správně je nejdřív rozhodnout, co chcete (být citovaní ano, trénink ano či ne), a teprve potom psát pravidla.
Co u AI crawlerů dělám
Rozhodnutí na 30 minut
Projdu s vámi, co chcete: být v AI odpovědích, povolit či zakázat trénink, chránit placený obsah. Rozhodnutí je vaše, já vysvětlím důsledky.
Roboti pro trénink
GPTBot, ClaudeBot, CCBot a tokeny Google-Extended a Applebot-Extended podle vašeho rozhodnutí.
Roboti AI vyhledávání
OAI-SearchBot, ChatGPT-User, PerplexityBot, Claude-SearchBot a Claude-User nechám otevřené, pokud chcete být citovaní.
Nový robots.txt
Čistá pravidla s komentáři, bez blokování Googlebotu, CSS a JS. U WordPressu přes Rank Math nebo soubor.
Firewall a CDN
Kontrola Cloudflare, Wordfence a hostingu, aby neblokovaly roboty, které chcete pustit, a naopak.
Placený a chráněný obsah
Členské sekce, kurzy a soubory oddělím tak, aby se nedostaly tam, kam nemají.
Ověření v access logu
V balíčku za 390 €: kteří AI roboti chodí, které stránky čtou, jestli dodržují pravidla a kteří jsou falešní.
Dokumentace
Krátký dokument, co je nastavené a proč, aby to váš správce při další změně nerozbil.
Videa jsou ve slovenštině.
Cena nastavení AI crawlerů
| Balíček | Pro koho | Cena |
|---|---|---|
| Základ | Rozhodnutí, nový robots.txt, kontrola firewallu a CDN, dokumentace. Nejčastější volba pro firemní weby. | 190 € |
| S ověřením v access logu | Vše ze Základu plus analýza access logu za poslední týdny: skutečné návštěvy AI robotů, čtené stránky, dodržování pravidel a odhalení falešných robotů. | 390 € |
Ceny jsou konečné v eurech, nejsme plátci DPH. Hotovo do 3 pracovních dní od získání přístupů. Pro ověření v access logu potřebuji logy alespoň za 2 týdny, ideálně za měsíc.
Jak to probíhá
Krátká práce, ale s jasným rozhodnutím na začátku. Potřebuji přístup do administrace nebo k robots.txt, ke Cloudflare či firewallu a u většího balíčku access logy z hostingu.
1
Rozhodnutí (den 1). Krátký hovor nebo e-mail: co chcete povolit, co zakázat a proč. Pošlu doporučení s důsledky.
2
Nastavení (den 2). Robots.txt, firewall, CDN, chráněné sekce. Vše otestované nástrojem na kontrolu robots.txt.
3
Kontrola (den 3). Dokumentace, u většího balíčku report z access logu. Za 30 dní se podívám, jestli roboti pravidla dodržují.
Co dostanete navíc
Kontrola robots.txt zdarma
Pošlete adresu webu a do jednoho pracovního dne vám napíšu, které AI roboty dnes blokujete a jestli jste to tak chtěli.
Kontrola za 30 dní
Podívám se na logy nebo chování robotů znovu a ověřím, že nastavení funguje.
Upozornění na nové roboty
Když některá velká AI firma ohlásí nového robota, dám vám do roka vědět, jestli je třeba pravidla upravit.
Související služby
| Služba | Kdy se hodí | Cena |
|---|---|---|
| Politika AI crawlerů | Chcete rozhodnout, kdo smí číst váš web | od 190 € |
| SEO analýza access logu | Chcete vidět všechny roboty, nejen AI | od 390 € |
| Implementace llms.txt | Chcete AI ukázat, co je na webu důležité (slovensky) | 282 € |
| Entita značky a Knowledge Panel | Chcete, aby AI věděla, kdo jste | od 490 € |
| Správa a údržba WordPressu | Chcete, aby to někdo hlídal průběžně | od 49 € / měsíc |
Kdo to dělá
RNDr. Milan Fraňo, PhD., HEAD of SEO WooAcademy. Access logy čtu pravidelně a o tom, jak AI roboti skutečně procházejí weby, píšu i v článku technické SEO pro AI (slovensky). Nikomu nedoporučuji blokovat všechno ani pouštět všechno naslepo.
Další krátká videa o SEO a GEO jsou na YouTube kanálu WooAcademy.
Časté otázky o AI crawlerech
Co jsou AI crawleři?
Roboti firem, které dělají AI modely a AI vyhledávání. Někteří sbírají texty na trénink (například GPTBot, ClaudeBot, CCBot), jiní hledají zdroje pro konkrétní odpověď (OAI-SearchBot, ChatGPT-User, PerplexityBot, Claude-SearchBot, Claude-User).
Kolik stojí nastavení AI crawlerů?
Základ 190 €, s ověřením v access logu 390 €. Ceny jsou konečné, nejsme plátci DPH.
Když zablokuji GPTBot, zmizím z ChatGPT?
Ne nutně. GPTBot sbírá data na trénink. Za vyhledávání v ChatGPT odpovídá OAI-SearchBot a za načtení stránky na žádost uživatele ChatGPT-User. Proto lze trénink zakázat a citace si nechat.
Zmizím z AI Overviews, když zablokuji Google-Extended?
Ne. Google-Extended je jen token v robots.txt, který říká, jestli obsah smí jít na trénink a grounding Gemini. AI Overviews jsou součástí vyhledávání Google a řídí je běžný Googlebot.
Dodržují AI roboti robots.txt?
Velké firmy deklarují, že ano, ale robots.txt je dobrovolný a některé boty spouštěné přímo uživatelem se jím podle dokumentace řídit nemusí. Proto v balíčku za 390 € ověřuji chování v access logu.
Mám blokovat AI trénink?
Záleží na obsahu. Pokud prodáváte kurzy, data nebo autorský obsah, dává to smysl. Pokud chcete hlavně viditelnost značky, trénink často necháte otevřený. Rozhodnutí je vaše, já vysvětlím důsledky.
Pomůže to k citacím v ChatGPT?
Samotné nastavení jen zajistí, že vás AI vyhledávání může číst. Jestli vás bude citovat, závisí na obsahu a důvěryhodnosti značky. O tom je článek o zmínkách o značce v AI (slovensky).
Politiku AI crawlerů nastavuje Milan Fraňo, WooAcademy, Bratislava. Ceny platné od října 2026.
Facebook hodnotenia.
Naplánuj si konzultáciu s našimi profesionálmi.
Google certifikovaná trénerka – Google ads kampane (PPC)
Facebook marketing partner – social marketing
HEAD of SEO a web editor – weby & SEO
Zanechajte nám kontaktné informácie a pripravíme cenovú ponuku na mieru ?
Marketingové služby na mieru, ozvite sa!