Slovník pojmů
AI crawler — roboti,
kteří čtou web pro AI
Co je AI crawler?
AI crawler je robot, kterým provozovatelé jazykových modelů (OpenAI, Anthropic, Perplexity, Google) procházejí a stahují obsah webů — pro trénink modelů nebo pro vyhledávání v reálném čase. Web, který AI crawlery zablokuje, se v AI odpovědích nemůže objevit jako zdroj.
Kdo k vám chodí
GPTBot (OpenAI/ChatGPT), ClaudeBot (Anthropic), PerplexityBot, Google-Extended (Gemini) a další. Liší se účelem: některé sbírají data pro trénink, jiné dohledávají živé stránky pro konkrétní odpověď. Řídí se souborem robots.txt — tam rozhodujete, koho pustíte.
Blokovat, nebo pustit?
Pro média s placeným obsahem může blokace dávat smysl. Pro e-shop je to většinou vlastní gól: obsah, který crawler nesmí přečíst, se nemůže objevit v odpovědi, když se zákazník ptá na produkt nebo srovnání. Doporučujeme AI crawlery explicitně povolit a k tomu vystavit llms.txt — soubor, který AI nástrojům shrnuje, co na webu najdou.
Co s tím udělat
Zkontrolovat robots.txt (nezdědili jste odněkud plošný zákaz?), povolit vybrané AI crawlery, nasadit llms.txt. Je to jeden z prvních kroků auditu připravenosti na AI — levný a s okamžitým efektem.
Související pojmy
llms.txt
llms.txt je textový soubor v kořeni webu (jako robots.txt), který AI nástrojům lidsky čitelnou formou shrnuje, co web nabízí a kde najdou klíčové stránky. Zatímco robots.txt říká, kam roboti smí, llms.txt jim pomáhá pochopit, co je na webu důležité.
Celý pojemIndexace
Indexace je proces, při kterém vyhledávač stránku projde, vyhodnotí a zařadí do své databáze (indexu) — teprve pak se může zobrazovat ve výsledcích. Co není v indexu, nemůže být nalezeno, a to stále častěji platí i pro AI vyhledávání, které z indexů čerpá.
Celý pojemLLM (velký jazykový model)
LLM (Large Language Model, velký jazykový model) je typ umělé inteligence natrénovaný na obrovském množství textu, který umí rozumět jazyku a generovat odpovědi. Pohání ChatGPT, Google Gemini, Claude i AI vyhledávání — a právě LLM rozhoduje, které weby se v odpovědích objeví jako zdroje.
Celý pojem