Генератор llms.txt и robots.txt для нейросетей

Соберите robots.txt с правилами для ИИ-ботов и файл llms.txt с главными страницами сайта. Можно закрыть обучение моделей и оставить поиск открытым.

Генератор robots.txt для ИИ-ботов

Быстрые настройки

Закрыть обучение моделей
GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot, Meta-ExternalAgent, Bytespider Закрыть поиск нейросетей
OAI-SearchBot, Claude-SearchBot, PerplexityBot. Если закрыть, вас не будут цитировать в ответах с поиском. Закрыть запросы пользователей
ChatGPT-User, Claude-User, Perplexity-User. Эти боты заходят, когда человек просит нейросеть открыть ваш адрес.

Закрыть для всех роботов, по одному пути на строку

Адрес карты сайта (необязательно)

Готовый robots.txt

Генератор llms.txt

Название сайта или компании

Что делает сайт, одним предложением

Главные страницы, по одной на строку в виде «название | адрес | описание»

Второстепенные страницы, если есть (формат тот же)

Готовый llms.txt

Три вида ИИ-ботов

Когда говорят «закрыть сайт от нейросетей», обычно смешивают три разные вещи, и выбор у них разный.

Обучение моделей. Боты вроде GPTBot и ClaudeBot собирают тексты для обучения. Закрыв их, вы не дадите использовать сайт как учебный материал, но на ответы с поиском это не влияет.
Поиск и ответы. Боты вроде OAI-SearchBot и PerplexityBot строят поиск нейросети. Если их закрыть, вас не будут находить и цитировать в ответах.
Запросы пользователей. Боты вроде ChatGPT-User и Claude-User заходят на страницу, когда человек сам просит нейросеть её открыть.

Токен Google-Extended устроен иначе. Это не отдельный робот, а переключатель, который запрещает использовать ваши страницы для обучения моделей Gemini. На обычный поиск Google он не влияет.

Что такое llms.txt и работает ли он

Это файл в корне сайта, где простым текстом перечислены главные страницы с короткими описаниями. Идея в том, чтобы нейросеть быстро поняла, что у вас важное, не разбирая всю вёрстку. Формат описан на сайте llmstxt.org.

Честно, насколько мне известно, ни один крупный поисковик официально не подтвердил, что учитывает этот файл. Делать его можно, это десять минут и вреда он не принесёт, но обещать от него эффект я не стану. Если ставите, держите описания короткими и актуальными.

Что делать с файлами

Скопируйте результат и сохраните как robots.txt или llms.txt без лишних символов.
Положите файлы в корень сайта, чтобы они открывались по адресам ваш-сайт.ru/robots.txt и ваш-сайт.ru/llms.txt.
Откройте оба адреса в браузере и убедитесь, что видите свой текст. Не все конструкторы дают положить файл в корень, и это стоит проверить заранее.
Если у сайта уже есть robots.txt, не затирайте его целиком. Добавьте только блоки для нужных ботов.

Помните, что robots.txt это просьба, а не защита. Добросовестные боты её соблюдают, но закрыть страницы от тех, кто игнорирует правила, он не может.

Частые вопросы

Нужно ли закрывать сайт от ИИ-ботов?

Зависит от цели. Если вы хотите, чтобы нейросети рекомендовали вашу компанию, ботов поиска закрывать не стоит. Многие закрывают только обучение, если не хотят отдавать тексты, и оставляют поиск открытым.

Закрытие GPTBot повлияет на позиции в Google или Яндексе?

Нет. Эти боты не относятся к обычному поиску Google и Яндекса. Для них действуют отдельные роботы, которые не затрагиваются.

Список ботов не устареет?

Устареет. Названия роботов и их назначение меняются, поэтому перед внедрением стоит сверить их с документацией компаний. Генератор держит основные известные названия на момент написания страницы.

Нужно продвижение в нейросетях?

Проверю, как нейросети видят вашу компанию, и составлю план, как попасть в их ответы.

Обсудить проект Другие инструменты