Для владельцев сайтов
О боте SiteInsightBot
Эта страница — для владельцев сайтов, которые заметили наш краулер в логах. Здесь мы объясняем, что он делает и как запретить ему доступ.
Кто это
SiteInsightBot — краулер сервиса site-insight. Он обходит страницы сайта по запросу пользователя, который заказал аудит и подтвердил, что является владельцем сайта или имеет разрешение владельца на анализ. Собранные данные используются только для формирования отчёта конкретному заказчику и не публикуются.
Как его узнать
В логах бот представляется User-Agent:
SiteInsightBot/1.0 (+https://site-insight.ru/bot)Как он себя ведёт
- Соблюдает правила из robots.txt, включая директиву Crawl-delay.
- Ограничивает частоту запросов (1–2 запроса в секунду на домен).
- Ограничивает число страниц за один аудит.
- Корректно обрабатывает коды 429 и 403, снижая нагрузку.
- Не обходит капчи и технические блокировки.
Как запретить обход
Добавьте в файл robots.txt вашего сайта следующие строки:
User-agent: SiteInsightBot
Disallow: /Если нужно запретить анализ вашего домена немедленно и удалить уже сохранённые данные — напишите нам на abuse@site-insight.ru. Мы внесём домен в список исключений.