Сайт и сервер / Анализатор логов
Анализатор логов
Разберите лог доступа и увидите, как роботы ходят по сайту: сколько запросов, какие разделы, какие коды ответа, где тратится краул-бюджет.
Что загрузитьФайл access.log в формате combined или common, до нескольких гигабайт.
Что получитьБоты по группам, коды ответа, топ адресов и разделов, динамика по дням. CSV.
Перетащите файл access.log сюда или выберите на компьютере. Файл читается по частям и не загружается на сервер.
User-Agent легко подделать: под видом YandexBot и Googlebot ходят парсеры и сканеры уязвимостей. Подлинность робота подтверждается по IP-адресу, а не по строке в логе.
Как проверить
- Яндекс: обратный DNS-запрос по IP (
host 5.255.253.1) должен вернуть имя в доменахyandex.ru,yandex.netилиyandex.com; затем прямой запрос по этому имени должен вернуть тот же IP. - Google: имя должно заканчиваться на
googlebot.comилиgoogle.com, прямой запрос по имени возвращает тот же IP. Google также публикует JSON со списками адресов. - OpenAI и Anthropic публикуют диапазоны IP своих роботов. У Anthropic это файл
claude.com/crawling/bots.json.
Как пользоваться
- Загрузите файл лога или нажмите «Пример».
- Выберите, какие боты показывать.
- Изучите таблицы по ботам, кодам ответа и страницам.
- Выгрузите нужные таблицы в CSV.
Что важно знать
- Файл читается потоком и не загружается целиком в память и на сервер.
- User-Agent легко подделать. Для надёжной проверки сверяйте IP через обратный DNS или официальные списки адресов поисковиков.
Вопросы
- Какие форматы логов поддерживаются?
- combined и common для nginx и Apache. Нестандартные форматы нужно привести к одному из них.