Задача Проанализировать заходы на сайт

Гугл.Аналитика, Яндекс.Метрика и т.п. дают много полезной информации, но: 1. Она ретроспективна. То есть можно узнать что было, но не особо видишь что происходит прям сейчас. 2. Они не говорят полноценно как часто и какие боты заходят на ваш сайт, какие страницы смотрят и т.п.

Сейчас я собираюсь новые разделы добавить и много новой информации выложить. Надо понимать насколько хорошо поисковики кушают это (как часто заходят и куда).

Я недавно добавлял логиронивание 404 и прочих ошибок. Сейчас надо включить логирование вообще всех заходов, чтобы можно было в режиме реального времени наблюдать за тем, что происходит.