Убирание логирования ботов поисковых систем в базу Magento

В Magento разработчиками добавлена отличная и очень нужная функцию - фильтрацию агентов пользователя.

Для чего это нужно и что это дает?

Magento, как функциональный движок для интернет-магазинов, ведет логи пользователей - параметры браузера, просмотренные страницы, рефереры.

При значительном количестве товара в магазине лог может достигать 300-400 тысяч строк! А это очень сильно снижает производительность сервера базы данных, и как следствие увеличение времени генерации страницы (т.к. приходится дополнительно обращаться к базе).

После анализа содержимого логов было установлено, что 80-90% записей - это заходы поисковых роботов.

Вот наглядный пример:

Как видно, некоторые боты загрузили уже больше полумиллиона страниц!!!

И так оптимизация:

Открываем файл - app/code/core/Mage/Log/etc/config.xml и в блок добавляем следующий код:</p>

<ignore_user_agents>

    <yandex1>Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)</yandex1>

    <bing1>Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)</bing1>

    <mail1>Mozilla/5.0 (compatible; Mail.RU_Bot/2.0; +http://go.mail.ru/help/robots)</mail1>

    <ahrefs1>Mozilla/5.0 (compatible; AhrefsBot/4.0; +http://ahrefs.com/robot/)</ahrefs1>

    <maj1>Mozilla/5.0 (compatible; MJ12bot/v1.4.3; http://www.majestic12.co.uk/bot.php?+)</maj1>

    <ezoom1>Mozilla/5.0 (compatible; Ezooms/1.0; ezooms.bot@gmail.com)</ezoom1>

    <msn1>msnbot/2.0b (+http://search.msn.com/msnbot.htm)</msn1>

    <ym1>Mozilla/5.0 (compatible; YandexMetrika/2.0; +http://yandex.com/bots mon3)</ym1>

    <ym2>Mozilla/5.0 (compatible; YandexMetrika/2.0; +http://yandex.com/bots mon1)</ym2>

    <ym3>Mozilla/5.0 (compatible; YandexMetrika/2.0; +http://yandex.com/bots mon2)</ym3>

    <ym4>Mozilla/5.0 (compatible; YandexMetrika/2.0; +http://yandex.com/bots)</ym4>

    <ym5>Mozilla/5.0 (compatible; YandexMetrika/2.0; +http://yandex.com/bots TEST)</ym5>

    <ym6>Mozilla/5.0 (compatible; YandexMetrika/2.0; +http://yandex.com/bots DEV)</ym6>

    <ym7>Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:17.0) Gecko/20100101 Firefox/17.0 (compatible; YandexMetrika/2.1; +http://yandex.com/bots) 42</ym7>

    <ym8>Mozilla/5.0 (compatible; YandexMetrika/2.1; +http://yandex.com/bots)</ym8>

    <solo1>SolomonoBot/1.04 (http://www.solomono.ru)</solo1>

    <yandex2>Yandex/1.01.001 (compatible; Win16; I)</yandex2>

    <msn2>msnbot-media/1.1 (+http://search.msn.com/msnbot.htm)</msn2>

    <yandex3>Mozilla/5.0 (compatible; YandexImages/3.0; +http://yandex.com/bots)</yandex3>

    <google1>Googlebot-Image/1.0</google1>

    <pan>checks.panopta.com</pan>

    <lin1>Linguee Bot (http://www.linguee.com/bot; bot@linguee.com)</lin1>

    <openst1>Mozilla/5.0 (compatible; openstat.ru/Bot)</openst1>

    <yandex4>Yandex/2.01.000 (compatible; Win16; Dyatel; C)</yandex4>

    <yandex5>Mozilla/5.0 (compatible; YandexDirect/3.0; +http://yandex.com/bots)</yandex5>

    </ignore_user_agents>

В результате мы фильтруем заходы поисковых роботов от записи в логи. И как следствие база данных имеет меньший размер, сервер не теряет производительность и уменьшается нагрузка на магазин от заходов поисковых роботов.