[Расширение] (phpBB 3.2/3.3) BB3BotsManager: Расширенное управление поисковыми ботами

[PPK]

Описание
Расширение для форума phpBB3 (только версии 3.1 и выше) добавляющее расширенные возможности управления поисковыми ботами.
Добавлена возможность блокировки ботов, постоянная или по периоду времени, при посещении форума соотв. боту будет отображаться страница с ошибкой 403 (Forbidden) или 503 (Service Unavailable)
Добавлена функция автоматического определения ботов и логирование посещения для последующего добавления бота на основе данных лога посещения
В раздел поисковых ботов (отдельной страницей) добавлены возможности:
- отображение ботов постранично
- отображение в списке ботов стиля и языка бота
- поиск по названию бота или соответствию агента
- выбор поля сортировки и периода последнего посещения
- фильтр по состоянию, блокировке, стилю или языку бота
Скриншоты расширения и его описание соответствуют версии расширения на момент его выхода, все дальнейшие изменения добавляются и отображаются только в истории версий

Установка
Распаковать архив, в корневой директории форума в директории /ext/ создать директорию ppk, скопировать содержимое архива в эту директорию, т.е. путь файла composer.json из архива у вас должен выглядеть следующим образом: /ext/ppk/bb3botsmanager/composer.json
Включить расширение в адм. разделе: адм. раздел - вкладка Персонализация - Управление расширениями, напротив BB3BotsManager нажать ссылку Включить

Настройка
Адм. раздел - Расширения - BB3BotsManager
Общие настройки

Страница поисковых ботов

Страница лога посещений

База данных ботов


Обновление
Для обновления расширения нужно отключить расширение в адм. разделе, удалить его файлы, загрузить новую версию расширения и включить его заново.

Доступные языки
ru, en

Скачать расширение
С форума (необходимо зарегистрироваться и/или войти на форум)
Для версии 3.2/3.3

bb3botsmanager_f_1.6.7.10.zip

С GIT репозитория
https://gitlab.com/protoneutron/bb3botsmanager

phpBB3.2/3.3
2022.08.01 - 1.0.0 Начальная версия
2022.08.17 - 1.5.0
- В раздел "Поисковые боты", "Лог посещений" добавлена возможность поиска по IP адресам
- Добавлен раздел "База данных ботов", в разделе отображаются все известные боты по данным сайта https://udger.com, боты сгруппированы по семейству и категории, есть возможность поиска и фильтрации
- Автоопределение ботов теперь сначала происходит по базе данных ботов, потом через модуль crawler-detect
2022.08.22 - 1.5.1 База данных ботов обновлена до даты 2022-08-17 09:07 (обновление производится через раздел расширения "Настройки"), небольшие изменения
2022.08.24 - 1.5.2 База данных ботов обновлена до даты 2022-08-24 09:33, небольшие изменения
2022.09.19 - 1.5.3 База данных ботов обновлена до даты 2022-09-12 09:18, небольшие исправления
2022.10.11 - 1.5.4
- База данных ботов обновлена до даты 2022-10-10 09:25
- В настройки добавлена возможность выбора способа определения ботов
- В раздел "Лог посещений" добавлен поиск и сортировка по названию бота, добавлена иконка к названию и/или семейству если оно совпадает с добавленным на форум ботом, добавлены фильтр для отображения по названию, наличию или отсутствия названия бота, фильтр для отображения (не)совпадающих с добавленными на форум ботами
- В раздел "Поисковые боты" добавлена опция для применения выбранного действия ко всем ботам
2022.10.14 - 1.5.5 - В раздел "Лог посещений" добавлена дополнительная иконка к названию и/или семейству если оно частично совпадает с добавленным на форум ботом, когда в названии бота содержится номер версии. Небольшое исправление
2022.10.26 - 1.5.6 База данных ботов обновлена до даты 2022-10-24 09:48, небольшие исправления
2022.11.08 - 1.5.7 В раздел "Лог посещений" добавлена возможность выбора для отметки ботов с полным или частичным совпадением по семейству, названию, заголовку агента или IP адресу с добавленными на форум ботами, в раздел "Поисковые боты" добавлено предупреждение если на форуме есть боты с одинаковыми соответствиями агента и IP адресом, небольшие исправления и изменения
2022.11.14 - 1.6.0
- В раздел "Поисковые боты" добавлен фильтр для отображения ботов по наличию или отсутствию IP адреса
- В раздел "Лог посещений" добавлено запоминание выбранной опции для отметки ботов с совпадениями с ботами добавленными на форум, к заголовку агента добавлена иконка семейства бота с соответствующей ссылкой в раздел базы данных ботов
- В настройки добавлена опция для запрета для ботов добавленных на форум действий регистрации или входа на форум
2022.11.28 - 1.6.1 База данных ботов обновлена до даты 2022-11-24 09:11, небольшое исправление
2022.12.27 - 1.6.2 База данных ботов обновлена до даты 2022-12-27 08:51
2023.03.15 - 1.6.2.1 База данных ботов обновлена до даты 2023-03-13 09:17
2023.04.02 - 1.6.3 Исправлена ошибка при поиске в базе данных ботов на некоторых версиях mysql
2023.05.02 - 1.6.3.1 База данных ботов обновлена до даты 2023-05-01 09:14, модуль crawler-detect обновлён до последней версии
2023.06.07 - 1.6.3.2 База данных ботов обновлена до даты 2023-06-06 09:35, модуль crawler-detect обновлён до последней версии
2023.07.20 - 1.6.3.3 База данных ботов обновлена до даты 2023-07-17 10:57
2023.09.08 - 1.6.3.4 База данных ботов обновлена до даты 2023-09-04 09:08, модуль crawler-detect обновлён до последней версии
2023.10.11 - 1.6.3.5 База данных ботов обновлена до даты 2023-10-10 08:57
2023.11.09 - 1.6.4 База данных ботов обновлена до даты 2023-11-06 08:56, небольшое исправление
2023.12.05 - 1.6.4.1 База данных ботов обновлена до даты 2023-12-04 09:05
2024.01.09 - 1.6.4.2 База данных ботов обновлена до даты 2024-01-08 09:01
2024.02.06 - 1.6.4.3 База данных ботов обновлена до даты 2024-02-05 09:07
2024.03.05 - 1.6.4.4 База данных ботов обновлена до даты 2024-03-04 08:56
2024.04.02 - 1.6.4.5 База данных ботов обновлена до даты 2024-04-01 08:59, модуль crawler-detect обновлён до последней версии
2024.05.06 - 1.6.4.6 База данных ботов обновлена до даты 2024-05-06 08:55, модуль crawler-detect обновлён до последней версии
2024.06.04 - 1.6.4.7 База данных ботов обновлена до даты 2024-06-03 08:51
2024.07.02 - 1.6.4.8 База данных ботов обновлена до даты 2024-07-01 12:16
2024.08.07 - 1.6.5 База данных ботов обновлена до даты 2024-08-06 08:51, небольшие изменения
2024.09.02 - 1.6.6 База данных ботов обновлена до даты 2024-09-02 09:02, небольшие изменения
2024.10.02 - 1.6.6.1 База данных ботов обновлена до даты 2024-10-02 10:19, модуль crawler-detect обновлён до последней версии
2024.10.22 - 1.6.7 Исправления в файлах английской локализации
2024.11.04 - 1.6.7.1 База данных ботов обновлена до даты 2024-11-04 10:46
2024.12.03 - 1.6.7.2 База данных ботов обновлена до даты 2024-12-02 08:55, модуль crawler-detect обновлён до последней версии
2025.01.07 - 1.6.7.3 База данных ботов обновлена до даты 2025-01-06 08:55
2025.02.05 - 1.6.7.4 База данных ботов обновлена до даты 2025-02-03 09:13
2025.03.04 - 1.6.7.5 База данных ботов обновлена до даты 2025-03-03 08:56, модуль crawler-detect обновлён до последней версии
2025.04.02 - 1.6.7.6 База данных ботов обновлена до даты 2025-04-01 10:10, модуль crawler-detect обновлён до последней версии
2025.05.06 - 1.6.7.7 База данных ботов обновлена до даты 2025-05-05 08:50
2025.06.02 - 1.6.7.8 База данных ботов обновлена до даты 2025-06-02 08:52
2025.07.01 - 1.6.7.9 База данных ботов обновлена до даты 2025-06-30 09:10, модуль crawler-detect обновлён до последней версии
2025.07.31 - 1.6.7.10 База данных ботов обновлена до даты 2025-07-31 09:09, небольшие изменения

[southklad]

А можно описать в двух словах, что это расширение дает по факту?

[PPK]

Вроде же в описании и на скриншотах всё есть

[masterbiz]

Nice extension, Thanks I'll see how long I have time to translate it into Italian: good:

Отправлено спустя 1 минуту 39 секунд:
"Bots", "spiders" or "crawlers" are automated agents commonly used by search engines to update their databases. Since they rarely make proper use of sessions, they can skew the hit counter value, increase load, and sometimes fail to index sites correctly. Here you can define a special type of user in order to overcome these problems.

[SMERCH]

Приветствую. PPK, подскажи, есть функция "Добавить бота", список большой. Нужно ли добавлять или нет? Если да, то каких?

[PPK]

В идеале бы всех , только добавлять не учитывая версию, т.е. Какой-тоБот/2.1 и Какой-тоБот/2.0 должны быть одним ботом

[SMERCH]

должны быть одним ботом

т.е. если из 5 ботов я добавлю 1, и не важно с какой версией, этого будет достаточно?

Отправлено спустя 11 минут 3 секунды:
PPK, еще подскажи, это расширение не грузит форум? Чет после установки как будто страницы стали дольше грузиться

Отправлено спустя 3 минуты 6 секунд:
Вот для примера, в логах пишет, что бот Яндекса уже заходил на сайт 10 мин назад, а есть функция добавления бота в самих логах, а в чем смысл, когда бот уже на сайте?

[PPK]

1. Да, добавление я имею ввиду через лог посещений, а не через базу данных ботов, добавлять нужно только тех ботов которые посещают форум, но не определены как боты на форуме
2. Все расширения грузят форум в той ли иной степени, это расширение делает от одного до 3 sql запросов к БД на главной странице форума, никаких графических или других элементов оно на страницы не до добавляет, включить дебаг, обновить несколько раз страницу с гостя, посмотреть время генерации, отключить расширение, посмотреть время, сравнить, будет видно есть хоть какая-то разница в генерации
3. Если он уже есть добавлять его не нужно, эта опция не смотрит добавлен такой бот уже или нет, кнопка всегда будет

[SMERCH]

PPK, спасибо

[SMERCH]

PPK, при добавлении бота в настройках по умолчанию установлено "Бот активен - нет", я так понимаю, там нужно выставить да и только тогда он станет активным? Просто не понятно, зачем установлено нет.