Исходник Парсер всех тем заданного раздела с обходом антиддос защиты

Oniel

Известный
Автор темы
Проверенный
123
304
Апи ключ, как я понял, давать не будут. Но он, собственно, мне и не сильно нужен. Написал парсер тем заданного раздела, который парсит темы в формате: название темы, тэги темы, содержание темы, автор темы, вложения темы.

Для чего использовать?
Например, как расширенную RSS-ленту. Можно сделать чат-бота (вк, телеграм) с уведомлениями о темах, получением информацией о теме.

Парсер работает только с темами UIX и IO, но изменить не составит труда. Парсер довольно-таки медленный из-за работы с селениум, но если сайт не имеет антиддос защиты, то можно использовать обычные запросы и парсинг будет происходить мгновенно.

Если хотите открыть свой форум, то парсер можно скрутить с XF REST API и быстро набить себе базу тем, если вы понимаете, о чем я.

 

Oniel

Известный
Автор темы
Проверенный
123
304
почему бы не использовать RSS?
Как минимум потому, что в ленте ограниченное кол-во отображаемых строк из темы, а выводятся темы не из конкретного раздела, а последние.
 
  • Нравится
Реакции: Polinok, PGUT и Ded Perded

™ ChipFamily

По ту сторону надежды.
5,144
1,980
Обратите внимание, пользователь заблокирован на форуме. Не рекомендуется проводить сделки.
Можно сделать чат-бота (вк, телеграм) с уведомлениями о темах, получением информацией о теме.
Может сразу и сделаешь. Бот от @Niko вконтакте накрылся, а для Telegram'а еще никто не делал.