Описание
Набор из 3 готовых Python-скриптов для сбора данных с публичных web-ресурсов
★ СОСТАВ:
1. amazon_review_scraper.py — отзывы с Amazon: rating, title, author, body, verified-buyer. Автоматическая пагинация страниц.
2. reddit_comment_scraper.py — комментарии с Reddit-тредов без OAuth. Парсит ветки рекурсивно, сортирует по score.
3. hn_comments_scraper.py — комментарии с Hacker News через public Firebase API. Рекурсивный сбор всех ответов.
★ ЗАВИСИМОСТИ: requests + beautifulsoup4 (только для amazon-скрипта)
★ ИСПОЛЬЗОВАНИЕ: python script_name.py URL [--output file.json]. Все скрипты сохраняют результат в JSON.
★ ЭТИКА: уважение к rate-limits, паузы между запросами. Только публичный контент. Цель: исследование и анализ.
📦 ZIP → 3 .py скрипта + README.txt | Python 3.8+ | requests + beautifulsoup4 | Amazon + Reddit + HN scrapers Формат: ZIP → 3 .py скрипта + README.txt | Python 3.8+ | requests + beautifulsoup4 | Amazon + Reddit + HN scrapers
Отзывы
Отзывов пока нет.