У цій добірці ми розповімо про сервіси, програми та фреймворки для парсингу даних безкоштовно. У добірці ви знайдете повністю безкоштовні інструменти та інструменти з обмеженою функціональністю. У будь-якому випадку ці інструменти дозволять розбивати дані.

Парсинг – це автоматизований збір даних в інтернеті. Застосовується для збору інформації про ціни конкурентів, файлів, SEO даних, описів товарів, контактів, рейтинги користувачів та відгуків, для інших завдань, коли потрібно отримати значний обсяг інформації, який неможливо зібрати руками або ручна обробка буде надто трудомістка. При цьому, часто у початківців немає зайвих коштів на подібні інструменти і вирішенням проблеми може стати самостійне вивчення інструментів для парсингу, які можна використовувати безкоштовно.

Для початку подивимося, які бувають інструменти для парсингу, умовно розділимо на дві частини. Перша – це розробка програми парсера. Такі програми пишуть програмісти різними мовами програмування - Python, Java, Javascript. Підхід дозволяє створити будь-яку логіку скрипта і зрештою гарантовано вирішить завдання, але потребує часу та коштів на створення та підтримку парсера.

Друга - звичайні користувачі, яким доводиться вибирати з безлічі готових рішень, в яких реалізований набір можливостей, з одного боку такий підхід швидкий і практичний, але якщо можливостей сервісу вам не вистачить, доведеться шукати інше рішення, це призводить до витрати часу на вивчення декількох інструментів без гарантії, що ви зрештою вирішите завдання.

Програми для парсингу

Десктоп програми підійдуть, якщо вам потрібно не складне рішення з можливістю швидкого старту і не знання програмування, що не вимагає. Можливості та спеціалізація програм відрізняються, а так само обмежені потужністю вашого комп'ютера, загалом програми для парсингу – відмінне рішення для простих завдань.

1. Screaming Frog SEO Spider

Screaming Frog SEO Spider - відома програма, що спеціалізується на роботі з SEO даними, має найширший функціонал для аудиту сайтів та парсингу даних, перерахування всіх можливостей програми займе багато часу, в нашому огляді розглянемо основні можливості програми. При першому погляді інтерфейс програми здається, але через деякий час розумієш, що інтерфейс структурований, вкладки організовані для швидкого доступу до важливої ​​інформації та загалом робота зручна.

1. Відстеження неробочих посилань; 2. Збір заголовків та метаданих; 3. Аудит href; 4. Знаходження дублікатів сторінок; 5. Робота з robot.txt; 6. 500 адрес на сайт; 7. Робота з Sitemap.

Програма має хорошу документацію, багато навчальних уроків, на неї написано багато оглядів, освоїти програму за бажання буде не складно.

Повна версія програми дозволить парсити не тільки SEO інформацію, але й будь-яку потрібну вам за допомогою мову запитів XPath.

Можливості програми:

- швидка робота; - аудит сайту середнього розміру; - Детальна документація та уроки.

- Windows; - MacOS; - Ubuntu.

2. Easy Web Extract

Easy Web Extract дозволяє збирати дані з простих html сайтів і сайтів з вмістом, що динамічно підвантажується. Для використання програми не потрібні знання програмування, робота ведеться через майстер, який покроково допоможе організувати налаштування шаблону для парсингу. Для того, щоб швидко освоїти програма пропонує базу знань та відео уроки.

Інша особливість Easy Web Extract - можливість багатопотокового збору, це дозволить економити час виконання парсингу, але будьте обережні при багатопотоковому скануванні, цільовий сайт може блокувати ваш ip з -за підозрілої активності.

У Easy Web Extract є можливість парсингу даних, що динамічно завантажуються, при тестуванні програма впоралася не з усіма сайтами, перевірте цю можливість на потрібному вам сайті.

- 14 днів; - парсинг перших 200 результатів; - експорт перших 50 результатів.

Таким чином, незважаючи на всі можливості в безкоштовній версії, програма підійде для парсингу невеликого обсягу інформації, якщо це ваш варіант, то вона стане відмінним вибором.

- багатопоточність; - робота з пошуком; - збереження шаблонів; - робота з динамічними даними;- Відео-уроки.

3. FMiner

FMiner - програма для парсингу сайтів, з візуальним настроюванням, не вимагає знання мов програмування, вона записує ваші дії створюючи таким чином сценарії, які ви можете редагувати, зберігати та відтворювати в подальшому.

Програма розуміє динамічно завантажені дані, наприклад AJAX, підтримує багатопоточність, надає можливість працювати з результатами пошуку та експортує дані у декілька вихідних форматів.

Для швидкого старту є відео-уроки та мануали, є розділ із документацією, що розповідає у короткій формі можливості та основи роботи з програмою.

1. 14 днів;

1. Візуальне налаштування парсингу; 2. Багатопоточність; 3. Робота з результатами пошуку; 4. Робота з динамічними даними; 5. Відео-уроки.

1. Windows; 2. Mac OSX.

4. Helium scraper

Helium scraper - програма для парсингу даних із сайтів. Принцип роботи з програмою схожий на роботу з розглянутою вище програмою, на відміну - замість візуального представлення дій програма показує код. Інтерфейс у програми не є найбільш доброзичливим для непідготовленого користувача, але програма має базу знань та відео-уроки, які допоможуть освоїти принципи роботи.

Функціональність програми має ряд особливостей стосовно розглянутих вище. Одна з ключових - це можливість збирати великі бази даних, до 140 Терабайт, якщо ваше завдання має на увазі збирання великого обсягу інформації, то варто звернути увагу на Helium scraper. Також програма може працювати через API, ви можете інтегрувати запити до цільових сайтів у свій проект.

- 10 днів, без функціональних обмежень;

- візуальне програмування; - багатопоточність; - робота з результатами пошуку; - робота з динамічними даними; - ротація ip; - блокування небажаного контенту; - база знань; - API інтеграція;- Планувальник.

1. Windows.

5. WebHarvy

WebHarvy – цікавий варіант для парсингу сайтів, програма пропонує простий та наочний інтерфейс для захоплення даних і в цьому її головна особливість – вона інтуїтивно зрозуміла з першого погляду. WebHarvy не підійде для каталогів зі складною структурою вкладеності, програму потрібно вибирати для сайтів із простою структурою вкладеності не далі другого рівня, приємний бонус, програма розуміє динамічно завантажені дані, так само ви зможете підключити свої проксі і пройти заздалегідь підготовленим списком адрес. Програма дозволяє користуватися регулярними виразами, наприклад, ви зможете очистити html код.

- 15 днів; - Перші 2 сторінки.

Через обмеження в 2 сторінки програма сильно обмежує парсинг каталогів, але якщо є можливість вивести дані на одну сторінку, WebHarvy - хороший вибір.

- візуальне редагування; - багатопоточність; - RegExp; - робота з динамічним вмістом; - підтримка IP; - відео-уроки; - Планувальник.

- Windows.

6. Screen-Scraper

Screen-Scraper – ще одне програмне рішення для збору даних із сайтів. Програму складно назвати простою, потрібен час для навчання, але можливості безкоштовної версії високі. Screen-Scraper може збирати дані, переходити за посиланнями, заповнювати та відправляти форми, переходити на сторінки результатів пошуку та завантажувати різні файли. Програма може впоратися з будь-яким сайтом, у тому числі з AJAX даними.

- не обмежена за часом;

Можливості:

- відео-уроки; - багатопоточність; - API; - AJAX; - підтримка роації Ip; - Програмування скриптів на Java, Javascript та Python.

Доступні ОС:

1. Windows; 2. MacOS; 3. Linux.

Хмарні сервіси для парсингу

Хмарні сервіси, на відміну від програм, дозволяють збирати не використовуючи ресурси вашого комп'ютера, такі сервіси програмуються через вікно браузера або програму на вашому комп'ютері, а сам процес вилучення даних виконується на сторонньому сервері. Сервіси, як і програми, надають можливості здійснювати парсинг безкоштовно.

7. Octoparse

Octoparse - популярний сервіс для парсингу, дозволяє візуально, без написання коду програмувати парсер. Перевага сервісу для непідготовленого користувача - безліч статей, які пояснюють, як ним користуватися. У плані функціональності сервіс надає хороші ліміти у безкоштовній версії.

- 14 днів; - кількість сторінок не обмежена; - експорт 10 000 рядків; - до 10 збережених налаштувань; - Підтримка.

- динамічний контент; - ротація ip; - планувальник; - робота у хмарі 24/7; - Робота з API.

8. Mozenda

Mozenda - відомий і один із найстаріших хмарних сервісів. Пропонує налаштування візуальним захопленням даних, мову XPath для налаштування отримання складних даних, розробникам сервіс пропонує створення сценаріїв парсингу. Сервіс пропонує демонстраційний період на цілий місяць, налаштування парсингу відбувається через програму, яку потрібно встановити на комп'ютер, збір інформації відбувається у хмарі.

- 30 днів;

- багатопоточність; - динамічний контент; - ротація ip; - планувальник; - Повідомлення.

9. Diffbot

Diffbot - інноваційний сервіс, який використовує машинне навчання та комп'ютерний зір для парсингу даних. Сервіс може автоматично визначити тип сторінки, на якій знаходиться і збирати різні дані для підтримуваних типів сторінок. Заявляється про підтримку статей, карток товарів, зображень, обговорень та відео.

- 14 днів; - Запит у секунду.

- автоматизація процесу - ротація ip; - Робота з API.

10. Scraper api

Scraper api - сервіс, що вимагає програмування, працює через безголовий браузер. Сильна сторона Scraper API - зміна IP адреси для кожного запиту, сервіс вибирає проксі з мільйона доступних і автоматично повторює невдалі запити, доки не збере потрібні дані. Сервіс вміє працювати з капчею.

- 1000 дзвінків;

Сервіс може працювати з однією з мов програмування – NodeJS, Python, Ruby або PHP.

- 40 млн Ip; - 12 геолокацій; - необмежена пропускна спроможність; - Робота з Javascript.

11. Scrapy Cloud від Scrapinghub

Scrapy Cloud - хмарна платформа, що дозволяє програмувати парсери, вимагає знання мов програмування. Надає гнучкі інструменти для створення проектів із будь-якою потрібною вам логікою. Сервіс пропонує безлімітну кількість даних на безкоштовному тарифі, але обмежує час роботи однією годиною.

- 1 година;

- динамічний вміст; - зміна проксі; - мультипоточність; - API.

12. ScrapingBee

ScrapingBee - сервіс для парсингу даних, що вимагає програмування, збір даних здійснюється через безголовий браузер. Особливість ScrapingBee – рендеринг Javascript, це дозволяє парсить будь-який сайт, який використовує React, Angulars, Vue.js та інші бібліотеки. Сервіс використовує проксі сервера для зниження ймовірності блокування, так само це дозволить запустити парсинг у кілька потоків, що збільшить швидкість збору даних.

- 1000 запитів;

Сервіс вимагає знання програмування однією з мов - CURL, Python, NodeJS, Java, Ruby, Php, Go.

- робота з Javascript; - підтримка зміни Ip; - мультипоточність; - API.

13. Apify

Apify – сервіс заснований на готових рішеннях. Магазин Apify дозволяє використовувати заздалегідь підготовлені шаблони для найпопулярніших запитів користувача: збір даних з Amazon, Instagram, Booking і т.д. буд. Сервіс дає доступ до API через підключення до якого і відбувається збір даних, всі представлені шаблони добре описані, так само ви можете змінити налаштований шаблон, щоб внести потрібні зміни.

- 10 сторінок; - зберігання даних за 7 днів; - 30 проксі серверів).

- робота з Javascript; - ротація проксі; - мультипоточність; - API.

14. Web Scraper

Web Scraper - сервіс для парсингу, створений, щоб спростити парсинг даних з сайтів. Парсер налаштовується у візуальному редакторі, ви просто вказуєте якісь елементи хочете захопити. Web Scraper дозволяє створювати карти сайту із різних типів селекторів. Ця система дозволяє в подальшому адаптувати вилучення даних до різних структур сайту.

- лише локальне використання; - динамічні дані; - Неможливий рендеринг Javascript; - Експорт лише до CSV.

- Рендеринг Javascript; - ротація проксі; - планувальник; - мультипоточність; - Робота через API.

15. CrawlMonster

CrawlMonster – SEO орієнтований інструмент для парсингу. За допомогою сервісу ви зможете отримати доступ до SEO даних вашого веб-сайту, таких як контент, статуси сторінок, код сайту, різні помилки, сервіс сповістить про проблему з безпекою та багато іншого.

- 100 сторінок; - 1 сайт; - немає планувальника; - Обмежений функціонал.

- комплексний SEO-аналіз; - структурний аналіз; - Ефективність SEO; - відстеження проблем; - аналіз безпеки; - моніторинг сайту в реальному часі; - Звіти.

16. eScraper

eScraper - сервіс, який підійде для парсингу сайтів електронної комерції, у сервісу є налаштовані інтеграції з магазинами побудованими на Magento, PrestaShop, WooCommerce або Shopify. Може парсить контент, що динамічно завантажується, такий як, розкриваються списки, розділи «показати ще» і «наступна сторінка» і чекбокси.

– 100 сторінок.

- візуальне програмування; - планувальник; - Велика кількість інтеграцій із eCommerce CMS.

17. 80legs

80legs - сервіс для парсингу сайтів, що використовує заздалегідь створені шаблони. Шаблони для парсингу від 80legs використовують технології Javascript, які ви можете змінювати відповідно до ваших завдань. У шаблонах можна налаштувати, які дані збиратимуться і за якими посиланнями потрібно переходити.

- один потік; - 10000 сторінок; - Потрібно прив'язати пластикову картку.

- Рендеринг Javascript; - ротація Ip; - автовизначення швидкості парсингу; - API.

18. Phantom Buster

Phantom Buster – ще один хмарний сервіс, що пропонує готові шаблони. Сервіс спеціалізується на соціальних мережах, таких як Facebook, Twitter, Instagram, LinkedIn та ін. Парсинг не вимагає вміння програмувати, ви зможете легко виконувати звичні для соціальних мереж дії автоматично, такі як відстеження активності профілів, авто-лайки постів, надсилання повідомлень та прийом заявок.

- один шаблон; - 10 хвилин на день.

- готові шаблони; - автоматизація дій;

19. Webhose

Webhose – цей сервіс спеціалізується на новинах, блогах, форумах та роботі з даркнетом. Також сервіс відкриє доступ до величезної бази історичних даних.

– 10 днів.

Сервіс підійде, якщо вам потрібно дістати інформацію з джерел новин або даркнета. Також, якщо є потреба у історичних даних.

- API; - новинні джерела; - Історичні дані.

20. Parsers

Parsers - сервіс парсингас візуальним настроюванням парсингу, працює через розширення для браузера. Сервіс спрощує налаштування збору даних за допомогою алгоритмів машинного навчання, вам потрібно вибрати дані лише на одній, першій сторінці сайту, далі сервіс шукає схожі сторінки на сайті та отримує зазначені дані.

- 1000 сторінок за прогін; - 10 потоків.

- API; - планувальник; - автоматичний пошук потрібних даних.

21. Agenty

Agenty - сервіс, що пропонує налаштування парсера через розширення для браузера Chrome. Сервіс дуже простий у налаштуванні, потрібно просто натиснути на дані які ви хочете зібрати, працює за допомогою CSS-селекторів, експортує дані в JSON, CSV, TSV.

- 14 днів; – 100 сторінок.

- автоматична ротація проксі; - візуальне налаштування; - пакетна обробка сторінок; - планувальник; - Інтеграції з хмарними дисками та Google таблицями.

22. Grepsr

Grepsr - розширення для браузера Chrome з візуальним налаштуванням парсеа. Сервіс пропонує інтуїтивно зрозумілий інтерфейс, API для автоматизації збору даних та інтеграції з популярними хмарними дисками – Dropbox, Google Drive, Amazon S3, Box, FTP.

- 1000 запитів на місяць; - 500 записів за запуск; - 5 запусків на місяць; - 3 звіти на місяць.

- інтеграції з хмарними дисками; - візуальне програмування; - планувальник; - API.

23. Web Robots

Web Robots - хмарний сервіс, який використовує для налаштування розширення для браузера Chrome. Робота з сервісом максимально спрощена, це один із найпростіших сервісів, парсер налаштовується візуально, розібратися з ним не важко, просто вказуєте потрібні дані на сторінці та сервіс автоматизує подальший дії. Функціональність сервісу така проста, парсер підійде для найпростіших завдань.

- розширення працює без обмежень;

- візуальне налаштування; - Автоматично знаходить та збирає дані.

24. Data miner

Data miner - ще один сервіс, який використовує шаблони та працює через розширення для браузера, підтримуються Google Chrome та Microsoft Edge. Має візуальний інтерфейс для налаштування даних. Data Miner пропонує просто величезну кількість налаштованих шаблонів, понад 40 000 для найпопулярніших веб-сайтів. За допомогою готових шаблонів ви зможете зібрати дані в кілька кліків мишкою. Сервіс дозволяє працювати з потрібним вам списком адрес.

- 500 сторінок;

- візуальне налаштування; - пакетна обробка сторінок; - робота з динамічними даними.

25. Scraper.AI

Scraper.AI - сервіс, що працює через розширення для браузера. Підтримуються Chrome, Firefox та Edge. Scraper.AI не вимагає роботи з кодом і пропонує просте налаштування через візуальний інтерфейс. Також ви можете використовувати готові шаблони для соцмереж - Facebook, Instagram та Twitter.

Обмеження у безкоштовній версії:

- 3 місяці; – 50 сторінок.

Можливості сервісу:

- візуальне налаштування; - планувальник; - робота з динамічними даними; - Повідомлення.

Безкоштовні фреймворки (бібліотеки) для парсингу

Фреймворки – інструментарій для розробки власних парсерів, для роботи з ними необхідно знати одну з мов програмування, ці інструменти допоможуть реалізувати проект будь-якої складності. Можна написати потрібну вам логіку замовити парсингу, парсить будь-які сайти, звичайно, це вимагатиме програмістів, виділених серверів і покупки проксі.

26. Scrapy

Scrapy - фреймворк для парсингу з відкритим кодом. Scrapy використовує мову програмування Python і є одним із найпопулярніших фрейморків для парсингу. Одна з головних переваг Scrapy - можливість асинхронної обробки запитів. Це дозволяє не чекати, доки запит буде завершено, парсер може надсилати паралельні запити або виконувати іншу логіку в цей час. Якщо в процесі виклику відбудеться помилка, парсер не припинить роботу, паралельні процеси продовжать виконуватися.

Такий підхід дозволяє працювати дуже швидко і отримувати високу стійкість до відмови. Scrapy також пропонує керування та іншими параметрами парсингу, ви зможете задавати затримку між кожним запитом або групою запитів, обмежити кількість одночасних запитів для кожного домену чи IP-адреси або навіть використовувати автоматичний розрахунок потрібної затримки між запитами.

Через популярність у Scrapy велике ком'юніті і написана докладна документація.

27. BeautifulSoup

BeautifulSoup - фреймворк, що також використовує популярну мову програмування Python, дозволяє парсить дані з HTML та XML документів. Фреймворк пропонує докладну документацію, для відкриття посилань та збереження результатів потрібно підключити сторонні бібліотеки. Він простіше функціонально порівняно зі Scrapy, BeautifulSoup варто вибрати, якщо завдання парсингу не вимагають розподілу даних, не вимагають реалізації складної логіки і не потрібно застосовувати проксі сервера. Але, на противагу меншому функціоналу BeautifulSoup більш простий в освоєнні, бібліотека підійде програмістам-початківцям, безліч мануалів допоможуть швидко розібратися в продукті.

28. Jaunt

Jaunt - бібліотека для парсингу мовою Java з відкритим вихідним кодом. Працює через легкий та швидкий безголовий браузер (без графічного інтерфейсу). Браузер дає доступ до DOM і контролю над кожним запитом HTTP - відповіддю. Jaunt дозволяє скриптам на Java:

- парсити сторінки сайтів, отримувати JSON-дані; - працювати з формами; - парсити таблиці; - обробляти окремі HTTP-запити – відповіді; - Інтерфейс із REST API або веб-додатками (JSON, HTML, XHTML або XML).

29. Selenium

Selenium - це справжній «швейцарський ніж» для парсингу, є набором інструментів для автоматизації браузерів, включає інструменти для управління, розгортання, запису і відтворення дій. Всі продукти Selenium випущені з відкритим кодом.

Парсери можна писати різними мовами - Python, Java, C#, Javascript або Ruby. Selenium дозволяє пов'язувати не лише браузери, а й сервери для вирішення складних завдань. Цей інструмент варто вибрати, якщо перед вами стоять великі завдання та є ресурси для їх реалізації.

30. Grab

Grab - фреймворк, що дозволяє писати скрипти для парсингу мовою Python. За допомогою Grab можна створювати парсери різної складності як прості скрипти на 5 рядків, так і складні асинхронні пошукові алгоритми, здатні обробляти мільйони сторінок. Фреймворк має API для виконання запитів та подальшої обробки даних, наприклад, для взаємодії з деревом DOM HTML-документа.

Фреймворк Grab складається із двох частин:

1. API запиту – відповіді, що дозволяє виконувати запити та обробляти отримані дані (API – оболонка бібліотек pycurl та lxml). 2. Spider API-інтерфейс створення асинхронних парсеров.

Платний сервіс у висновку

На закінчення розповім про сервіс парсингу для розвитком якого я займаюся - iDatica. Ми робимо розробку парсерів та супровідних послуг: очищуємо дані, зіставляємо (матчимо) товари, візуалізуємо інформацію в Bi сервісах, робимо це якісно, ​​під ключ.

Ми не пропонуємо безкоштовний тариф, чому наші послуги потрібні, якщо є готові та навіть безкоштовні сервіси? Якщо коротко, для роботи з сервісами-продуктами потрібні співробітники, які будуть з ними працювати, потрібен час на вивчення функціональності, навіть не завжди здатні впоратися з парсингом необхідних сайтів.

Якщо говорити більш розгорнуто - ми допоможемо, коли продукт, який не може зібрати дані з потрібного сайту, наприклад, більшість навіть платних версій сервісів зі списку, при тестуванні не впоралися з парсингом Яндекс.Маркет, а тим чи іншим способом захищаються від парсингу багато комерційних сайтів. Ми напишемо логіку парсингу під ваші вимоги, наприклад спочатку знайти на сайті потрібну інформацію, вибрати категорії, бренди, парсинг набору посилань або парсинг сайту з нестандартною структурою. Ми порівняємо ваші товари та товари конкурентів з максимальною точністю, на противагу - автоматичні алгоритми порівняння товарів часто не відпрацьовують на 100% і вимагають ручного доопрацювання з вашого боку, а частина сервісів вимагатиме попередньо порівняти ваші товари та товари конкурентів, а якщо якісь адреси карток змінюватися, робити це доведеться заново. Все це виливається в оплату сервісу, оплату праці співробітника, який працює з сервісом, а якщо сервіс зрештою не впорається, у витрачений час та необхідність шукати новий сервіс. Вибираючи роботу з нами, ви просто отримуватимете потрібний результат у готовому вигляді.