Користувач:Георгій Корж/Скрепі
 | |
| Тип | Web crawler |
|---|---|
| Розробник | Zyte (formerly Scrapinghub) |
| Перший випуск | 26 червня 2008 |
| Стабільний випуск | 2.11.0 (18 вересня 2023) |
| Операційна система | Windows, macOS, Linux |
| Мова програмування | Python |
| Ліцензія | BSD License |
| Репозиторій | https://github.com/scrapy/scrapy |
| Вебсайт | scrapy.org |
Scrapy ( ([ˈskreɪpaɪ] "скрейпай", також, часто вживається "скрепі" ) — це безкоштовна платформа для веб-сканування (збору даних у вебі) з відкритим кодом, написана на Python. Хоча її було спроєктовано для вебсрепінгу, її також можна використовувати для вилучення даних за допомогою API або як веб-сканер (пошуковий робот) загального призначення. [1] Наразі він підтримується компанією Zyte (раніше Scrapinghub ), яка займається розробкою та послугами вебскрепінгу.
Архітектура проєкту Scrapy побудована навколо «павуків» ("spiders"), які є самодостатніми сканерами та отримують набір інструкцій. Дотримуюється духу «не повторюйся» (DRY — don't repeat yourself) інших фреймворків, таких як Django [2], що полегшує створення та масштабування великих проєктів-сканерів, дозволяючи розробникам повторно використовувати свій код.
Деякі відомі компанії та продукти, які використовують Scrapy: Lyst, [3] [4] Parse.ly, [5] Sayone Technologies, [6] Sciences Po Medialab, [7] Data.gov.uk 's World Government Data site . [8]
Історія
Scrapy було створено в лондонській компанії з веб-агрегації та електронної комерції Mydeco, де її розробили та підтримували співробітники Mydeco та Insophia (веб-консалтингова компанія, розташована в Монтевідео, Уругвай). Перший публічний випуск відбувся у серпні 2008 року за ліцензією BSD, а віха 1.0 відбулася в червні 2015 року [9] . У 2011 році Zyte (раніше Scrapinghub) став новим офіційним утримувачем. [10] [11]
Посилання
- ↑ Scrapy at a glance.
- ↑ Frequently Asked Questions. Frequently Asked Questions, Scrapy 2.8.0 documentation (амер.). Процитовано 28 липня 2015.
- ↑ Bell, Eddie; Heusser, Jonathan. Scalable Scraping Using Machine Learning. Архів оригіналу за 4 червня 2016. Процитовано 28 липня 2015.
- ↑ Scrapy | Companies using Scrapy
- ↑ Montalenti, Andrew (27 жовтня 2012). Web Crawling & Metadata Extraction in Python. Web Crawling & Metadata Extraction in Python - Speaker Deck (амер.). Процитовано 11 травня 2015.
- ↑ Scrapy Companies. Scrapy | Companies using Scrapy.
- ↑ Hyphe v0.0.0: the first release of our new webcrawler is out!
- ↑ Ben Firshman [@bfirsh] (4 листопада 2010). World Govt Data site uses Django, Solr, Haystack, Scrapy and other exciting buzzwords http://bit.ly/5jU3La #opendata #datastore (Твіт) — через Твіттер.
- ↑ Medina, Julia (19 червня 2015). Scrapy 1.0 official release out!. scrapy-users (Список розсилки).
- ↑ Hoffman, Pablo (2013). List of the primary authors & contributors (амер.). Процитовано 18 листопада 2013.
- ↑ Interview Scraping Hub.
Ознайомтеся зі списком 21 найкращого інструменту веб-збирання у 2023 році