Scrapy

Z Wikipedii, wolnej encyklopedii
Przejdź do nawigacji Przejdź do wyszukiwania
Scrapy
Logo Scrapy
Logo programu
Autor Scrapinghub
Pierwsze wydanie 28 czerwca 2008
Aktualna wersja stabilna 1.8.0 (28 października 2019; ponad rok temu)[1]
Język programowania Python
System operacyjny Microsoft Windows, macOS, Linux
Rodzaj framework
Licencja Licencja BSD
Strona internetowa

Scrapyotwartoźródłowy szkielet do tworzenia aplikacji napisany w języku programowania Python i służący do pisania robotów internetowych, które przeszukują strony internetowe i wydobywają z nich określone dane[2].

Scrapy ma „selektory“, czyli własny mechanizm pozwalający na ekstrakcję danych. Jednakże może być w łatwy sposób łączony z bibliotekami do parsowania takimi jak: BeautifulSoup, czy lxml. Wspiera wykorzystywanie pośredników HTTP. Używa kolejki LIFO do przechowywania oczekujących żądań, co oznacza, że wykorzystuje przeszukiwanie w głąb. Jednakże umożliwia zmianę ustawień skutkującą przeszukiwaniem wszerz. Dodatkowo Scrapy odbiera i przechowuje ciasteczka wysyłane przez serwery i odsyła je w kolejnych żądaniach, w taki sam sposób jak robi to przeglądarka internetowa[2].

Aby wykorzystywać framework potrzebny jest Python w wersji 2.7 lub 3.5+ (implementacja CPython) albo 5.9 (implementacja PyPy)[2].

Przypisy[edytuj | edytuj kod]

  1. Release notes (ang.). doc.scrapy.org. [dostęp 2020-01-03].
  2. a b c Frequently Asked Questions (ang.). doc.scrapy.org. [dostęp 2018-03-27].