Robot internetowy

Z Wikipedii, wolnej encyklopedii
Skocz do: nawigacja, szukaj

Robot internetowy (lub też Robot indeksujący) – jest programem zbierającym informacje o strukturze i stronach umieszczanych w indeksie wyszukiwarek i służą m.in. do:

  • dodawania do wyszukiwarek,
  • sprawdzania kodu strony,
  • zbierania informacji o stronie,
  • monitorowania "co nowego",
  • tworzenia mirrorów stron.

W przypadku robota Google tzn. Googlebota mówi się o robotach wykonujących "Google's fresh crawl" i "Google's deep crawl" lub "Google's main crawl". "Fresh crawl" jest wykonywany często, nawet kilka razy dziennie - robot najprawdopodobniej sprawdza co się zmieniło na stronie, "deep crawl" głębokie indeksowanie najprawdopodobniej polega na pobieraniu większej ilości danych z witryny i odbywa się kilka razy w miesiącu.

Ruch generowany przez roboty jest jednym z podstawowych wskaźników mówiących o pozycjonowaniu strony.

Nazwy używane wymiennie[edytuj | edytuj kod]

  • bot indeksujący
  • pająk, spider
  • pełzacz, web crawler
  • web wanderer

Podstawowe informacje o robotach wyszukiwarek[edytuj | edytuj kod]