Zawartość
- Definicja - Co oznacza Spider?
- Wprowadzenie do Microsoft Azure i Microsoft Cloud | W tym przewodniku dowiesz się, na czym polega przetwarzanie w chmurze i jak Microsoft Azure może pomóc w migracji i prowadzeniu firmy z chmury.
- Techopedia wyjaśnia Spider
Definicja - Co oznacza Spider?
W przeciwieństwie do Internetu, pająk jest specjalistycznym oprogramowaniem zaprojektowanym do systematycznego indeksowania i przeglądania sieci WWW, zwykle w celu indeksowania stron internetowych w celu zapewnienia ich jako wyników wyszukiwania dla zapytań użytkownika. Najbardziej znanym z takich pająków jest Googlebot, główny robot Google, który pomaga zapewnić, że odpowiednie wyniki są zwracane dla zapytań.
Pająki są również znane jako roboty indeksujące, boty wyszukiwania lub po prostu boty.
Wprowadzenie do Microsoft Azure i Microsoft Cloud | W tym przewodniku dowiesz się, na czym polega przetwarzanie w chmurze i jak Microsoft Azure może pomóc w migracji i prowadzeniu firmy z chmury.
Techopedia wyjaśnia Spider
Pająk jest zasadniczo programem służącym do zbierania informacji z sieci WWW. Przeszukuje strony witryn, wyodrębniając informacje i indeksując je w celu późniejszego wykorzystania, zwykle w przypadku wyników wyszukiwania. Pająk odwiedza strony internetowe i ich strony za pomocą różnych linków do i ze stron, więc strona bez pojedynczego linku do niej będzie trudna do indeksowania i może być bardzo nisko oceniona na stronie wyników wyszukiwania. A jeśli istnieje wiele linków prowadzących do strony, oznaczałoby to, że strona jest popularna i pojawia się wyżej w wynikach wyszukiwania.
Kroki związane z przeszukiwaniem sieci:
- Pająk znajduje witrynę i zaczyna indeksować jej strony.
- Pająk indeksuje słowa i zawartość witryny.
- Pająk odwiedza linki znalezione na stronie.
Pająki lub roboty sieciowe to tylko programy i jako takie przestrzegają systematycznych zasad ustalonych przez programistów. Właściciele witryn internetowych mogą się w to również dowiedzieć, informując pająka, które części witryny mają zostać zindeksowane, a które nie. Odbywa się to poprzez utworzenie pliku „robots.txt”, który zawiera instrukcje dla pająka dotyczące tego, które części do indeksowania i linki do naśladowania, a które należy zignorować. Najbardziej znaczącymi pająkami są te należące do głównych wyszukiwarek, takich jak Google, Bing i Yahoo, oraz przeznaczone do eksploracji danych i badań, ale są też złośliwe pająki, które znajdują i wyszukują dla użytkowników, którzy sprzedają je reklamom firmy lub znaleźć luki w zabezpieczeniach sieci.