Пошуковий робот (також англ. web crawler, англ. web spider) — програма, що є складовою частиною пошукової системи та призначена для перегляду сторінок інтернету з метою введення інформації про них (ключових слів) до бази даних.
Пошукові роботи здійснюють загальний пошук інформації в Інтернеті. Вони повідомляють про зміст знайденого документа, індексують його і добувають підсумкову інформацію. Вони також переглядають заголовки, деякі посилання і відправляють проіндексовану інформацію до бази даних пошукового механізму.
| Було запропоновано приєднати статтю Краулінг до цієї статті або розділу, але, можливо, це варто додатково обговорити. Пропозиція з грудня 2017. |
Як закрити сайт від індексації Редагувати
- За допомогою файла robots.txt
- За допомогою мета-тегу
Посилання Редагувати
- A History of Search Engines (англ.)
| Це незавершена стаття про Інтернет. Ви можете допомогти проєкту, виправивши або дописавши її. |
| Ця стаття потребує додаткових посилань на джерела для поліпшення її перевірності. (жовтень 2015) |