imported>LNTG в 07:46, 3 января 2026

2026-01-03T07:46:05Z

Новая страница

'''Поиско́вый ро́бот''', или '''веб-кра́улер''' ({{lang-en|Web crawler}}; также встречается название ''«веб-пау́к»''), {{Нет АИ 2|'''алгоритмы автоматического интернет-сёрфинга''' ({{lang-en|Internet surfing}}, {{lang-en2|surfing}} «катание (скольжение) на (по) волнах(-м)»)|3|1|2026}} — [[компьютерная программа|программа]], являющаяся составной частью [[поисковая система|поисковой системы]] и предназначенная для перебора страниц [[Интернет]]а с целью занесения информации о них в [[База данных|базу данных]] поисковика.

По принципу действия, «паук» напоминает обычный [[браузер]]. Он анализирует содержимое страницы, сохраняет его в некотором специальном виде на сервере поисковой машины, и отправляется по ссылкам на следующие страницы. Порядок обхода страниц, частота визитов, защита от зацикливания, а также критерии выделения значимой информации определяются алгоритмами [[Информационный поиск|информационного поиска]]. В большинстве случаев переход от одной страницы к другой осуществляется по ссылкам, содержащимся на первой и последующих страницах.

Владельцы поисковых машин нередко ограничивают глубину проникновения паука внутрь сайта и максимальный размер сканируемого текста, поэтому чересчур большие сайты могут оказаться не полностью проиндексированными поисковой машиной. Кроме обычных пауков, существуют так называемые ''«дятлы»'' — роботы, которые «простукивают» проиндексированный сайт, чтобы определить, что он доступен.

Также многие поисковые системы предоставляют пользователю возможность самостоятельно добавить сайт в очередь для [[индексация в поисковых системах|индексирования]]. Обычно это существенно ускоряет индексирование сайта, а в случаях, когда никакие внешние ссылки не ведут на сайт, вообще оказывается практически единственной возможностью указать на его существование. Ещё одним способом быстрой индексации сайта является добавление на сайт систем [[Веб-аналитика|веб-аналитики]], принадлежащих поисковым сервисам. Например, таких как [[Google Analytics]], [[Яндекс.Метрика]] и [[Рейтинг@Mail.ru]].

Ограничить индексацию сайта можно с помощью файла [[robots.txt]]. Полная защита от индексации может быть обеспечена другими механизмами, например установкой пароля на странице либо требованием заполнить регистрационную форму перед тем, как получить доступ к содержимому.

== См. также ==
* [[Бот (программа)]]
* [[Поисковый индекс]]
* [[Полнотекстовый поиск]]

== Ссылки ==
* {{cite web
|author =
|author-link =
|datepublished =
|url = http://help.yandex.ru/webmaster/?id=995296
|title = Яндекс.Вебмастер: Как работает робот
|format =
|work =
|publisher = Яндекс
|access-date = 2009-04-25
|lang = ru
|description =
|archive-url = https://www.webcitation.org/619VqleX7?url=http://help.yandex.ru/webmaster/?id=995324
|archive-date = 2011-08-23
|url-status = live
}}
* {{cite web
|author =
|author-link =
|datepublished =
|url = http://www.google.ru/intl/ru/webmasters/bot.html
|title = Googlebot: Google's Web Crawler
|format =
|work =
|publisher = Google
|access-date = 2009-04-25
|lang = ru
|description =
|archive-url = https://www.webcitation.org/619VtPx7c?url=http://www.google.com/support/webmasters/bin/answer.py?hl=en-GB
|archive-date = 2011-08-23
|url-status = dead
}}

{{rq|
{{нет источников|дата=2008-12-07}}
{{стиль статьи|дата=2008-12-07}}
{{нет иллюстрации|дата=2009-01-22}}
}}
{{web-stub}}

[[Категория:Поисковые системы]]
[[Категория:Алгоритмы интернет-поиска]]
[[Категория:Боты]]

Поисковый робот - История изменений

imported>LNTG в 07:46, 3 января 2026