https://camokathomelab.servebeer.com/mediawiki/index.php?action=history&feed=atom&title=%D0%93%D0%BB%D1%83%D0%B1%D0%BE%D0%BA%D0%B0%D1%8F_%D1%81%D0%B5%D1%82%D1%8CГлубокая сеть - История изменений2026-07-17T09:24:37ZИстория изменений этой страницы в викиMediaWiki 1.45.3https://camokathomelab.servebeer.com/mediawiki/index.php?title=%D0%93%D0%BB%D1%83%D0%B1%D0%BE%D0%BA%D0%B0%D1%8F_%D1%81%D0%B5%D1%82%D1%8C&diff=38567&oldid=previmported>43K1C7: откат правок 188.113.232.143 (обс.) к версии Jet Jerry2025-10-03T06:38:02Z<p><a href="/mediawiki/index.php?title=%D0%92%D0%9F:%D0%9E%D1%82%D0%BA%D0%B0%D1%82&action=edit&redlink=1" class="new" title="ВП:Откат (страница не существует)">откат</a> правок <a href="/mediawiki/index.php/%D0%A1%D0%BB%D1%83%D0%B6%D0%B5%D0%B1%D0%BD%D0%B0%D1%8F:%D0%92%D0%BA%D0%BB%D0%B0%D0%B4/188.113.232.143" title="Служебная:Вклад/188.113.232.143">188.113.232.143</a> (<a href="/mediawiki/index.php?title=UT:188.113.232.143&action=edit&redlink=1" class="new" title="UT:188.113.232.143 (страница не существует)">обс.</a>) к версии Jet Jerry</p>
<p><b>Новая страница</b></p><div>{{перенаправление|Глубокая паутина|Глубокая паутина (значения)}}<br />
{{Не путать|Даркнет|Даркнетом|скрытой сетью, соединения которой устанавливаются только между доверенными пирами, доступ к которой можно получить с помощью специального ПО}}<br />
[[Файл:Deep web vs surface web.svg|мини|Видимая и невидимая сети]]<br />
'''Глубо́кая сеть''' (также известна как «'''Неви́димая сеть'''», «'''Глубо́кая паути́на'''», «'''Глубо́кий интерне́т'''», {{lang-en|deep web}}) — множество веб-страниц [[Всемирная паутина|Всемирной паутины]], не индексируемых [[Поисковые системы|поисковыми системами]].<br />
<br />
Термин произошёл от соотв. {{lang-en|invisible web}}<ref>Gary Price, Chris Sherman. The Invisible Web: Uncovering Information Sources Search Engines Can’t See. — CyberAge Books, [[2001]], ISBN 0-910965-51-X.</ref>. Наиболее значительной частью глубокой паутины является '''Глубинный веб''' (от {{lang-en|deep web, hidden web}}), состоящий из веб-страниц, динамически генерируемых по запросам к онлайн-базам данных<ref>Денис Шестаков, Наталья Воронцова (2005). «[http://elar.usu.ru/handle/1234.56789/1416 Структура русскоязычной части глубинного Веба]{{Недоступная ссылка|date=2019-04|bot=InternetArchiveBot }}». ''Интернет-математика 2005'', стр.320-341.</ref>.<br />
<br />
Не следует смешивать понятие ''Глубокая паутина'' с понятием '' [[Даркнет|Тёмная паутина]] ''(от {{lang-en|dark web}}), под которым имеются в виду [[Компьютерная сеть|сетевые]] сегменты, хотя и подключённые к общей сети [[Интернет]], но требующие для доступа определённые программные средства.<br />
<br />
== Суть проблемы ==<br />
В глубокой паутине находятся [[веб-сайт|веб-страницы]], не связанные с другими [[гиперссылка]]ми (например, тупиковые веб-страницы, динамически создаваемые скриптами на самих сайтах, по запросу, на которые не ведут прямые ссылки), а также [[веб-сайт|сайты]], доступ к которым открыт только для зарегистрированных пользователей и интернет-страницы, доступные только по паролю.<br />
<br />
Поисковые системы используют специальных [[поисковый робот|поисковых роботов]], которые переходят по [[гиперссылка]]м и [[индексация в поисковых системах|индексируют]] содержимое веб-страниц, на которых они оказываются, занося их содержимое и гиперссылки на них в свои базы данных. Найдя на проиндексированной веб-странице ссылки на другие страницы, поисковый [[Робот (программа)|бот]] переходит по ним и индексирует содержимое каждой из найденных страниц, находит новые гиперссылки и переходит по ним для индексации; в результате переходов по ссылкам, ведущим за пределы индексируемых страниц, количество проиндексированных веб-страниц постоянно увеличивается. Попасть на веб-страницы, на которые нет ссылок с других страниц, поисковый бот не может, в силу чего содержимое этих страниц не индексируется. Как следствие, не зная [[URL]] сайта или веб-страницы «Глубокой сети», обычный пользователь попасть на них не сможет.<br />
<br />
Также в «Глубокую сеть» попадают сайты, владельцы которых добровольно отказались от индексации поисковыми системами (например, с помощью [[Стандарт исключений для роботов|файла «robots.txt»]]), а также сайты и веб-страницы, защищённые авторизацией от просмотра информации третьими лицами. В таком случае, не зная логин и (или) пароль к веб-странице, невозможно в полной мере просмотреть её содержимое или пользоваться веб-сайтом.<br />
<br />
=== Масштаб ===<br />
Размер глубокой паутины неизвестен. Существуют относительно достоверные оценки общего числа сайтов, ведущих к онлайн-базам данных: около 300 тысяч таких сайтов во всём [[Всемирная паутина|Вебе]] в 2004 году и около 14 тысяч в [[Рунет]]е в 2006 году<ref>Denis Shestakov (2011). «[http://www.mendeley.com/download/public/1423991/4300016182/a07080a3191f90cc97cf60fcd21566b1b915d894/dl.pdf Sampling the National Deep Web]{{Недоступная ссылка|date=2018-06|bot=InternetArchiveBot }}». ''Proceedings of the 22nd International Conference on Database and Expert Systems Applications (DEXA)'', стр. 331—340.</ref><ref>{{Cite web|url = http://www.brightplanet.com/2014/11/big-internet/|title = How big is the internet?|author = |work = |date = |publisher = |access-date = 2015-07-30|archive-date = 2015-06-29|archive-url = https://web.archive.org/web/20150629182937/http://www.brightplanet.com/2014/11/big-internet/|url-status = live}}</ref>.<br />
<br />
=== Поиск по глубокой паутине ===<br />
В [[2005 год]]у компания «[[Yahoo|Yahoo!]]» сделала серьёзный шаг к решению этой проблемы. Компания выпустила поисковый движок «Yahoo! Subscriptions», который производит поиск по сайтам (пока немногочисленным), доступ к которым открыт только зарегистрированным участникам этих сайтов. Это, однако, полностью не решило имеющейся проблемы. Эксперты поисковых систем по-прежнему пытаются найти технические возможности для индексации содержимого баз данных и доступа к закрытым веб-сайтам.<br />
<br />
Одним из популярных сервисов, работающих с данными глубокой паутины, является [[UFOseek]], изначально предназначенный для систематизации данных о паранормальных явлениях{{sfn|Игорь Райхман|2013|с=118}}.<br />
<br />
== Виды содержимого ==<br />
[[Файл:Deep web diagram RU.png|мини|Пример неиндексируемого содержимого сети]]<br />
Хоть и не всегда возможно напрямую найти контент определенного веб-сервера, чтобы он мог быть проиндексирован, всё же можно получить доступ к такому сайту (из-за компьютерных [[Уязвимость (компьютерная безопасность)|уязвимостей]]).<br />
<br />
Чтобы обнаружить контент в Интернете, поисковые системы используют веб-сканеры, которые следуют за гиперссылками через известные номера виртуальных портов протокола. Этот метод идеально подходит для обнаружения контента во [[Интернет|всемирной сети]], но зачастую неэффективен при поиске контента глубокой сети. Например, поисковые роботы не ищут динамические страницы, которые являются результатом запросов к [[База данных|базе данных]] из-за неопределенного количества этих самых запросов. Было отмечено, что это может быть (частично) преодолено путем предоставления ссылок на результаты запроса, но это может непреднамеренно раздуть популярность для члена глубокой сети.<br />
<br />
Существует несколько поисковых систем, которые получили доступ к глубокой сети. У Intute прекратилось финансирование и теперь он является временным архивом по состоянию на июль 2011 года. [[Scirus]] закрылся в конце января 2013 года.<br />
<br />
Исследователи изучали, как можно автоматически сканировать глубокую паутину, включая контент, доступ к которому можно получить только с помощью специального программного обеспечения, такого как [[Tor]]. В 2001 году Шрирам Рагхаван и Гектор Гарсия-Молина (Stanford Computer Science Department, [[Стэнфордский университет]]) представили архитектурную модель скрытой поисковой системы, которая использовала [[Ключевое слово|ключевые слова]], предоставленные пользователями или собранные из интерфейсов запросов, для запроса и сканирования глубокого интернета.<br />
<br />
Коммерческие поисковые системы начали изучать альтернативные методы для сканирования глубокого интернета. Протокол [[Sitemaps|Sitemap]] (впервые разработанный и внедренный [[Google (поисковая система)|Google]] в 2005 году) и mod_oai — это механизмы, которые позволяют поисковым системам и другим заинтересованным сторонам обнаруживать ресурсы глубокого интернета на определенных веб-серверах. Оба механизма позволяют веб-серверам размещать на них доступные URL-адреса, что позволяет автоматически обнаруживать ресурсы, которые напрямую не связаны со [[Интернет|всемирной сетью]]. Система навигации по глубокому интернету от Google вычисляет представления для каждой HTML-формы и добавляет полученные HTML-страницы в индекс поисковой системы Google. Полученные результаты учитывают тысячу запросов в секунду для глубокого веб-контента. В этой системе предварительное вычисление представлений выполняется с использованием трех алгоритмов:<br />
<br />
* выбор входных значений для текстового поиска, которые принимают ключевые слова;<br />
* определённые входные данные, которые принимают только значения определенного типа (например, даты);<br />
* выбор небольшого количества комбинаций ввода, которые генерируют URL-адреса, подходящие для включения в индекс поиска в Интернете.<br />
<br />
== См. также ==<br />
* [[Видимая сеть]]<br />
* [[Скрытая сеть]]<br />
* [[Нетсталкинг]]<br />
<br />
== Примечания ==<br />
{{примечания}}<br />
<br />
== Литература ==<br />
* {{книга|автор= Игорь Райхман|заглавие= Практика медиа измерений. Аудит. Отчётность. Оценка эффективности PR |издательство= [[Альпина Паблишер]]|год= 2013|место = М.|страниц= 432|isbn= 978-5-9614-4499-5|ref= Игорь Райхман}}<br />
<br />
[[Категория:Поисковые системы]]<br />
[[Категория:Глубокая сеть]]</div>imported>43K1C7