Веб неймовірно величезний, складний, і постійно розширюється. Хоча пошукова система виконує приголомшливу роботу з індексування і вилучення фрагмента цього контенту, вона не ідеальна, і існують обмеження на те, що може знайти пошукова система.
Хоча мільярди веб-сторінок проіндексовані пошуковими системами - і на перший погляд може здатися, що ви можете використовувати їх для пошуку будь-якого типу тексту, відео, зображення або файлу, який ви шукаєте, - жодної з цих баз даних (навіть найпопулярніші пошукові системи) навіть наблизитися до змісту журналу всієї мережі.
Які пошукові системи не бачать
Пошукова система використовує програмне забезпечення для сканування по Інтернету для індексації веб-сторінок, але через те, як це працює, пошукова система не може знайти всі сайти.
Ось кілька прикладів того, що пошукова система не індексує, деякі з яких вважаються невидимою мережею:
- Сайти, захищені паролем, і сайти, для яких потрібна платна підписка, неможливо знайти за допомогою пошукової системи. Це включає в себе ваші електронні листи, онлайн-бібліотеку університету, ваші банківські транзакції та послуги потокового відео, такі як Netflix.
- Локальні файли, які існують на вашому комп'ютері або відкриті з вашого комп'ютера в веб-браузері, не відображаються в загальнодоступній пошуковій системі (якщо ви не пропонуєте їх через сервер).
- Веб-сайти можуть навмисно налаштувати виключення однієї або декількох сторінок з пошукової системи, і якщо це так, ви не зможете їх знайти.
- Приватні мережі, які називають інтрасетями, не з'єднані до Інтернету і тому не виявляються пошуковими системами.
- Такі форми, як ColdFusion і CGI, не індексуються пошуковими системами.
Пам'ятайте, що існує величезна кількість даних, доступних через Інтернет, і хоча є певний шлях, за яким ви можете знайти все це, ви просто не можете отримати більшість з них за допомогою пошукової системи.
Чи можливий повний веб-пошук?
Судячи з експоненційного зростання мережі з дня в день і з року в рік, і того факту, що велика частина мережі вважається темною або глибокою/невидимою, шанси проти цього.
Це вірно незалежно від того, як називається пошукова система або що вона стверджує, що робить. Entireweb, наприклад, може здатися, що він може шукати всю мережу для все, що ви хочете, але це просто не відповідає дійсності.
Не дивно, що досвідчені пошуковики, як правило, не покладаються на одну пошукову систему для задоволення своїх потреб у веб-пошуку, тому що один пошуковий інструмент просто не може забезпечити найповніший досвід веб-пошуку, який багато людей навіть не усвідомлюють, що втрачають з уваги.
Розумно урізноманітнити ваші потоки веб-пошуку. Наприклад, якщо Google не знайде музику, яку ви шукаєте, ви можете спробувати пошукову систему, спеціально створену для пошуку звукових файлів. Те ж саме стосується інших нішевих пошукових систем, які можуть знаходити зображення, шукати відео, знаходити людей і переглядати невидиму мережу.
Яку пошукову систему ви повинні використовувати?
Як обмежити те, що ви бачите за допомогою пошукової системи
У деяких випадках ви можете визначити, який тип результатів повинна відображати пошукова система, що дозволяє вам обмежувати те, що ви бачите з результатів.
Цей тип фільтрації використовує так звані «оператори пошуку», щоб миттєво звузити потенційні мільярди результатів, отриманих з пошукової системи. За допомогою Google Search, наприклад, ви можете шукати лише окремих сайтів, пошук певних фраз, і навіть знайти файли з веб - пошуку.
Як використовувати розширені команди пошуку Google
Google та інші пошукові системи також часто мають розширені параметри пошуку, які дозволяють фільтрувати результати за датою та іншими параметрами.
