Введение. Обзор основных глобальных поисковых систем Internet

Обзор основных глобальных поисковых систем Internet

Краткое резюме

Поисковая система - это сумма следующих компонент:

1. Web server (веб-сервер) – сервер поисковой машины, который осуществляет взаимодействие между пользователем и остальными компонентами системы.

2. Spider (паук)- программа, написанная по принципу браузера, предназначена для скачивания веб-страниц. Браузер предназначен для визуального использования страниц, а паук работает с HTML кодом напрямую. Чтобы посмотреть "сырой" исходник, нажмите в меню браузера: Вид- Просмотр HTML кода

3. Crawler («путешествующий» паук) – программа, которая автоматически уходит по всем внешним ссылкам страницы. Ее задача - поиск не известных (или измененных) документов и в расстановке приоритетов, куда дальше должен идти Spider.

4. Indexer (индексатор) - программа-анализатор скаченных пауками веб-страниц. Она "разбирает" на части скачанную страницу и анализирует ее элементы, такие как текст, служебные html-теги, заголовки, особенности стилистики и структурные формы

5. Database (база данных) – хранилище для скачанных и обработанных страниц - общая база данных поисковой машины.

6. Search engine results engine (система выдачи результатов) – извлекает результаты поиска из базы данных поисковой системы. Именно она решает, какие страницы более соответствуют запросу пользователя и отсортировывает их в нужном порядке. Модуль работает согласно заданным поисковой системой алгоритмам ранжирования

Так же в поисковые системы встроены различные модули: определение IP-хоста сайта, WHOIS - определение имени владельца и сроков регистрации, copyscape - проверка "заимственности" содержания сайта и многое-многое другое.

Помочь пользователю найти нужную информацию в Сети призваны поисковые системы. В поиске нужных ресурсов пользователь вводит одно или несколько ключевых слов, которые, по его мнению, лучше всего отражают суть интересующего вопроса. Поисковая система за считанные секунды просматривает весь собственный каталог веб-ресурсов (индекс), состоящий из десятков и сотен гигабайт информации. В результате предлагается список ссылок на страницы, в которых встречаются указанные слова.

Любой поисковый сервер представляет собой огромное хранилище информации. Собирают эту информацию специальные роботы - так называемые Spiders (пауки) или Bots. Они ползают по узлам всемирной паутины и собирают данные о сайтах – индексируют их. Периодически робот возвращается на свой сервер и отдает ему собранную информацию. Там эта информация приводится в надлежащий вид, заносится в специальную базу данных и после этого может быть найдена пользователем поисковых сайтов. По некоторым данным, поисковые сервера могут дать Вам от 30 до 60% суммарного трафика веб-сайта. Найденные поисковой машиной документы относятся к одной из двух категорий: одни соответствуют запросу (релевантны), другие ему не соответствуют, то есть нерелевантны...

На этом простом механизме в настоящее время строится перспективный бизнес. Сами поисковые машины тоже относятся к одной из двух категорий: одни технологически эффективны, другие наоборот. Однако, современные поисковики настолько сложные системы, что уже не могут быть описаны в координатах "хорошо-плохо".

Вот наиболее известные поисковые системы:

Русские поисковые системы:

Rambler

Апорт!

Yandex

Google

Tela

Поисковый каталог Yahoo

Иностранные поисковые системы:

AltaVista

Дата добавления: 2014-01-07