дним из основных способов найти информацию в Internet являются поисковые
машины. Поисковые машины каждый день "ползают" по Сети: они посещают веб-страницы
и заносят их в гигантские базы
данных. Это позволяет пользователю набрать некоторые ключевые слова, нажать
"submit" и увидеть, какие страницы удовлетворяют его запросу.
Понимание того как работают поисковые машины просто необходимо вебмастерам.
Для них жизненно важна правильная с точки зрения поисковых машин структура
документов и всего сервера или сайта. Без этого документы будут недостаточно
часто появляться в ответ на запросы пользователей к поисковой машине или
даже вовсе могут быть не проиндексированы.
Вебмастера желают повысить рейтинг своих страниц и это понятно: ведь
на любой запрос к поисковой машине могут быть выданы сотни и тысячи отвечающих
ему ссылок на документы. В большинстве случаев только 10 первых ссылок
обладают достаточной релевантностью к запросу.
Естественно, хочется, чтобы документ оказался в первой десятке, поскольку
большинство пользователей редко просматривает следующие за первой десяткой
ссылки. Иными словами, если ссылка на документ будет одиннадцатой, то это
также плохо, как если бы ее не было вовсе.
Основные
поисковые машины
Какие из сотен поисковых машин действительно важны для вебмастера?
Ну, разумеется, широко известные и часто используемые.
Но при этом следует учесть ту аудиторию, на которую рассчитан Ваш сервер.
Например, если Ваш сервер содержит узкоспециальную информацию о новейших
методах доения коров, то вряд ли Вам стоит уповать на поисковые системы
общего назначения. В этом случае я посоветовал бы обменяться ссылками с
Вашими коллегами, которые занимаются сходными вопросами:-) Итак, для начала
определимся с терминологией.
Существует два вида информационных баз данных о веб-страницах: поисковые
машины и каталоги.
Поисковые машины: (spiders, crawlers)
постоянно исследуют Сеть с целью пополнения своих баз данных документов.
Обычно это не требует никаких усилий со стороны человека. Примером может
быть поисковая система Altavista.
Для поисковых систем довольно важна конструкция каждого документа.
Большое значение имеют title, meta-таги и содержимое страницы.
Каталоги: в отличие от поисковых
машин в каталог информация заносится по инициативе человека. Добавляемая
страница должна быть жестко привязана к принятым в каталоге категориям.
Примером каталога может служить Yahoo.
Конструкция страниц значения не имеет.
Далее речь пойдет в основном о поисковых машинах.
Altavista Система открыта в декабре 1995. Принадлежит компании DEC С 1996 года
сотрудничает с Yahoo
Excite Search Запущенная в конце 1995 года, система быстро развивалась. В июле 1996
куплена Magellan, в сентябре 1996 - приобретена WebCrawler. Однако, оба
используют ее отдельно друг от друга. Возможно в будущем они будут работать
вместе.
Существует в этой системе и каталог - Excite Reviews. Попасть в этот
каталог - удача, поскольку далеко не все сайты туда заносятся. Однако информация
из этого каталога не используется поисковой машиной по умолчанию, зато
есть возможность проверить ее после просмотра результатов поиска.
HotBot Запущена в мае 1996. Принадлежит компании Wired. Базируется на технологии
поисковой машины Berkeley Inktomi.
InfoSeek Запущена чуть раньше 1995 года, широко известна, прекрасно ищет и легко
доступна. В настоящее время "Ultrasmart/Ultraseek" содержит порядка 50
миллионов URL.
Опция для поиска по умолчанию Ultrasmart. В этом случае поиск производится
по обоим каталогам. При опции Ultraseek результаты запроса выдаются без
дополнительной информации. Поистине новая поисковая технология также позволяет
облегчить поиски и множество других особенностей, которые Вы можете прочитать
об InfoSeek
Существует отдельный от поисковой машины каталог InfoSeek Select.
Lycos Примерно с мая 1994 года работает одна из старейших поисковых систем
Lycos. Широко известная и часто используемая. В ее состав входит поисковая
машина Point (работает с 1995 года) и каталог A2Z (работает с февраля 1996
года).
OpenText Система OpenText появилась чуть раньше 1995 года. С июня 1996 года
стала партнерствовать с Yahoo. Постепенно теряет свои позиции и вскоре
перестанет входить в число основных поисковых систем.
WebCrawler Открыта 20 апреля 1994 года как исследовательский проект Вашингтонского
Университета. В марте 1995 года была приобретена компанией America Online
Существует каталог WebCrawler Select.
Yahoo! Старейший каталог Yahoo был запущен в начале 1994 года. Широко известен,
часто используем и наиболее уважаем. В марте 1996 запущен еще один каталог
Yahoo - Yahooligans для детей. Появляются все новые и новые региональные
и top-каталоги Yahoo.
Поскольку Yahoo основан на подписке пользователей, в нем может не быть
некоторых сайтов. Если поиск по Yahoo не дал подходящих результатов, пользователи
могут воспользоваться поисковой машиной. Это делается очень просто. Когда
делается запрос к Yahoo, каталог переправляет его к любой из основных поисковых
машин. Первыми ссылками в списке удовлетворяющих запросу адресов идут адреса
из каталога, а затем идут адреса, полученные от поисковых машин, в частности
от Altavista.