Точность

Точность – еще одна основная характеристика поисковой машины, которая определяется как степень соответствия найденных документов запросу пользователя. Например, если по запросу "Красная площадь" находится 150 документов, в 70 из них содержится словосочетание "Красная площадь", а в остальных просто присутствуют эти слова, то точность поиска считается равной 70/150 (~0,5). Чем точнее поиск, тем быстрее пользователь находит нужные ему документы, тем меньше «мусора» среди них встречается, тем реже найденные документы не соответствуют запросу.

Повышение точности в поисковой машине Рамблер достигается за счет использования различных технологий на всех этапах обработки и поиска информации. Одним из наиболее интересных процессов является распознавание грамматических омонимов. Омонимы - это слова, которые имеют одинаковое написание, но различный смысл. Различают лексические и грамматические омонимы. Лексические омонимы относятся к одной части речи, как, например, существительное «бор»: хвойный лес, стальное сверло и химический элемент. Грамматические омонимы относятся к разным частям речи, поэтому по написанию у них обычно совпадают только отдельные формы. Примерами грамматических омонимов могут служить слова «печь» – существительное русская «печь» и глагол «печь» пирожки; «рядовой» – прилагательное «рядовой» сотрудник и существительное «рядовой» Иванов.

Омонимы не только увеличивают размер индексной базы (так как для каждого такого слова приходится хранить все его возможные значения), но и отрицательно сказываются на точности поиска. Если пользователь ищет слово «данные», ему неинтересно получить в найденном все документы, которые содержат слово «дать». Для того, чтобы результаты поиска были точнее, модуль синтаксического анализа проводит разбор окружения слов-омонимов с целью установления их наиболее вероятных значений. Например, если рядом со словом «печь» стоит существительное («пирожки», «картошка»), то с высокой вероятностью «печь» в данном контексте является глаголом. На сегодняшний день анализатор способен распознавать значения только грамматических омонимов.

Синтаксический анализ позволяет также с определенной вероятностью распознавать некоторые имена собственные. Например, если в тексте несколько слов подряд написано с большой буквы, они чаще всего представляют собой имя собственное (Петр Петрович, Московский Государственный Университет). Данные о таких конструкциях учитываются при индексации и обработке запроса.

Еще один способ повышения точности поиска - это выделение устойчивых обозначений и поиск их как отдельных лексических единиц. На сегодняшний день в Рамблере реализована система распознавания таких конструкций, например C++, б/у, п/п-к. Если по запросу С++ поднимать все тексты, в которых присутствуют латинская буква С, а также знак +, то получится огромное количество документов, далеко не все из которых соответствуют запросу; кроме того, это большая работа, значительно увеличивающая время поиска.

Яндекс прекрасно понимает русский язык и может образовывать и понимать любые словоформы. Например, если введен запрос на слово «думать», то машина выдает результаты поиска также и по словам «думал», «подумавши» и даже «разум».

Размер индексной базы наряду с качеством поиска является одним из основных показателей, характеризующих поисковую систему. Примером тому служит молниеносный рост популярности таких машин как Google и Fast, который идет пропорционально развитию объема их индекса. Рост базы Яндекса кроме технических проблем, которые он успешно решает благодаря кластерной структуре (т.е. размещению индекса на нескольких серверах), сталкивается с необходимостью отсеивать повторяющиеся документы, происхождение которых многообразно. Один и тот же документ может быть представлен в различных кодировках и форматах, может содержать незначительные включения в виде даты публикации, рекламы или ремарок другого втора. Активному копированию и редактированию постоянно подвергаются новости, юридические документы, прайс-листы, статьи.

Поисковой машине не выгодно хранить дублированные документы в базе, а также засорять выдачу почти одинаковыми документами. Методика Яндекса по выявлению дубликатов постоянно совершенствуется. Ее необходимо учитывать, соблюдая такие правила. Если сайт имеет несколько зеркал, то первым индексацию в Яндексе должно пройти главное из них, т.к. часто остальные идентичные сайты игнорируются. Например, если на сайте размещаются перепечатанные с других ресурсов статьи, то, чтобы избежать попадания страницы в дубликат и исключения из результатов поиска, можно разбить текст статьи на несколько частей или использовать побольше побочного текста (ремарок редактора, перекрестных ссылок на материалы подобной тематики этого же сайта и т.д.). И наоборот, если ресурс продвигается за счет публикуемых на нем статей, чтобы после перепечатки на другие сайты статья не была идентифицирована Яндексом в качестве дубликата, не рекомендуется ставить с этой страницы ссылки на перепечатанные варианты, а, наоборот, со страниц-дублеров ссылаться на оригинал.

Яндекс как мощная поисковая система обходит Сеть за несколько дней. Однако по мере роста системы основная нагрузка ложится уже не на индексирующего робота, а на поиск и выдачу результатов. В ближайшее время планируется активное внедрение на Яндексе традиционных для многих систем с мировым именем технологий эшелонирования и прюнинга. Суть первой методики состоит в разделении индекса на две части: более релевантную и менее релевантную. Сначала поиск осуществляется в первой и, если результат не удовлетворяет количественно, поисковая машина обращается ко второй части индекса.

Технология прюнинга (от англ. pruning – отсечение, сокращение) позволяет динамически прекращать обработку запроса при накоплении достаточного количества релевантной информации. Эта технология значительно сокращает время поиска и нагрузку на поисковик, тем более, заведомо известно, что большинство пользователей при просмотре результатов поиска чаще всего не заходят далее третьей страницы результатов.

Огромную роль в повышении точности поиска играет ранжирование. Пользователь очень редко просматривает больше трех страниц с результатами поиска. Поэтому субъективно он оценивает точность по "верхним" документам. Даже если нужный документ найден поисковой машиной, но расположен на двухсотой позиции, скорее всего, он никогда не будет найден пользователем.

По умолчанию в Рамблере результаты ранжируются по степени соответствия (релевантности) запросу и группируются по сайтам. При ранжировании оцениваются различные характеристики текстов, такие как:

· Количество вхождений слов (словосочетаний) в документ - чем больше раз словосочетание «Красная площадь» присутствует в тексте, тем выше вероятность, что в нем действительно говорится о Красной площади;

· Расположение слов запроса в документе – если словосочетание «Красная площадь» присутствует в заголовках или названии документа, то документ с большей вероятностью посвящен Красной площади;

· Формы слов запроса – преимущество отдается вхождениям, в которых слова имеют тот же падеж, число, склонение и т.д., что и в запросе пользователя («Красная площадь», а не «Красной площадью»). Помимо точного совпадения, выделяются две группы форм слов – близкие и далекие. Близкими считаются изменения по падежам, склонениям, спряжениям, числам и родам. Далекими формами являются причастия, деепричастия и т.п. При ранжировании преимущество отдается близким формам слов запроса.

· Расстояние между словами запроса – если запрос состоит из нескольких слов, то в найденных документах оценивается, насколько близко друг от друга расположены эти слова. Преимущество отдается документам, в которых слова запроса находятся ближе друг к другу, потому что в этом случае они с большей вероятностью связаны между собой. Например, если слово «Красная» расположено в тексте на 5 позиции, а слово «площадь» – на 650, то скорее всего в документе речь идет не о Красной площади.

· Относительная частота (отношение количества вхождений слов запроса в документ к общему количеству слов в документе) - если словосочетание встречается 10 раз в документе из 100 слов, то он скорее соответствует запросу, чем если оно встречается те же 10 раз в документе из 20 тысяч слов;

· Популярность – поисковая машина автоматически вычисляет коэффициент популярности каждой страницы Интернет на основе данных счетчика Top100 и анализа гипертекстовых ссылок между страницами. Преимущество отдается более популярным ресурсам.

· Ссылочный вес документа – при ранжировании учитывается ссылочный вес страницы, рассчитанный на основании учета гиперссылок, содержащих слова запроса. Так, если на некоторый документ словами «Красная площадь» ссылается большое количество страниц с высокими коэффициентами популярности, то ему отдается приоритет по запросу Красная площадь.

Помимо автоматических способов увеличения точности поиска, существуют различные средства, с помощью которых пользователь сам может уточнить поиск по отдельным запросам. В первую очередь к ним относится специальный язык поискового запроса, используя который можно ограничивать количество найденных документов. Например, запрос или его часть, взятые в кавычки, обрабатываются буквально, с учетом всех стоп-слов, форм, порядка, знаков препинания. Это повышает точность поиска, но уменьшает его полноту: если часть, заключенная в кавычки, неточна, нужный документ найден не будет.

Использование логического оператора OR (ИЛИ) позволяет расширить сферу поиска и увеличить его полноту, в то время как оператор NOT (И-НЕ), наоборот, повышает точность поиска за счет нахождения документов, которые содержат одни слова запроса и не содержат другие. Для повышения точности можно также задавать расстояние между словами. Если в искомом словосочетании порядок слов обычно сохраняется (например, Красная площадь), то в запросе для повышения точности имеет смысл ограничить расстояние, указав его в скобках через запятую: (2, Красная площадь). Это позволит отсеять документы, в которых слова красная и площадь не расположены рядом, а разбросаны по тексту.

Увеличить точность можно с помощью использования поиска в найденном. Уточняющий поиск, проводится уже не по всей индексной базе, а только по результатам предыдущего поиска. Таким образом, круг найденных документов сужается. Например, если дать запрос Красная площадь, а затем, провести поиск в найденном по запросу Москва, то результат будет содержать только те документы, в которых говорится о Красной площади города Москвы.

Стремясь удерживать лидирующие позиции лучшего поисковика по русскоязычному Интернету, Яндекс постоянно совершенствует алгоритм расчета релевантности страниц, заимствуя передовые идеи у машин с мировым именем. Последние изменения, внедренные Яндексом, оказались наиболее кардинальными.

На сегодняшний день стало ясно, что поиск не может быть эффективным и корректным, если он основан только на анализе текста документов, т.к. внетекстовые факторы могут играть не меньшую роль, чем сам текст. Поисковая машина должна учитывать положение страницы на сайте, авторитетность источника, частоту обновления, цитируемость страницы. Сочетание этих факторов может дать более полноценную картину о деятельности ресурса и его восприятии сетевой общественностью, чем анализ только текстового содержимого. Поэтому Яндекс постепенно внедряет в свою практику анализ влияния подобных факторов на релевантность страницы запросу пользователя.

При анализе текстовых критериев релевантности Яндекс учитывает:

· позицию найденных слов в тутульной фразе;

· «вес» слова и его близость к началу документа;

· наличие найденных слов в заголовках и фрагментах выделенного текста;

· компактность цитаты, т.е. учет расположения найденных слов относительно друг друга.

Нетекстовые критерии, учитываемые Яндексом, можно условно разделить на три вида:

· каталожные;

· ссылочно-расчетные;

· ссылочно-текстовые.

К первому типу критериев относят индекс цитирования (ИЦ) Яндекса, который определяется как совокупность всех страниц, ссылающихся на данную (включая и страницы данного сайта). На Яндексе ИЦ исследуемого ресурса можно узнать по адресу http://yandex.ru/info/cy.html#cycounter.

Индекс цитирования Яндекс рассчитывает для всех ресурсов, ссылки на которые были найдены им в русском интернете, при условии, что результирующее значение тематического ИЦ для них не меньше 10. При учете ИЦ Яндекс наверху результатов поиска по запросу выдает несколько ссылок на сайты, зарегистрированные в своем каталоге.

При подсчете ИЦ не берутся во внимание ссылки с форумов, электронных досок, конференций. Кроме того, Яндекс не учитывает ссылки с сайтов, которые не были ими проиндексированы.

Учет при расчете релевантности ИЦ был очень популярен в зарубежных поисковых системах примерно до 1998 года. Однако из-за того, что этот показатель легко подвергается накрутке и не учитывает качество самих источников, дополнительно ввели его усовершенствованные версии – тематический и взвешенный индексы цитирования (тИЦ и вИЦ соответственно). Эти два показателя по указанной выше классификации нетекстовых критериев расчета релевантности относят к ссылочно-расчетным.

Для быстрого анализа индекса цитирования можно использовать специальный плагин Яндекс.Бар для Internet Explorer 5-6. Модуль, который можно скачать по адресу http://bar.yandex.ru/, формирует в браузере дополнительную панель инструментов. При этом расширяются возможности поиска и просмотра страниц, а главное, отображается взвешенный индекс цитирования. Индикатор показывает «весомость» и «авторитетность» сайта, просматриваемого в данный момент браузером, позволяет узнать раздел каталога Яндекса, в котором зарегистрирован ресурс, и список ссылающихся на него сайтов.

В начале 2000 г. учет поисковыми алгоритмами качества ссылочной политики сайта был взят за основу при модификации наиболее популярных зарубежных поисковых систем, уточнивших методику ранжирования результатов. Яндекс, следуя общемировой тенденции, также научился учитывать не только количество ссылок, но и их качество. В связи с этим им рассчитывается три вида индекса цитирования: ИЦ, вИЦ и тИЦ (взвешенный с учетом тематики).

Т.к. все ссылки на некоторый ресурс нельзя признать равными, используется ранжирование их ценности, т.е. определение веса ссылки. Чем популярнее ресурс, тем больше вес, а значит, качество ссылки. Т.о. ВИЦ сайта определяется не количеством ведущих на него ссылок, а суммой их весов.

Тематический индекс цитирования рассчитывается по специальному алгоритму, в котором главную роль играет близость тематики анализируемого ресурса и ссылающихся на него сайтов. При подсчете используется количество ссылок на сайт и их тематический вес.

При анализе ресурсов на степень схожести тематики исследуется их взаимное положение в каталоге Яндекса. Например, сайты, расположенные в одной рубрике каталога, считаются близкими по тематике. Однако только этого фактора мало для того, чтобы полноценно рассчитать тИЦ ресурса. Чтобы решить эту проблему, Яндекс позаимствовал у Гугла уже отработанную «человеческую» технологию использования асессоров – специалистов, выносящих вердикт о релевантности страницы.

Некоторые зарубежные поисковики уже давно применяют практику использования человека для оценки релевантности результатов поиска. Приход новой методики работы асессоров на Яндекс должен был частично заменить учет оценки интервала между кликами одного и того же пользователя на разных позициях в результатах поиска. Анализ кликов теперь используется Яндексом, но для других целей, например, для интегральной оценки качества поиска. Непосредственно для настройки качества поиска эти данные не годятся, т.к. пользователи делают выбор только по цитатам из документов и адресам страниц. Асессоры же работают по более полноценной методике. Однако Яндекс не отказался от старого способа, а просто удачно совместил их, получив тем самым синергетический эффект. Благодаря работе асессоров поисковый механизм Яндекса отделяет тематические ссылки, т.е. связывающие сайты одинаковой тематики, от любых других. Т.о. для оценки качества поиска Яндексом совмещаются как автоматические, так и ручные методы оценки.

Ссылочно-текстовые критерии, учитываемые Яндексом при определении релевантности страницы, основаны на анализе текста ссылок. При этом, если содержимое запроса совпадает с содержимым тега ссылки, в результатах поиска выдается адрес, указанный в теге. При этом в результатах поиска такая страница выводится Яндексом без титула и сопровождается текстом: «адрес найден по ссылке».

Т.о. для высоких позиций в Яндексе оптимизируемый сайт должен иметь как можно большее количество входящих ссылок, увеличивающих ИЦ, вИЦ и тИЦ, расположенных на ресурсах, близких по тематике исходному.

При ранжировании результатов поиска по запросу пользователя Яндекс учитывает не только наличие ссылок на эту страницу с других страниц, но и их текст. Поэтому при верстке html-кода рекомендуется ссылаться на различные страницы сайта с использованием характерных ключевых слов и словосочетаний. А также стараться выделять несколько страниц, которые будут посвящены высококонкурентным темам, и ставить на них ссылки как можно чаще.

Однако гонка за высокими показателями ссылочных критериев приводит к определенным трудностям. Оптимизированная ссылочная структура сайта не должна затруднять полную индексацию сайта поисковой системой. Для этого желательно уменьшать число уровней иерархии, т.е. количество ссылок, которое должен пройти робот Яндекса, чтобы проиндексировать самую глубокую страницу сайта. Если же структура сайта имеет более 3-4 уровней желательно вынести наиболее важные внутренние ссылки на отдельную страницу.

Для того, чтобы правильно задать тематическую концепцию ресурса, содержащего разнородную информацию, необходимо при проектировании распределять страницы сайта по разделам, посвященным отдельным темам, и правильно связывать между собой страницы каждого из разделов. Главная страница или карта сайта, в свою очередь, должны ссылаться на одну из страниц каждого раздела. Т.о. при оптимизации сайта под Яндекс необходимо особое внимание уделять соблюдению тематической целостности ресурса.

Как видно из изложенного выше материала, Яндекс постоянно вносит коррективы в методику расчета релевантности страниц. Одними это воспринимается как очередной камень преткновения для оптимизаторов, другими - как благо. Однако в целом качество поиска постоянно улучшается, чем довольны все. Сегодня Яндекс заслуживает особого внимания, поэтому знание его возможностей, а также методов улучшения показателей, которые берутся им при расчете релевантности страниц, необходимо для любого пользователя.

Дата добавления: 2014-01-11