Использование семантически близких запросов в процессе информационного поиска

* На правах рекламы

Вот такое заумное название статьи я решил написать. Итак, 13 апреля Павел Браславский (Яндекс) выступил на профессиональной конференции «Российские Интернет Технологии РИТ++ /2010» с докладом «Как найти и использовать близкие запросы». Благодаря докладчику все присутствующие на конференции были ознакомлены с новым методом, делающим поиск более развернутым и качественным. Этот метод позволяет объединять частотные запросы в близкие пары.

В докладе было дано определение понятию «близкие запросы», показана их квалификация. Существуют близкие запросы, подкорректированные при помощи конкретизации запросов (обручальное кольцо — обручальное кольцо с бриллиантом); путем увеличения области поиска (золотое колье — драгоценности); использованием перевода (детский мир — world of children); сменой цели поиска (купить кольцо — ювелирные изделия). Есть также однотипные запросы (шевроле — мерседес).

Докладчик провёл тщательный анализ распределения ведущих позиций при поиске отдельными поисковыми системами. По сути сама идея — выделение близких запросов, с целью предложения пользователям востребованные связки и качественные переформулировки — уже раньше использовалась различными поисковыми машинами.

К примеру, в настоящее время Yahoo довольно широко использует это на практике. Как это происходит? Пользователь вводит свой запрос. Ему предлагают на выбор два варианта. Для тех, кто хочет более досконально углубиться в это, система предлагает использовать дополнительную панель для формулировки более хорошего запроса.

Довольно давно и достаточно серьёзно этим занимается и Ask. Метод связанных запросов используется также в Яндекс.Картинках, в Гугле. Докладчик делал упор на том, что сформулировать хороший запрос — это не просто. При этом это очень важный фактор более качественного и быстрого поиска. Часто конечная формулировка, которая помогает найти нужную информацию, сильно отличается от первоначального текста запроса.

Павел Браславский в своём выступлении показывает, где можно найти связанные вопросы, столь необходимые пользователям. Как вариант, нужно искать в логах запросов, т.е. там, где их много. Можно также просто формировать запросы по смыслу текста. Но это более ограниченный вариант работы.

Рассмотрим варианты установления семантической близости по логу запроса:

1. Это похожие по словам словосочетания. Эти запросы могут отличаться, допустим, лишь одним словом.
2. По кликам. Предположим, у вас есть два запроса. Если по ним выдаются одинаковые документы, хотя чисто внешне эти запросы не похожи, то получается, что они в чём-то синонимичны.
3. Близость запросов, формируемых одним и тем же пользователем за относительно короткий промежуток времени. Чаще они бывают об одном и том же. Разработчики Яндекса считают именно этот вариант более эффективным.

Выступающий также рассмотрел ряд требований к подсказкам в Яндексе. Перечислим их:

1. Смысловая близость.
2. Грамотность. Не должно быть орфографических ошибок, опечаток, смысловых повторений (например, Гарри Поттер и Поттер Гарри).
3. Не должны выходить порно-ответы, если этого не требует запрос; ответы с нецензурной или грубой лексикой.

Яндекс выполняет это следующим образом. Первый шаг — это контроль чистоты лога, из которого убираются запросы, имеющие опечатки; из внутренней сети Яндекса. Чистка лога также включает в себя и устранение подсказок под строкой поиска в Яндексе. Второй шаг — выделение сессий. Как это происходит? Рассматриваются запросы одного пользователя. Те запросы, которые набирались с большой разницей во времени, будут относиться к разным сессиям. Третий шаг — выделение пар.

После всех этих шагов выявляется частота переходов между запросами, т.е строится матрица. Затем оцениваются эти переформулировки. Итог: применение семантически близких запросов качественно улучшает процесс поиска. Хотя в настоящее время это уже частично реализовано Яндексом, но, в целом, это пока ещё будущее процесса поиска информации.

Поблагодарим спонсора статьи — гиганта индустрии продажи онлайн фильмнов — партнерскую компанию Kinobrothers.com. Всегда высокий и стабильный конверт!