Новый интернет-поисковик уже может понять смысл романа "Война и мир"

Российский поисковик перешел на более умную обработку запросов пользователей, объявили в компании. Теперь он работает по новому алгоритму, который назвали в честь основоположника отечественной космонавтики Сергея Королева - "Королев".

"КОРОЛЁВ" НА СТАРТЕ

Принцип работы алгоритма в том, что он ищет ссылки на страницы в Интернете не по ключевым словам, как это делалось ранее, а по смыслу запроса, который забил пользователь в строке поиска. Пришлось перейти к такой схеме, так как в сети накопилось большое количество информации, и по ключевым словам может вылезти не совсем нужная для пользователя ссылка. Разработчики приводят в пример роман Льва Толстого "Война и мир" и уверяют, что их поисковик сможет понять даже его смысл. А вот если ориентироваться на поиск по словам, то компьютер покажет ссылки только на батальные сцены, добавляют они.

"Королев" высчитывает векторы страниц не в режиме реального времени, а заранее, на этапе индексирования. Когда человек задает запрос, алгоритм сравнивает вектор запроса с уже известными ему векторами страниц.

"Королев" - это нейронная сеть , которая обучается на обезличенной поисковой статистике. Системы сбора данных учитывают, на какие страницы пользователи переходят по тем или иным запросам и сколько времени они там проводят. Если человек открыл веб-страницу и "завис" там надолго, вероятно, он нашел то, что искал. То есть страница хорошо отвечает на его запрос. Но иногда система ошибается, и ее работе нужно постоянно давать оценку. Для всех желающих, кто хочет приобщиться к созданию поисковой системы, запустили сервис "Яндекс.Толока". Сейчас там зарегистрировано более миллиона пользователей: они анализируют качество поиска и участвуют в улучшении других сервисов "Яндекса".

Следующим этапом развития поиска может стать применение семантического вектора , который будет помогать находить документы, близкие по смыслу к запросу, но вовсе не содержащие слов запроса. "Еще мы хотели добавить персонализацию (представьте себе еще один вектор, который будет соответствовать интересам человека). Но на все это требуется не только время и знания, но и память, и вычислительные ресурсы, и здесь без нового дата-центра не обойтись. И у "Яндекса" такой уже есть. Но это уже другая история, о которой мы обязательно расскажем в ближайшем будущем", отмечается в заявлении компании.

Первые поисковые системы появились в середине 1990-х годов, когда Интернет был совсем небольшим - счет сайтов шел на тысячи. Чтобы помочь человеку найти нужное, достаточно было составить список веб-страниц, где есть слова из поискового запроса. О сложном ранжировании - то есть упорядочивании страниц по степени соответствия запросу - речь не шла. Считалось, что чем чаще в документе встречаются слова из запроса, тем лучше он подходит. Не каждая страна может похвастаться своим национальным поисковиком. В России и США создано несколько национальных поисковиков. Какие-то более популярные и раскрученные, какие-то нет.

Логотип поисковика теперь тоже выглядит по-другому: космический сюжет с буквой "Я" - два равнозначных элемента // Фото пресс-службы Яндекса

Событие, которое широко анонсировали втечение этого лета, наконец, состоялось. Яндекс запустил новую версию поиска, воснове которой лежит алгоритм « Королев» , названный вчесть легендарного конструктора ракетно-космической отрасли.

« Россия- одна изнемногих стран, где развивают космические программы иесть своя поисковая система» ,- так разработчики оригинально объяснили связь названия ноу-хау с именем конструктора.

Если коротко, суть алгоритма « Королев» заключается вследующем: спомощью нейронных сетей онсопоставляет смысл поискового запроса и содержание веб-страницы . При этом он учитывает идругие запросы, покоторым пользователи переходят наэту страницу. Врезультате программе удается установить дополнительные семантические связи ивыдавать результат даже втех случаях, когда вопрос построен путано иневсегда логично.

« Савгуста нановых телефонах наоснове Android Chrome, который установлен поумолчанию, после включения обновится, затем появится окно, где можно самому выбрать поисковик».

Правда, как уточняют разработчики, владельцамiPhone эта функция по-прежнему будет недоступна.

« Apple - закрытая компания. Если она считает, что поисковая система Google лучше,- это ееправо. Ноесть идругие производители смартфонов наAndroid, вчастности, вКитае. Для нас главное, что у людей в принципе появилась возможность выбирать поисковик для мобильных (пусть и не на всех), как накомпьютерах, где, кстати, доля Яндекса- более 60 процентов» ,- подчеркнул Андрей Стыскин.

Думаю, вы помните наши статьи про один из недавних алгоритмов - «Палех». Если что, освежить знания можно и .

Для ленивых вкратце расскажу, что Палех позволяет Яндексу понимать суть запроса без привязки к конкретным ключевым словам. Но работает только в связке запрос-заголовок. Если объяснять совсем на пальцах, то Палех умеет только понимать смысл заголовков (а не всей страницы) и сопоставлять его с сутью запроса.

22 августа 2017 Яндекс на презентации в Московском планетарии анонсировал новый поисковый алгоритм «Королев». Алгоритм назван в честь советского ученого и основоположника советской космонавтики Сергея Павловича Королева. И является логичным продолжением Палеха.

Яндекс со своей стороны сделал все, чтобы мы (пользователи поиска) осознали всю значимость нововведений и поняли, что этот алгоритм особенный и фундаментальный, из разряда больших шагов для человечества.

Во-первых, Яндекс создал отдельный сайт - https://yandex.ru/korolev/ , чего не было сделано ни для одного предыдущего алгоритма.

Во-вторых, устроил настоящее шоу из анонса - запустили масштабные рекламные кампании (не знаю, как вас - меня Яндекс настиг даже в инстаграме моей дочери, чего раньше не замечала за ним), во время трансляции ведущие вышли на связь с космонавтами; представили команду, работающую над алгоритмом; вручали ракеты-медали.

Кому интересно - вот запись трансляции, сути там на пару минут, остальное помпезное шоу:

Давайте разбираться, чего в этом алгоритме такого особенного.

Обычно заголовок страницы отражает суть документа, поэтому Палех умеет понимать суть заголовка, но этого мало. Важен и сам контент на странице. И Яндекс придумал, как это сделать.

Космический поиск Яндекса

Но прежде, чем начать объяснять умные вещи простым языком, потестируем выдачу. Сравним, что было и что стало с внедрением Королёва на деле. Тестируем на «длиннохвостых запросах», т.к. во всей красе алгоритмы Палех и Королёв раскрываются именно там.

Помните, в статье про Палех мы вбивали разные запросы и анализировали результаты выдачи? На их примере и посмотрим, что изменилось. Смотрим в режиме инкогнито, чтобы персонализация не мешала.

Возьмем запрос «фильм, в котором доктор дал девочке конфеты смеха»:

Выдача по этому запросу явно стала лучше. При этом в описании нет ни слова про девочку или смех:

Чудо - скажете вы, нет - Королёв.

Следующий запрос: «Кто является самым высоким млекопитающим»:

Опять же выдача стала лучше.

Еще запрос - «купить инструмент для проделывания дырок в бетоне небольшого размера»:

Выдача так же стала лучше. Если при Палехе среди вариантов было много дыроколов для кожи, то при Королеве выдача стала явно чище.

Ну и последний запрос, который сравним уже не с Яндексом версии Палех, а с Google текущей версии RankBrain - «как называется книга, в которую заносят вымирающие виды животных и растений»:

У Яндекса за счет островов ответ выглядит боле репрезентативным, но Google в первом же сниппете дает верный ответ. И если раньше Палех явно проигрывал Rank Brain’у , то Яндекс в версии Королёв если и отстает, то ненамного.

Разбираемся, что изменилось технически.

Алгоритм Королёв простыми словами

Алгоритм Палех умел сопоставлять смысл запроса и заголовка страницы. Королёв же умеет анализировать целиком страницу, а не только запрос.

Например, Королёв легко найдет ответ на вопрос «картина, где часы висят на дереве», хотя прямого употребления этих слов в описании на странице не встречается:

За счет чего это происходит?

Королёв, в отличие от Палеха, научился делать две принципиально важные вещи.

Первая - стал определять суть страницы в момент индексации. Т.е. уже на момент обхода роботом Яндекс понимает смысл контента индексируемой страницы и хранит эти данные у себя. Палех определял смысл заголовка в момент запроса. Если с заголовком это еще было возможно, то с полноценной страницей проблематично - потребуется больше времени, а пользователь Поиска ждать не станет, сразу гуглить пойдет.

Вторая - учитывает смысл других запросов, которым страница релевантна. Поясню это.

Любая страница может быть релевантна нескольким запросам. Например, картину «Постоянство памяти» можно искать разными запросами: «картина, где часы висят на дереве», «известная картина Сальвадора Дали», «картина про мягкие часы» и так далее. И если мы знаем лучший ответ на запрос «картина про мягкие часы», то логично предположить, что эти же ответы будут лучшими и по остальным этим запросам.

Что это значит для владельцев сайтов и SEO-индустрии в целом?

Да, в общем-то, ничего. Эра семантического SEO шагает семимильными шагами.

Все последние алгоритмы, что Палех, что Баден-Баден, что Королёв говорят лишь об одном - делайте сайты для людей. Только технической оптимизации теперь недостаточно - сегодня поисковики всего мира делают все, чтобы на первых местах показывались действительно лучшие сайты в своей тематике.

Забудьте про показатели тошноты и спамности на странице, про ТЗ с конкретным вхождением ключевых слов и оптимизацию для роботов.

С традиционной оптимизации текстов переключитесь на LSI-копирайтинг . Для лучшего понимания смысла страниц Яндексу поможет семантическая разметка . А если не знаете, что делать - обратитесь к нам - раскрутим ваш сайт правильно.

К сожалению, часто иметь такой сайт влетает в копеечку, и вместо развития своего сайта и бизнеса предпочитают вкладываться в покупку ссылок, накрутку поведенческих и другие нелегальные, но менее затратные способы.

«Что?! Редизайн сайта 89 000 рублей?! Да я лучше ссылок на сапе на эти деньги куплю» - буквально вчера слышала от одного нашего клиента. Обидно. Но кто был прав - время покажет.

Космического вам ТОПа поисковой выдачи!

Яндекс запустил новую версию поиска. В её основе лежит поисковый алгоритм « Королёв » - с помощью нейронной сети он сопоставляет смысл запроса и веб-страницы. Благодаря этому поиск понимает, что именно нужно пользователю, и отвечает на сложные вопросы ещё более точно. В новой версии поиска шире используется поисковая статистика и учитываются оценки пользователей Яндекс.Толоки .

Первый шаг к поиску по смыслу Яндекс сделал в прошлом году, когда внедрил алгоритм «Палех» - он в реальном времени сопоставляет смысл запроса и заголовка веб-страницы. «Королёв» использует нейронную сеть, которая анализирует не только заголовок, а всю страницу целиком. Это сложная вычислительная задача, поэтому Яндекс определяет суть страницы заранее, на этапе индексирования. Благодаря этому количество страниц, которые поиск сравнивает по смыслу с запросом, выросло со 150 документов до 200 тысяч. Другая важная особенность «Королёва» в том, что помимо сопоставления смысла запроса и страницы, он учитывает ещё и смысл других запросов, по которым люди на неё переходят.

Чтобы нейронная сеть могла оценить смысловую близость запроса и документа, ей нужно огромное количество примеров. Такие примеры даёт обезличенная поисковая статистика: на какие сайты люди переходят по запросам и сколько времени там проводят. Так, если человек перешёл на страницу и просматривал её какое-то время, скорее всего, она близка по смыслу запросу. Используя поисковую статистику миллионов людей, Яндекс учится понимать смысловые связи. Например, он поймёт, что в запросе [картина где небо закручивается] речь идёт о картине Ван Гога, а в запросе [ленивая кошка из монголии] - о мануле.

«Поиск - это очень сложная система. Тысячи инженеров работают над тем, чтобы она понимала человека и помогала решать его задачи. В „Королёве“ мы объединили машинный интеллект и усилия миллионов людей. Наши пользователи улучшают поиск вместе с нами, задавая вопросы и помогая обучать наши алгоритмы», - говорит Андрей Стыскин, руководитель Поиска Яндекса.

Для обучения поисковой системы нужны также оценки качества ответов. И чем сложнее система, тем больше оценок требуется. Раньше Яндекс оценивал качество поиска с помощью своих специалистов - асессоров. Теперь учитываются также оценки, которые выставляют пользователи Яндекс.Толоки. Это сервис, где любой желающий может выполнять задания и получать за них вознаграждение. Сейчас в Яндекс.Толоке зарегистрировано более миллиона пользователей, которые выставили уже более двух миллиардов оценок.

В этой статье мы поговорим о том, как быстро добавить ваш сайт в Яндекс и Гугл, чтобы поисковые роботы пришли к вам на сайт, проиндексировали его и страницы сайта появились в результатах поисковой выдачи.

3 способа добавить новый сайт в Яндекс

Рассмотрим 3 самых простых способа.

Сообщить о новом сайте

Чтобы перейти на эту страницу, нужно войти под своим логином и паролем от Яндекса или зарегистрировать новый аккаунт. Вводим адрес сайта в поле «URL», затем капчу и нажимаем кнопку «Добавить».

Добавление сайта в Яндекс.Вебмастер

Для доступа к сервису, нужно зарегистрироваться или использовать свой логин и пароль Яндекса. Вебмастер позволяет отслеживать индексацию сайта, отслеживать ошибки, добавлять карту сайта и многое другое. Рекомендую зарегистрировать ваш сайт в данном сервисе.

Для добавления нового сайта нажимаем «Начать работу», затем «Добавить сайт», вводим адрес сайта в специальное поле и нажимаем кнопку «Добавить».

На следующей странице нужно подтвердить права собственности на домен. Для этого предлагаются следующие способы:

• Загрузить HTML-файл в корень сайта
• Разместить мета-тег в шапку сайта
• Загрузить TXT-файл в корень сайта (временно не работает)
• Через WHOIS домена
• Через DNS домена

Рекомендую использовать проверку через загрузку HTML-файла. Скачиваем файл и загружаем его через файловый менеджер хостинга или FTP в корень сайта. После этого нажимаем кнопку «Проверить». После нескольких секунд проверки, вы получите сообщение «Сайт успешно поставлен в очередь на индексирование».

Для доступа к странице, нужно зарегистрироваться в Google или ввести логин и пароль. Вводим адрес сайта в поле «URL»; подтверждаем, что мы не робот и нажимаем кнопку «Отправить запрос». Если все сделано правильно, видим сообщение «Ваш запрос получен и вскоре будет обработан».

Этого достаточно, чтобы сообщить Google о вашем новом сайте. Но есть еще два способа, которые вы можете использовать для добавления сайта в Google.

Google Search Console (бывший Google Webmasters) — сервис для веб-мастеров, который позволяет отслеживать индексацию сайта, ошибки, добавлять Sitemap и многое другое.

На главной странице сервиса вводим адрес сайта и нажимаем кнопку «Добавить ресурс». На следующей странице нужно подтвердить право собственности на домен. Рекомендуемый способ — загрузка HTML-файла на сервер.

Альтернативные способы:

• Тег HTML
• Провайдер доменных имен
• Google Analytics
• Диспетчер тегов Google