Быстрая индексация страницы в гугл. Быстрая индексация статей в Google
Привет, друзья! В сегодняшнем посте я затрону тему индексации сайта в поисковой системе Google. Какие проблемы возникают с ней? Существует ли сейчас основной и дополнительный индекс? Все мои наблюдения на этот счет ниже.
Не знаю как у вас, а у меня Google индексирует меньше страниц, чем Яндекс. По крайней мере он показывает это по таким запросам:
Кстати в этой записи все буду разбирать на примере блога. Он находится в , на нем авторские уникальные статьи, теги, архивы и другие, дублирующие контент страницы (кроме категорий и нумерации страниц по средствам плагины PageNavi) запрещены в robots.txt. Что на такой запрос говорит Яндекс?
Тут уже 281 страница. Причем вообще в sitemap записано примерно 200 страниц + примерно 80 - это как раз те, которые создаются постраничной навигацией. Эти цифры ближе к реальности .
Вернемся опять к гуглу. Получилось, что сейчас он знает только о 172 страницах моего блога. Что же на самом деле? У меня получилась следующая картина:
Сейчас я объясню всю эту таблицу .
Что же получается? Google оказывается знает о 187 страницах + несколько десятков навигационных, а не о 172. По-моему кто-то что-то скрывает или прячет .
Выводы по поводу индексации в Google
До проведения данного анализа я считал, что у моих сайтов проблемы с индексацией страниц в Google. На самом же деле проблемы с тем, что некоторые документы попадают в дополнительный индекс, а о других Google знает, но молчит .
Почему Google отправляет страницы в дополнительный индекс?
- Как я уже написал выше, причиной может служить дублирование контента. Для этого можно запретить к индексации дублирующие страницы: теги, архивы и так далее.
- Часто страницы с копированным контентом тоже отправляются в сопли, либо просто с незначительным его количеством или низким качеством.
- Ошибки поисковой системы. Поисковой робот может неправильно проанализировать страницу, несмотря на то, что она будет являться первоисточником с уникальным и интересным контентом.
Как же вывести страницы из соплей? А вот этим я и буду заниматься. В одном из последующих постов опубликую результаты эксперимента, который должен будет вытащить некоторые страницы блога в основной индекс. Не пропустите . Что вы думаете по поводу индексации ваших сайтов в гугл? Какие особенности были замечены?
В этой инструкции мы рассмотрим вопрос добавления нашего нового сайта на индексацию к различным поисковым системам.
Я решил упомянуть как популярные поисковики, так и те, про которые вы возможно и не слышали.
Индексация сайта в Яндексе
Для добавления сайта на индексацию достаточно ввести url главной страницы и капчу. Капча — это несколько цифр, которые защищают от автоматических регистраций. После того как вы нажмете кнопку «добавить» возможно несколько вариантов развития событий.
1) Сообщение «ваш сайт добавлен» сигнализирует об успешном добавлении ресурса в очередь на индексацию в Яндекс.
2) Если появилась надпись «Ваш хостинг не отвечает» — значит, ваш сервер лежит в этот момент. Можно попробовать добавить сайт позже или найти более качественный хостинг.
3) А вот если появилось сообщение, что «указанный URL запрещен к индексации» то дела плохи. Это говорит о том, что на ваш ресурс наложены санкции в виде бана сайта. Вполне возможно, что на купленном вами домене уже когда-то был сайт, который и получил санкции. При помощи addurl вебмастера часто проверяют сайты на бан в Яндексе .
Индексация сайта в Google (Гугле)
Следующая по значимости для нашего сайта идет поисковая система Google (Гугл). Процесс добавления на индексацию сайта в Google точно такой-же как на Yandex. В Гугле тоже есть своя адурилка, которая расположена по адресу: https://www.google.com/webmasters/tools/submit-url .
Так же надо ввести капчу при добавлении. Но есть два отличия. Если в Яндексе можно просто добавить урл без лишних телодвижений, то в Google надо быть залогиненым в своем аккаунте. Иначе не получится. Соответственно если аккаунта у вас там еще нет, его придется завести. Второе отличие Google от Яндекса это скорость индексации. Google очень быстро индексирует сайты.
Индексация сайта в Рамблере (Rambler.ru)
Конечно, Рамблер уже не тот, что раньше, как скажут многие, и дает совсем немного трафика. И все равно, зачем им пренебрегать? Процесс индексации сайта в Rambler самый затяжной, среди других отечественных поисковых систем. Да и его адурилка уже давно не работает, она была по адресу: robot.rambler.ru/cgi-bin/addsite.cgi
Он уже давно использует поисковую базу Яндекса. Поэтому, что бы попасть в индекс Rambler.ru достаточно добавиться в Яндекс.
Индексация сайта в Mail.ru (Майл)
Поисковая система Mail.ru тоже имеет кабинет вебмастера. Добавление сайта на индексацию в Mail.ru происходит через форму addurl, которая расположена по адресу: go.mail.ru/addurl
Причем как и у гугла, что бы сделать заявку на индексирование, нужно завести свой аккаунт и войти в него. Иначе не выйдет. Майл в последнее время старается развивать свои собственные инструменты для вебмастеров.
Выше мы рассмотрели основные отечественные поисковики, в которых нам желательно проиндексировать свой сайт. Идущие далее ПС приведу скорее для вашей общей SEO-эрудиции, чем для конкретных действий.
Поисковая система Aport.ru (Апорт)
Aport.ru когда-то был поисковой системой, со своей индексной базой и адурилкой. Сейчас из него сделали товарный поисковик, в котором можно сравнивать цены на товары и услуги.
Поисковая система Nigma.ru (Нигма)
Nigma.ru это наша русская интеллектуальная поисковая машина. Суммарный объем ее трафика порядка трех миллионов запросов в сутки. Очевидно, что не надо пренебрегать трафиком из Нигмы. Добавить свой сайт на индексацию в Нигму можно на странице nigma.ru/index_menu.php?menu_element=add_site.
Медиа навигатор Tagoo.ru
Система Tagoo.ru представляет собой медийный поисковик, который ищет медиа данные. Это музыкальный контент, видеоролики и программы. Что бы ваш сайт был проиндексирован системой Tagoo, нужно воспользоваться формой добавления: tagoo.ru/ru/webmaster.php?mode=add_site.
Поисковая система Turtle.ru (Черепаха)
Международный поисковик Turtle (Черепаха) осуществляет поиск по странам СНГ на любом языке. Для индексации принимаются ресурсы расположенные на таких доменных зонах как: ru, su, ua, am, az, ge, by, kz, kg, uz, md. Что бы добавить сайт на индексацию в черепахе нужно воспользоваться адурилкой: http://www.turtle.ru/add.html . Желательно дождаться вывода сообщения о принятии вашего сайта. Может не добавить, а вы и знать не будете.
Зарубежные поисковые системы
Если выше были отечественные поисковые системы, то ниже будет список зарубежных поисковых систем.
Поисковая система Yahoo.com (Яху)
Поисковая система Bing.com (Бинг)
Поисковая система Bing принадлежит корпорации Microsoft и была создана на замену Live Search. Майкрософ надеется, что новое детище окажется намного популярнее предшественника. Если вы хотите индексации своего сайта ПС Bing.com, это это можно сделать на странице http://www.bing.com/toolbox/submit-site-url .
Украинские поисковые системы
И в заключении моего обзора приведу две популярных поисковых системы на Украине.
Украинская поисковая система Meta.ua (Мета)
Нередко возникает такая ситуация, когда нужно как можно быстрее проиндексировать сайт в Гугл. Также часто возникает необходимость проверки индексации сайта в поисковой системе Google.
Дело в том, что имеет место такое явление, как «выпадение страниц». Это способно спровоцировать потерю трафика, что, мягко говоря, негативно повлияет на ряд факторов. Для того, чтобы избежать подобных проблем, необходимо проверять, проиндексирован ли сайт. И это даже не рекомендация вебмастеру, а вынужденная мера и призыв к действию.
Особенности индексации в Google
Интернет – это необъятный океан различной информации, которая обязательно строго структурирована и находится на отведенном ей месте. Такая безупречная каталогизация возможна благодаря работе поисковых систем. В них хранятся важные данные о каждой странице всех имеющихся сайтов, что позволяет быстро находить пользователю нужную ему информацию.
Так как Интернет ежедневно пополняется огромным количеством новой информации на страницах сайтов, даже самые продвинутые поисковые системы не могут сразу выполнить их индексацию. На наиболее посещаемых сайтах обновление данных в поисковых системах производится ежедневно, а на всех остальных – еженедельно.
Индексация сайта в Гугле – самая быстрая индексация среди всех остальных . В зависимости от ряда параметров, Гугл способен вносить в свою поисковую базу данные о произошедших обновлениях на сайтах даже в течение нескольких часов. Индексация включает добавление ряда важной информации о материалах сайта: ключевые слова, ссылки и пр.
Все web ресурсы индексируются с разной скоростью. На то, как быстро поисковая машина посетит сайт и внесет в свою базу данных информацию об изменениях на страницах, влияет ряд факторов. Предположим, если Гугл определит, что сайт посвящен новостям, то он будет регулярно индексироваться быстроботом – буквально каждые несколько часов . Существуют разные способы, при помощи которых можно добавить сайт на индексацию в Гугл. Например, для того, чтобы ускорить попадание сайта в индекс, часто используется один из действенных способов – размещение внешних ссылок на страницах, которые уже проиндексированы.
Когда поисковая машина Google посетила сайт, отметила все необходимые данные и внесла информацию в базу данных, системой осуществляется ранжирование авторитетности . Что оно из себя представляет? Ранжирование авторитетности – это выполнение сортировки по определенным параметрам. Авторитетность (PageRank), в свою очередь, определяется количеством и качеством ссылок, ведущих на сайт с других ресурсов. Выходит, что тот сайт, на который ведет большее количество ссылок, является более авторитетным. Чем выше авторитетность, тем выше и важность ресурса, определяемая ранжированием.
Непосредственное влияние на индексацию сайта оказывает:
- количество посетителей;
- релевантность страницы – соответствие поисковым запросам пользователей, достигаемое определенной пропорцией ключевых слов в тексте или мета-тегах;
- внутренняя оптимизация.
Показатель PageRank может быть от 0 до 10. Для наиболее «продвинутых» сайтов обычно соответствует показатель 4-5. А вот сам Google имеет по шкале авторитетности 10. На данный момент тулбарный показатель PR отключен .
Те сайты, которые обладают высоким показателем авторитетности, располагаются в поисковой выдаче как можно выше. Следует учесть, что каждая страница одного сайта имеет свой показатель авторитетности, поэтому и место в выдаче будет для каждой страницы свое.
Как проверить индексацию сайта в Гугле с оператором «site:»
Мы уже разобрались с тем, что индексация сайта очень важна. С помощью определенных действий можно проверить проиндексирован ли сайт в Гугл. Существует много программ и сервисов, которые помогают в этом.
Один из способов проверки индексации в Гугл – это выполнить установку тулбара Google в браузер, после чего в правой верхней странице будет видна специальная диаграмма. Она выводит показатель авторитетности страницы сайта.
Еще один надежный способ для google – оператор «site:». Не забываем, что индексация Гугл является зависимой от географического положения, что влияет на количество страниц в индексе для google.ru и google.com.
Итак, как пользоваться данным оператором для проверки индексации:
- К оператору «site:» нужно добавить url интересующего домена. Между ними не должно быть пробелов. Выглядит это так: site:google.ru.
- Поиск по всему домену или отдельному каталогу: site: google.com/webmasters.
- Можно осуществлять и избирательный поиск. Для того, чтобы исключить ненужные страницы, перед оператором нужно поставить знак «-». Выглядит это следующим образом: site:google.ru -site: adwords. google.com.
Для того, чтобы определить индексацию страницы со ссылкой на главную сайта с помощью www.google.ru, можно воспользоваться запросами link:google.ru или link:www. Первый поиск всегда выдает гораздо больше результатов.
Поиск ссылок на определенные страницы сайта можно выполнить по запросу: link:google.ru/webmasters.
Оператор «cache:» и индексация страниц
Оператор «cache:» предоставляет информацию проиндексированной Гуглом архивированной копии страницы. С помощью запроса cache:google.ru можно увидеть самую последнюю проиндексированную версию главной страницы сайта и информацию, отображающую дату создания КЭШа. В ней можно посмотреть ту версию страницы, в которой имеется обычный текст, а это очень удобно потому, что дает возможность увидеть ресурс так, как его видит Googlebot.
С помощью команды «метатег noarchive» есть возможность ограничить доступ пользователей к результатам поиска КЭШ-версии любой страницы сайта. Тем не менее, индексация Гуглом будет продолжаться.
Оператор «related:» и поиск ресурсов, подобных сайту
С помощью оператора «related:» есть возможность быстро отыскать ресурсы, которые подобны определенному сайту. Обычно применяется для ресурсов, по разным критериям пересекающихся.
Несмотря на то, что по различным показателям можно выявить схожие ресурсы, их качество не повлияет на саму индексацию страниц Гуглом.
Таким образом, мы разобрали несколько наиболее популярных, быстрых и надежных способов проверки индексации сайта. Пользоваться можно тем, который наиболее предпочтительный для вебмастера. Каждый из представленных методов проверенный и эффективный.
Как оперативно узнать, попала ли важная для вас страница в индекс поисковых систем? Да и вообще, сколько страниц сайта «видят» поисковики? Я описал в этом посте способы, которые чаще всего используют SEO-специалисты, и приготовил бонус для читателей.
При индексировании страницы робот поисковой системы добавляет сведения о сайте в базу данных. Дальнейший поиск происходит по проиндексированным страницам. Не стоит путать индексацию и сканирование.
Робот может просканировать весь сайт быстро. А добавлять в индекс медленно, не добавлять часть страниц или удалять страницы из индекса.
1. Проверьте индексацию в панели вебмастеров
Это базовый способ проверки для вебмастера или владельца сайта.
Google . Необходимо зайти в Search Console и на вкладке «Индекс Google» выбрать «Статус индексирования».
Yandex . Проходим авторизацию в Яндекс.Паспорт, заходим в Яндекс.Вебмастер и переходим по пути «Индексирование сайта» — «Страницы в поиске». Еще один вариант: «Индексирование сайта» — «История» — «Страницы в поиске». Здесь можно посмотреть динамику изменения количества страниц в поиске.
Чтобы использовать этот метод, у вас должен быть определенный уровень доступа в панель вебмастера. Пример хорошего индексирования сайта. Количество качественных страниц растет, и они добавляются в индекс. 
Проблемы с индексацией выглядят так: 
На скриншоте — сайт, закрытый от индексации в файле robots.txt
Хотите узнать больше о поисковом продвижении? Подписывайтесь на рассылку:
-
17 апреля 2015Многоядерный DSP TMS320C6678 -
17 апреля 2015Продукция Intel: чипсеты и их особенности
