Что такое зеркало сайта? Проверка зеркал сайта и их склейка

зеркало сайтаЗеркало сайта это копия сайта на другом ресурсе. Поисковые системы умеют выявлять их и более того умеют их склеивать. SEO-специалистам необходимо знать информацию о зеркалах о том как их создавать, склеивать и выбирать главное и второстепенное зеркало.
Моя сегодняшняя статья целиком посвящена этим проблемам, разделена на части, которые освещают определенную задачу, связанную с зеркалами.

Виды зеркал сайта

Зеркала с www и без

С этой проблемой сталкиваются множество веб-мастеров, которые запустили новый сайт. Как правило, сайт бывает доступен по URL адресу как с www так и без.
Получается, что поисковые системы видят 2 версии сайта, которые являются зеркалами. Через некоторое время они их склеят и оставят один вариант в своем индексе.
Если вебмастер поспешит и будет применять некорректные действия, то могут быть проблемы с индексацией. Например, может случиться, что в индексе сайт с www, а в Robots.txt прописано зеркало без и при следующем приходе робота-зеркальщика сайт снова сменит главное зеркало, что приводит к большому падению трафика и позиций.

— Зеркала на ваших сторонних доменах

Политика многих компаний размещать дубли одного сайта на разных доменах. Объясняется это желанием получить как можно больше поискового трафика. Если не предпринимать никаких действий по правильной склейке сайта, то в итоге мы получим проиндексированные дубли страниц разных сайтов в выдаче. Ни к чему хорошему этому не приведет и может сильно ухудшить положение продвигаемого сайта в поисковой выдаче.

— Зеркала сайта на сайте разработчиков

Многие разработчики и веб-студии размещают созданные сайты клиентов на своем сайте. Очень часто это может быть их поддомен. При чем эти сайты многие из них не спешат закрывать от индексации и они успешно индексируются, что может очень сильно навредить вашему интернет ресурсу.

— Зеркала сайта у Воров

Может так случиться, что в один прекрасный день вы найдете полную копию своего сайта на другом домене. Этим занимаются люди у которых различные цели. Во первых, это могут быть ваши конкуренты, которые задались целью понизить ваш сайт в поисковой выдаче. Также это могут быть люди, которые автоматически парсят сайты специальной программой. Их цель – получить бесплатный контент, чтобы в дальнейшем заработать с сайта, например на продаже ссылок.

Надеюсь, вы поняли, какие бывают типы зеркал. Теперь поговорим о том, как определить зеркала сайта и проверить склейку домена и сайта.

Определение зеркал сайта

Если вы не знаете, есть ли у вашего сайта зеркало то необходимо проделать следующие шаги:

  1. Добавляем сайт в панель Вебмастера Яндекс– в этом случае появится информация, если сайт является зеркалом. При чем, информация появляется, если склейка зеркал уже произведена и определено главное.
  2. Проверка по тексту. Для этого нужно поискать несколько фрагментов текста сайта в поисковых системах по точной фразе. Напомню, что для поиска по точной фразе, необходимо взять ваш запрос в кавычки. Искать нужно по всему интернету, так внутри сайта, так как иногда зеркало может располагаться на поддомене.
  3. Проверка похожих названий доменов. Например, если вы взяли на продвижение сайт клиента и домен имеет видrozovyeslony.ru, то проверьте, нет ли зеркал на rozovye-slony.rurozovye-slony.com и тд.
  4. Поиск по контактным данным домена. Заходим на сервис 1stat.ru и проверяем Whois информацию, затем ищем по номеру телефона и E-mail, какие еще сайты имеют такие же регистрационные данные. Этот прием поможет вычислить, как зеркала сайта, так и аффилированные сайты, когда сайты разные, но тематика сходная.
  5. Поиск по признакам в URL. Берем любую страницу сайта, желательно внутреннюю и осуществляем в Яндексе поиск с помощью команды Inurl, например так:inurl:rozovye-slony. Поисковик нам нашел варианты сайтов, которые используют данное выражение в своих URL-адресах. Это часто помогает вычислить зеркала, которые проиндексированы.

Склейка зеркал сайта.

Если вы обнаружили что у вашего сайта, или сайта вашего клиента есть зеркала, они не склеены и в панель Вебмастера успешно добавляются обе версии, то нужно срочно принимать меры по склейке этих доменов и сайтов, так как хорошего в этом ничего нет.
Для этого, необходимо разместить в корневой директории всех зеркал, файл robots.txt следующего вида:

User-agent: Yandex
Host: www.site.ru

В директиве Host указываем нужное нам главное зеркало, кторое вы хотите сделать основным.
Через некоторое время робот Яндекса склеит зеркала и сделает главным то зеркало, которое мы прописали.
Внимание! Директиву Host можно использовать только для User-agent: Yandex. Подробнее читайте статью о правилах составления Robots.txt
Для Google необходимо настроить 301 постраничный редирект с неосновного зеркала на главное.
Вот пример редиректа для сайта с версией без www на www:

RewriteEngine On
RewriteCond %{HTTP_HOST} ^domain\.ru$ [NC]
RewriteCond %{REQUEST_URI} !^/robots\.txt$
RewriteRule ^(.*)$ http://www.domain.ru/$1 [R=301,L]

На этом все. Надеюсь, вы поняли как найти зеркала сайта в Яндексе, убрать ненужное из индекса и произвести склейку зеркал. В любом случае, выслушаю ваши вопросы.

 

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *