Дзеркала сайтів, як правильно їх склеювати… та інші моменти..

Дуже часто зустрічаю на різних SEO форумах обговорення різних типів редиректів для сайтів, як правильно склеювати дзеркала доменів з www та без www… Сьогодні коротко зверну увагу на деякі цікаві моменти даної теми…

Чому дуже часто буває різний ТІЦ і ПР для сайту з www і без www?

Тому що, з точки зору робота, урл з WWW і без – є різними документам на різних сайтах. Пошуковики, у міру можливостей, намагаються вирішити цю проблему, вичисляючи дзеркала сайтів, це може бути домен з префіксом WWW, або зовсім інший домен.
Пошук дзеркал – задача не проста, і вирішується не швидко. У вашому випадку пошукові системи ще не встигли оприділити, що домени з WWW і без є дзеркалами.
Як тільки пошукові системи це зрозуміють, покази стануть рівними. А в індексі залишеться лише одне з його дзеркал.

Чому у видачі лише сайт з www?

Якщо сайту без WWW в індексі немає, значить, швидше за все, пошукова система вже знає, що домени з WWW і без є дзеркалами, і вибрала головним дзеркалом домен з WWW.
Якщо в індексі обидва дзеркала, значить, пошукова система все ще вважає ці домени двома різними сайтами. З часом пошукова система вибере з них один, і призначить його головним дзеркалом.
У будь-якому випадку, у вас є можливість вплинути на вибір головного дзеркала. Для Яндекса це робиться за допомогою файлу robots.txt

Як краще робити зовнішні посилання – з www чи без www?

Якщо пошукові системи вважають домени з WWW і без дзеркалами, то різниці немає. Якщо, з точки зору пошукових систем, це два різних сайту, необхідно вибрати один з доменів, і ставити посилання тільки на нього.

Як правильно склеїти дзеркала (директива “хост”)?

Використовуйте такий robots.txt:

User-Agent: Yandex
Host: www.site.ru

Директива Disalow для Яндекса необов’язкова.

А чому не можна просто використати 301 редирект. Htaccess:
Options + FollowSymLinks
RewriteEngine on
RewriteCond% (HTTP_HOST) ^ site.ru
RewriteRule ^(.*)$ http://www.site.ru/ $ 1 [R = 301, L]

301 редирект не зможе повною мірою замінити повноцінну склейку дзеркал. Мало того, після установки редиректа Яндекс взагалі ніколи не склеїть дзеркала, а завжди буде вважати їх різними сайтами, один з яких пересилає користувача на інший. Справа в тому, що для склеювання дзеркал Яндекс повинен мати можливість проіндексувати обидва дзеркала, щоб переконатися, що ці сайти повністю ідентичні.

Рекомендується ставити 301 редирект для Гугла і користувачів, але лише після того, як дзеркала будуть склеєні Яндексом (це офіційна рекомендація Платона Щукіна).

У випадку паркування на один сайт декількох доменних імен, вони теж є дзеркалами і для правильного склеювання рекомендується використовувати абсолютні посилання для внутрішньої навігації.