Кто знает как правильно закрыть от индексации часть текста. Например на каждой странице сайта используется одно и тоже предложение в виде текста без ссылок.
VM запустится от имени стандартного Хрома, без указания принадлежности какому-либо боту. Есть вариант проверять UA при формировании контента (на уровне PHP или прочего) и не отдавать определённым ботам часть контента совсем.
2 варианта: 1 вариант - это нормальный текст, но вы опасаетесь по поводу продвижения. В этом случае, думаю, не стОит заморачиваться - нынче это не сильно влияет на продвижение, лучше думать о ПФ. 2 вариант - текст опасный и надо, чтобы он был на сайте, но точно не был в поисковой выдаче. В этом случае можно применить технологию AJAX и выводить на сайте информацию, находящуюся в директории, защищённой от поисковиков записью в robots.txt. Так можно вставлять в страницу всякую рекламу. Проверено - точно не попадает в поисковую выдачу.
я к примеру использовал плагин affiliate links который маскирует внешние ссылки под внутренние. Так я для страховки эти внутренние ссылки закрыл в роботс. Из примерно 300 ссылок, гугл ысе таки 100 прлиндексировал. Часть самостоятельно на свое усмотрение, а часть с других сайтов, которые у меня украли контент вместе ссылками и поэтому боты гугла их прошли тоже.
Я делаю так: - в php чекаю UA и IP, определяю принадлежность бота, - на основании этих знаний принимаю решение, что выводить на странице, показывать ли рекламный код и т.п.
Немного похоже на клоакинг, но за 9 лет не было ни одной претензии у поисковиков.
Не уверен, что готов поделиться библиотекой, но основная технология такова:
- на уровне NGINX определяю принадлежность IP к подсети той или иной поисковой системы, передаю в PHP,
- в PHP смотрю какой в UA указан бот, если он из правильной подсети (а не маскируется под другого бота), то регистрирую его в переменной,
- когда формирую код, смотрю, кто ко мне пришёл - бот, не бот и какой бот, и выдаю соответствующий посетителю контент.
<pre>
var useragent = (/Bot|bot/i.test(navigator.userAgent.toLowerCase()));
if (!useragent) {
// ваш код
document.write("Привет Мир!");
}
</pre>
Есть вариант проверять UA при формировании контента (на уровне PHP или прочего) и не отдавать определённым ботам часть контента совсем.
1 вариант - это нормальный текст, но вы опасаетесь по поводу продвижения. В этом случае, думаю, не стОит заморачиваться - нынче это не сильно влияет на продвижение, лучше думать о ПФ.
2 вариант - текст опасный и надо, чтобы он был на сайте, но точно не был в поисковой выдаче. В этом случае можно применить технологию AJAX и выводить на сайте информацию, находящуюся в директории, защищённой от поисковиков записью в robots.txt. Так можно вставлять в страницу всякую рекламу. Проверено - точно не попадает в поисковую выдачу.
Так что роботс это не панацея!
- в php чекаю UA и IP, определяю принадлежность бота,
- на основании этих знаний принимаю решение, что выводить на странице, показывать ли рекламный код и т.п.
Немного похоже на клоакинг, но за 9 лет не было ни одной претензии у поисковиков.