Код: Выделить всё
/portal.php?mode=portal&tp=*
/viewtopic.php?p=*
/viewtopic.php?f=*&t=*&opt=*
dmitrogen
stepan83
на этом форуме (к примеру) работаетdmitrogen писал(а):/viewtopic.php?p=*
это отключает индексирование всех страниц новинок трекераdmitrogen писал(а):/portal.php?mode=portal&tp=*
это вообще зачем?, там в панели нет ссылок или боты через rel уже переходят?dmitrogen писал(а):/viewtopic.php?f=*&t=*&opt=*
баг или глюк чего?dmitrogen писал(а):Может я чего не правильно делаю, или глюк, или баг ?
PPK
не помню когда это было, зимой наверно...задал правила в роботс Disallow: /viewtopic.php?f=*&t=*&opt=* и ещё что-то, через несколько дней Google загрузил роботс, делаю свежие топики, через день смотрю выдачу в Гугле и вижу что новые топики опять с мусором, который был запрещён в роботсstepan83 писал(а):Как долго стоит данное правило в robots.txt ? У меня поисковики не индексируют запреты.
видимо да, 110000 страниц с "opt" в Гугле и 7000 было в ЯндексеPPK писал(а):это вообще зачем?, там в панели нет ссылок или боты через rel уже переходят?
незнаю..PPK писал(а):баг или глюк чего?
dmitrogen