Магазин
Правила Ответы на вопросы Конфиденциальность
Магазин
Правила Ответы на вопросы Конфиденциальность
  • Быстрые действия Ярлыки
    Общие действия
    Связаться с администрацией
    • Бот

       

Вопросы, ответы и примеры решений

  • Список форумов
  • ppkBB3cker
  • Вопросы, ответы и примеры решений

Запреты в robots.txt бесполезны

4 сообщения
 • Страница 1 из 1
Просмотры: 543 • 
dmitrogen
Донатор
Сообщения: 48
Зарегистрирован: 27 авг 2012, 23:03
Сообщение 28 мар 2013, 17:46
Заметил одну вещь, не все страницы закрываются в robots.txt, например:

Код: Выделить всё

/portal.php?mode=portal&tp=* 
/viewtopic.php?p=*
/viewtopic.php?f=*&t=*&opt=*
Как я это узнал ? Сейчас извлекаю url сайта c анкором через программу и никакой реакции на запрет страниц выше.
Все остальные запреты читает и не индексирует, Яндекс и Гугл тоже не слушается, пришлось убрать панельку "Торрент", т.к. /viewtopic.php?f=*&t=*&opt=* не работает.
Может я чего не правильно делаю, или глюк, или баг ?
dmitrogen
Аватара пользователя
stepan83
VIP
Сообщения: 248
Зарегистрирован: 02 ноя 2011, 21:18
Сообщение 28 мар 2013, 21:18
Как долго стоит данное правило в robots.txt ? У меня поисковики не индексируют запреты.
stepan83
Аватара пользователя
PPK
Администратор
Сообщения: 10514
Зарегистрирован: 21 мар 2009, 17:13
Сообщение 29 мар 2013, 16:25
dmitrogen писал(а):/viewtopic.php?p=*
на этом форуме (к примеру) работает
dmitrogen писал(а):/portal.php?mode=portal&tp=*
это отключает индексирование всех страниц новинок трекера
dmitrogen писал(а):/viewtopic.php?f=*&t=*&opt=*
это вообще зачем?, там в панели нет ссылок или боты через rel уже переходят?
dmitrogen писал(а):Может я чего не правильно делаю, или глюк, или баг ?
баг или глюк чего? :unknown:
PPK
dmitrogen
Донатор
Сообщения: 48
Зарегистрирован: 27 авг 2012, 23:03
Сообщение 29 мар 2013, 21:56
stepan83 писал(а):Как долго стоит данное правило в robots.txt ? У меня поисковики не индексируют запреты.
не помню когда это было, зимой наверно...задал правила в роботс Disallow: /viewtopic.php?f=*&t=*&opt=* и ещё что-то, через несколько дней Google загрузил роботс, делаю свежие топики, через день смотрю выдачу в Гугле и вижу что новые топики опять с мусором, который был запрещён в роботс
PPK писал(а):это вообще зачем?, там в панели нет ссылок или боты через rel уже переходят?
видимо да, 110000 страниц с "opt" в Гугле и 7000 было в Яндексе
PPK писал(а):баг или глюк чего?
незнаю..
Последний раз редактировалось dmitrogen 29 мар 2013, 21:58, всего редактировалось 1 раз.
dmitrogen
4 сообщения
 • Страница 1 из 1

Вернуться в «Вопросы, ответы и примеры решений»

Time: 0.000s | Queries: 0 | Peak Memory Usage: 0.00 МБ | GZIP: Unknown | SQL Explain
  • Список форумов
2018, made with by ThemeKita Создано на основе phpBB® Forum Software © phpBB Limited Русская поддержка phpBB (C) 2009-2025 @ PPK
  • Часовой пояс: UTC+04:00
Участники темы
Список форумов Участники темы
Перейти
Сайт ↳   Новости по сайту ↳   Новости обновлений ↳   Вопросы по сайту ↳   Non-russian speakers forum phpBB 3.1-3.3 ↳   Вопросы по phpBB 3.1-3.3 ↳   Расширения для phpBB 3.1-3.3 ↳   Условно-бесплатные расширения ↳   Платные расширения ↳   Расширения для подписчиков ↳   Расширения в разработке ↳   База расширений ↳   Стили для phpBB 3.1-3.3 ↳   Переводы расширений для phpBB3.1-3.3 ↳   Поиск и запросы расширений ↳   Запросы расширений, функционала и переводов для подписчиков ppkBB3cker ↳   Новости по трекеру и обновлениям ↳   Ошибки, проблемы, недочёты ↳   Предложения по новым функциям и возможностям ↳   Вопросы, ответы и примеры решений ↳   Моды и стили для трекера ↳   Готовые стили для трекера ↳   Запросы стилей для трекера ↳   Стили в разработке ↳   Готовые моды для трекера ↳   Запросы модов для трекера ↳   Моды в разработке ↳   Остальное ↳   F.A.Q. ↳   Ваши трекеры ↳   Оффтопик xbtBB3cker ↳   Новости по трекеру и обновлениям ↳   Вопросы, ответы, ошибки и обсуждение phpBB 3.0 ↳   Другие моды для phpBB3 ↳   Минимоды и хаки для phpBB3 ↳   Вопросы по phpBB3 ↳   phpBB3 ppkBB3cker Edition ↳   Платные услуги, моды, стили ↳   BB2Spoiler/BB3Spoiler ↳   BB3Topics ↳   BB3Sape ↳   BB3UserAgentInfo