Author Topic: Роботы нажимают кнопку  (Read 15166 times)

0 Members and 2 Guests are viewing this topic.

[:|||||||:]

  • Full Member
  • ***
  • Posts: 12
  • я не палочки, я Баян
Роботы нажимают кнопку
« on: March 25, 2010, 05:59:25 AM »
Посидел 5 минут в демо админке и меня вызвал поисковый робот:
ia_archiver (+http://www.alexa.com/site/help/webmasters; crawler@alexa.com)
Вам надо в robots.txt запретить переход по ссылке.
« Last Edit: March 25, 2010, 06:04:42 AM by [:|||||||:] »

Inspirer

  • Mibew Project founder
  • Native
  • *****
  • Posts: 262
    • Mibew Messenger
Re: Роботы нажимают кнопку
« Reply #1 on: March 25, 2010, 08:11:04 PM »
Надо бы в кнопку добавить noindex... в каком-то смысле спасёт. Делать фильтр по роботам не хочется.
Пока проще всего в корень положить следующий файл.

----- /robots.txt
User-Agent: *
Disallow: /webim/
Allow: /