Всем привет. Решил создать robots.txt для своего сайта. Так вот у меня в корневой сайта был файл shop.xml я его удалил и удалил как видите из txt. Вот вопрос облегчил я роботу его дело? Если чего не так поправьте пожалуйста.
Код
User-agent : *
Disallow: /a/
Disallow : /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /mchat
Disallow: /search
Disallow: /shop/order/
Disallow: /?ssid=
Sitemap: http://www.astra-soft.ru/sitemap.xml
Sitemap: http://www.astra-soft.ru/sitemap-forum.xml
Добавлено (10.01.2013, 16:35)
---------------------------------------------
Да и как запретить индексацию при помощи "noindex" "/noindex" или ещё есть способы?
Добавлено (10.01.2013, 16:36)
---------------------------------------------
И ещё влияют ссылки на на другие источники (индексация), например каталог сайтов.
