Все поисковые роботы при заходе на сайт в первую очередь ищут файл robots.txt. Этот файл запрещает (разрешает) индексирование-посещение поисковыми роботами файлов из указанных в нём директорий.

Содержимое моего robots.txt:

User-agent: * 
Disallow: /manager/
Disallow: /core/
Disallow: /connectors/
Disallow: /index.php
Disallow: *?
Host: aboutcomputers.ru
Sitemap: http://aboutcomputers.ru/sitemap.xml

Если у Вас появились ко мне вопросы по данной статье, задавайте их в комментариях ниже.