robots.txt должен находиться в корене сайта.

Запретить индексирование всего сайта для всех роботов

User-agent: *
Disallow: /

Разрешить индексирование всего сайта для всех роботов

User-agent: *
Disallow:

Или просто оставте файл /robots.txt пустым.

Закрыть от индексации несколько каталогов и (или) файлов

User-agent: *
Disallow: /tmp/
Disallow: /dir1/
Disallow: /dir2/
Disallow: /file1.html
Disallow: /file2.html