User-agent: * #Запрет индексации папок cgi, images, admin для всех поисковиков
Disallow: /cgi/
Disallow: /images/
Disallow: /i/
Disallow: /admin/