User-agent: *
Disallow: /cgi-bin # блокирует доступ к страницам начинающимся с '/cgi-bin'
Disallow /awstats # блокировка индексирования awstats
Disallow /pub2
Disallow /pub3
User-agent: Googlebot 
Disallow: /pub2
Disallow: /pub3