User-agent: *  # Имя посетителя сайта.
Disallow: /cgi-bin # Директории которую желательно  сделать неиндексируемой в поисковых системах