User-agent: * # alle Roboter Disallow: # ohne Slash erlaubt man den Robotern alle Seiten zu durchsuchen