User-agent: * Disallow: /demo/ Disallow: /404.html Disallow: /401.html Disallow: /403.html