# すべての検索エンジンで特定のファイル形式を拒否 User-agent: * Disallow: / # Yahoo (検索頻度の指定:分) User-agent: Slurp Crawl-delay: 60 Disallow: / # Google (検索頻度の指定:なし) User-agent: Googlebot Disallow: / # Microsoft (検索頻度の指定:秒) User-agent: msnbot Crawl-delay: 3600 Disallow: /