########
# (1) 全てのロボットを拒否する
########
 
User-agent: *
Disallow: /
 
########
# (2) (1)において、特定のロボットを許可する
########
 
User-agent: Googlebot
Disallow:

User-agent: Mediapartners-Google*
Disallow:

User-agent: Slurp
Disallow:

User-agent: msnbot
Disallow:

User-agent: Teoma
Disallow:

########
# (4) その他、固有の設定
########
 
User-agent: Hatena Antenna
Disallow:
 
User-agent: LinkWalker
Disallow: /
 
User-agent: ConveraCrawler
Disallow: /
 
User-agent: psbot
Disallow: /