ROBOTS.txt

 ตัวอย่าง robots.txt

1. ถ้าไม่ต้องการให้ robots ทุกชนิด มา index ข้อมูลภายในเว็บไซต์ของเราทั้งหมด โดยไม่ปรากฎการค้นหาใน Search ดังนี้
   # robots.txt for http://www.example.com/
   User-agent: *
   Disallow: /
2. ถ้าอนุญาติให้ robots ที่สามารถระบุชื่อ(บางชนิด) เข้ามาเก็บข้อมูลในเว็บไซต์เราโดยใช้คำสั่งดังตัวอย่างต่อไปนี้
   User-agent: Googlebot
   User-agent: msnbot
   Disallow:
3. ถ้าไม่ต้องการให้ robots เข้ามา index บ้างไฟล์ หรือ บางโฟร์เดอร์ ซึ่งบางครั้งใช้สำหรับป้องกัน File Admin
   User-agent:*
   Disallow: /admin
   Disallow: /cgi-bin

ทั้งนี้ท่านสามารถเข้าใช้เครื่องมาของ Google ,Yahoo หรือ Msn ในส่วนของ Webmaster Tool เพื่อใช้งานในส่วนนี้ได้อย่างเต็มรูปแบบ