มาทำความรู้จัก Robots.txt กันดีกว่า 1

มาทำความรู้จัก Robots.txt กันดีกว่า

วันนี้เรามารู้จักไฟล์ robots.txt กันหน่อยดีกว่านะครับ ไฟล์นี้จะทำหน้าที่ในการอนุญาต หรือไม่อนุญาตให้ บอทหรือโปรแกรมเก็บข้อมูลของ Search Engine เช่น Google, Yahoo เข้ามาเก็บข้อมูลในเว็บไซต์ของเรา โดยเราสามารถที่จะทำการระบุประเภทของบอทที่เราต้องการให้เข้ามาหรือไม่เข้ามา และสามารถระบุได้ว่า ไฟล์หรือหน้าไหนจะให้บอทเก็บออกไป

ยกตัวอย่างเช่น

 

คำสั่งด้านบนนี้จะเป็นการไม่อนุญาติให้บอททุกประเภททำการเก็บข้อมูลในหน้าเว็บไซต์ของเราเลย
และถ้าเราต้องการให้อนุญาตทุกหน้าละจะทำอย่างไร ทำแบบนี้ครับ

 

และหากเราไม่ต้องการให้เก็บเพียงบางหน้าก็ใช้วิธีนี้ครับ

 

บอทก็จะไม่ทำการเก็บในหน้า cgi-bin, tmp และ joe ครับ

หากเราไม่ต้องการให้บอทบางตัวมาเก็บเช่น Badbot มาเก็บข้อมูลในเว็บเราก็ใช้วิธีแบบนี้

 

และถ้าต้องการให้ Google เท่านั้นที่เก็บข้อมูล ส่วนบอทอื่นไม่ต้องการก็ให้เขียนแบบนี้ครับ

 

สุดท้ายในกรณีที่เราไม่ต้องการอนุญาติให้เฉพาะบางไฟล์ก็ให้เขียนแบบด้านล่างนี้

 

 

ที่มา About /robots.txt

บทความนี้มีประโยชน์สำหรับคุณหรือไม่?

ให้คะแนนบทความนี้

คะแนนเฉลี่ย / 5. จำนวนโหวต:

As you found this post useful...

Follow us on social media!

นายปิ๊ก


ผู้ก่อตั้งเว็บไซต์ Themevilles.com เป็นอาจารย์สอน WordPress และ WooCommerce ในเว็บคอร์สออนไลน์ Skilllane และรับทำเว็บไซต์ ทำการตลาดออนไลน์ เช่น SEO, Facebook และ LINE


Shares
สมัครสมาชิกเพื่อรับข้อมูลข่าวสาร
Get the latest content first.
Read about Privacy Policy.