เครื่องมือสร้าง Robots.txt
สร้างไฟล์ robots.txt ที่ถูกต้องด้วยตัวสร้างกฎแบบภาพ — กำหนดกฎอนุญาต/บล็อกสำหรับแต่ละครอว์เลอร์ เพิ่ม Sitemap และ Crawl-delay แล้วคัดลอกหรือดาวน์โหลด
🔒 ประมวลผลในเบราว์เซอร์ของคุณ
Loading…
วิธีใช้งาน
- เลือกพรีเซ็ตเริ่มต้นด่วน — "อนุญาตทั้งหมด" ให้ครอว์เลอร์ทุกตัวจัดทำดัชนีทั้งไซต์ของคุณ "บล็อกทั้งหมด" บล็อกครอว์เลอร์ทุกตัวโดยสมบูรณ์ หรือเริ่มด้วย "กำหนดเอง" เพื่อสร้างกฎของคุณเอง
- สำหรับแต่ละกลุ่มกฎ ให้ตั้งค่า User-agent (ใช้ * สำหรับครอว์เลอร์ทั้งหมด หรือชื่อบอทเฉพาะ เช่น Googlebot) และเพิ่มกฎอนุญาตหรือบล็อกสำหรับเส้นทางที่คุณต้องการ
- ตั้งค่า Crawl-delay ต่อกลุ่มได้ตามต้องการ และเพิ่ม URL ของ Sitemap — ทั้งสองอย่างจะถูกเพิ่มลงในไฟล์ที่สร้างขึ้นโดยอัตโนมัติ
- คัดลอก robots.txt ที่สร้างขึ้นจากกล่องแสดงตัวอย่าง หรือดาวน์โหลดโดยตรง — จากนั้นอัปโหลดไปยังรากโดเมนของคุณ (เช่น https://example.com/robots.txt)
คุณสมบัติ
- พรีเซ็ตคลิกเดียว "อนุญาตทั้งหมด" และ "บล็อกทั้งหมด" สำหรับกรณีที่พบบ่อยที่สุด
- ตัวสร้างกฎแบบภาพ — เพิ่มหรือลบกลุ่ม User-agent และกฎอนุญาต/บล็อกโดยไม่ต้องเขียนไวยากรณ์เอง
- ฟิลด์ Crawl-delay ต่อกลุ่มและ URL ของ Sitemap ที่ไม่บังคับ
- ผลลัพธ์ที่สร้างแบบเรียลไทม์ อัปเดตทันทีเมื่อคุณแก้ไขกฎ
- ประมวลผล 100% ในเบราว์เซอร์ — กฎของคุณจะไม่ถูกส่งออกไปไหน
คำถามที่พบบ่อย
ควรวางไฟล์ robots.txt ไว้ที่ไหน?
อัปโหลดไปยังรากโดเมนของคุณ เพื่อให้เข้าถึงได้ที่ https://yourdomain.com/robots.txt เครื่องมือค้นหาจะมองหาไฟล์นี้เฉพาะตำแหน่งนี้เท่านั้น
robots.txt ช่วยบล็อกเครื่องมือค้นหาไม่ให้รวบรวมข้อมูลไซต์ของฉันได้จริงหรือไม่?
มันเป็นเพียงคำขอ ไม่ใช่การบังคับ ครอว์เลอร์ที่มีมารยาทดีอย่าง Googlebot จะปฏิบัติตาม แต่ไม่มีอะไรหยุดบอทที่มุ่งร้ายหรือมีพฤติกรรมไม่ดีจากการเพิกเฉยต่อมันได้อย่างสิ้นเชิง อย่าพึ่งพามันเพื่อซ่อนเนื้อหาที่ละเอียดอ่อน
ฟิลด์ User-agent หมายถึงอะไร?
ระบุว่ากลุ่มกฎนั้นใช้กับครอว์เลอร์ตัวไหน ใช้ * เพื่อให้ตรงกับครอว์เลอร์ทั้งหมด หรือใส่ชื่อบอทเฉพาะ (เช่น Googlebot หรือ Bingbot) เพื่อกำหนดกฎที่ต่างจากตัวอื่น
จำเป็นต้องมีบรรทัด Sitemap หรือไม่?
ไม่บังคับแต่แนะนำให้ใส่ — มันช่วยชี้ทางให้ครอว์เลอร์ไปยัง sitemap.xml ของคุณ เพื่อให้ค้นพบหน้าเว็บของคุณได้อย่างมีประสิทธิภาพมากขึ้น หากยังไม่มีก็เว้นฟิลด์นี้ว่างไว้ได้
เครื่องมือค้นหาทุกตัวเคารพ Crawl-delay หรือไม่?
ไม่ ครอว์เลอร์บางตัว (เช่น Bing) รองรับ แต่บางตัวไม่สนใจ (Google ไม่เคารพค่านี้ใน robots.txt อีกต่อไป) ใช้ Google Search Console แทนเพื่อควบคุมอัตราการรวบรวมข้อมูลของ Google