Trình Tạo Robots.txt
Tạo tệp robots.txt hợp lệ bằng trình xây dựng quy tắc trực quan — đặt quy tắc cho phép/chặn theo từng trình thu thập dữ liệu, thêm sitemap và crawl-delay, rồi sao chép hoặc tải xuống.
🔒 Xử lý cục bộ ngay trên trình duyệt của bạn
Loading…
Cách sử dụng
- Chọn một mẫu bắt đầu nhanh — "Cho phép tất cả" để mọi trình thu thập dữ liệu lập chỉ mục toàn bộ trang web của bạn, "Chặn tất cả" chặn hoàn toàn mọi trình thu thập dữ liệu, hoặc bắt đầu với "Tùy chỉnh" để tự xây dựng quy tắc riêng.
- Với mỗi nhóm quy tắc, đặt user-agent (dùng * cho mọi trình thu thập dữ liệu, hoặc tên bot cụ thể như Googlebot) và thêm quy tắc Cho phép hoặc Chặn cho các đường dẫn bạn muốn nhắm đến.
- Bạn có thể đặt Crawl-delay cho từng nhóm và thêm URL Sitemap — cả hai đều được tự động thêm vào tệp được tạo.
- Sao chép robots.txt đã tạo từ khung xem trước, hoặc tải xuống trực tiếp — sau đó tải lên thư mục gốc của tên miền của bạn (ví dụ https://example.com/robots.txt).
Tính năng
- Mẫu "Cho phép tất cả" và "Chặn tất cả" chỉ với một cú nhấp cho các trường hợp phổ biến nhất
- Trình xây dựng quy tắc trực quan — thêm hoặc xóa nhóm user-agent và quy tắc Cho phép/Chặn mà không cần tự viết cú pháp
- Crawl-delay tùy chọn cho từng nhóm và trường URL Sitemap
- Kết quả được tạo trực tiếp, cập nhật ngay khi bạn chỉnh sửa quy tắc
- Xử lý 100% trên trình duyệt — quy tắc của bạn không bao giờ rời khỏi trình duyệt
Câu hỏi thường gặp
Tôi nên đặt tệp robots.txt ở đâu?
Tải lên thư mục gốc của tên miền để có thể truy cập tại https://tenmiencuaban.com/robots.txt. Công cụ tìm kiếm chỉ tìm tệp này ở đúng vị trí đó.
robots.txt có thực sự ngăn công cụ tìm kiếm thu thập dữ liệu trang web của tôi không?
Đây là một yêu cầu, không phải sự bắt buộc. Các trình thu thập dữ liệu tuân thủ tốt như Googlebot sẽ tôn trọng nó, nhưng không gì ngăn được một bot độc hại hoặc hoạt động sai lệch hoàn toàn bỏ qua nó. Đừng dựa vào nó để ẩn nội dung nhạy cảm.
Trường User-agent có ý nghĩa gì?
Nó xác định nhóm quy tắc áp dụng cho trình thu thập dữ liệu nào. Dùng * để khớp với mọi trình thu thập dữ liệu, hoặc tên bot cụ thể (như Googlebot hoặc Bingbot) để đặt quy tắc khác cho bot đó.
Tôi có cần dòng Sitemap không?
Đây là tùy chọn nhưng nên có — nó chỉ cho trình thu thập dữ liệu biết sitemap.xml của bạn để chúng khám phá trang của bạn hiệu quả hơn. Để trống nếu bạn chưa có sitemap.
Crawl-delay có được mọi công cụ tìm kiếm tôn trọng không?
Không. Một số trình thu thập dữ liệu (như Bing) hỗ trợ nó, nhưng những trình khác lại bỏ qua (Google không còn tôn trọng nó trong robots.txt nữa). Hãy dùng Google Search Console để kiểm soát tốc độ thu thập dữ liệu của Google.