Robots.txt 產生器
使用視覺化規則產生器建立有效的 robots.txt 檔案——為各個爬蟲設定允許／禁止規則，加入 Sitemap 與 Crawl-delay，然後複製或下載。
🔒 在你的瀏覽器本機處理
載入中…
使用方法
- 選擇一個快速開始的預設值——「允許全部」讓所有爬蟲索引整個網站，「封鎖全部」完全封鎖所有爬蟲，或選擇「自訂」自行建立規則。
- 為每個規則群組設定 User-agent（使用 * 代表所有爬蟲，或指定特定機器人名稱，例如 Googlebot），並新增您想要指定路徑的允許或禁止規則。
- 可選擇為每個群組設定 Crawl-delay，並加入您的 Sitemap 網址——兩者都會自動附加到產生的檔案中。
- 從預覽框複製產生的 robots.txt，或直接下載——接著將檔案上傳到您網域的根目錄（例如 https://example.com/robots.txt）。
功能特色
- 一鍵套用「允許全部」與「封鎖全部」預設值，涵蓋最常見的情境
- 視覺化規則產生器——新增或移除 User-agent 群組與允許／禁止規則，無需手動撰寫語法
- 可選的每群組 Crawl-delay 與 Sitemap 網址欄位
- 即時產生的輸出內容，編輯規則時立即更新
- 100% 於用戶端執行——您的規則絕不會離開瀏覽器
常見問題
robots.txt 檔案要放在哪裡？
請上傳到您網域的根目錄，讓它可以透過 https://yourdomain.com/robots.txt 存取。搜尋引擎只會在這個確切位置尋找此檔案。
robots.txt 真的能阻止搜尋引擎抓取我的網站嗎？
這只是一項請求，並非強制執行。像 Googlebot 這類行為良好的爬蟲會遵守它，但惡意或行為不良的機器人完全可以無視它。請勿依賴它來隱藏敏感內容。
User-agent 欄位代表什麼？
它指定該規則群組適用於哪個爬蟲。使用 * 可比對所有爬蟲，或輸入特定機器人名稱（例如 Googlebot 或 Bingbot），讓該爬蟲套用與其他不同的規則。
我需要加入 Sitemap 那一行嗎？
這是選填但建議加入的項目——它能引導爬蟲找到您的 sitemap.xml，讓它們更有效率地發現您的頁面。如果您目前還沒有 Sitemap，可以留空此欄位。
所有搜尋引擎都會遵守 Crawl-delay 嗎？
不會。部分爬蟲（例如 Bing）支援此設定，但其他爬蟲則會忽略（Google 已不再於 robots.txt 中遵守此設定）。若要控制 Google 的抓取速度，請改用 Google Search Console。