Robots.txt 생성기
시각적인 규칙 빌더로 올바른 robots.txt 파일을 만드세요——크롤러별로 허용/차단 규칙을 설정하고 Sitemap과 Crawl-delay를 추가한 뒤 복사하거나 다운로드할 수 있습니다.
🔒 브라우저에서 로컬로 처리됩니다
Loading…
사용 방법
- 빠른 시작 프리셋을 선택하세요 — "모두 허용"은 모든 크롤러가 사이트 전체를 색인하도록 허용하고, "모두 차단"은 모든 크롤러를 완전히 차단합니다. 직접 규칙을 만들려면 "사용자 지정"으로 시작하세요.
- 각 규칙 그룹마다 User-agent를 설정하세요(모든 크롤러에는 *, 특정 봇에는 Googlebot 같은 이름을 사용). 대상으로 삼을 경로에 허용 또는 차단 규칙을 추가하세요.
- 필요하다면 그룹별로 Crawl-delay를 설정하고 Sitemap URL을 추가하세요 — 둘 다 생성된 파일에 자동으로 추가됩니다.
- 미리보기 상자에서 생성된 robots.txt를 복사하거나 바로 다운로드한 뒤, 도메인의 루트에 업로드하세요(예: https://example.com/robots.txt).
기능
- 가장 흔한 경우를 위한 원클릭 "모두 허용", "모두 차단" 프리셋
- 시각적 규칙 빌더 — 문법을 직접 입력하지 않고도 User-agent 그룹과 허용/차단 규칙을 추가하거나 삭제
- 그룹별 선택적인 Crawl-delay와 Sitemap URL 필드
- 규칙을 수정하면 즉시 갱신되는 실시간 생성 결과
- 100% 클라이언트 사이드 — 규칙이 브라우저를 벗어나지 않습니다
자주 묻는 질문
robots.txt 파일은 어디에 두어야 하나요?
도메인의 루트에 업로드해서 https://yourdomain.com/robots.txt 로 접근할 수 있게 하세요. 검색엔진은 정확히 이 위치에서만 파일을 찾습니다.
robots.txt가 정말로 검색엔진의 크롤링을 막아주나요?
이는 요청일 뿐 강제가 아닙니다. Googlebot처럼 규칙을 잘 지키는 크롤러는 따르지만, 악의적이거나 규칙을 지키지 않는 봇이 이를 완전히 무시하는 것을 막을 방법은 없습니다. 민감한 콘텐츠를 숨기는 용도로 의존하지 마세요.
User-agent 필드는 무슨 의미인가요?
해당 규칙 그룹이 어떤 크롤러에 적용되는지를 지정합니다. 모든 크롤러에 적용하려면 *를 사용하고, 특정 봇(Googlebot이나 Bingbot 등)에만 다른 규칙을 적용하려면 그 이름을 사용하세요.
Sitemap 줄이 꼭 필요한가요?
선택 사항이지만 추가하는 것이 좋습니다 — 크롤러가 sitemap.xml을 찾아 페이지를 더 효율적으로 발견하도록 안내합니다. 아직 사이트맵이 없다면 이 필드를 비워두세요.
모든 검색엔진이 Crawl-delay를 지켜주나요?
아니요. Bing 같은 일부 크롤러는 지원하지만 다른 크롤러(Google은 더 이상 robots.txt의 Crawl-delay를 따르지 않습니다)는 무시합니다. Google의 크롤링 속도를 제어하려면 대신 Google Search Console을 사용하세요.