Robots.txt 파일을 만드는 방법: 2025년을 위한 단계별 가이드
작은 SEO 도구로 Robots.txt를 마침내 제대로 설정하는 방법
솔직히 말해서, 파일 생성은 robots.txt처음에는 꽤 간단해 보입니다.하지만 실제로는 처음에 여러 가지 문제에 부딪혔습니다.검색 엔진이 내 콘텐츠를 크롤링하는 방식을 제어하는 데 정말 큰 영향을 줄 수 있는 아주 작은 파일 중 하나입니다.잘못하면 페이지가 색인되지 않거나, 최악의 경우 봇으로 서버가 마비될 수도 있습니다.그래서 복잡한 코딩 없이도 이 작업을 할 수 있는 방법을 찾아냈지만, 이 도구의 UI는 주의 깊게 살펴보지 않으면 약간 혼란스러울 수 있습니다.
1단계: 소규모 SEO 도구 로봇 생성기를 사용하세요
먼저, 평소에 사용하는 브라우저를 엽니다. Chrome, Firefox, Edge 등 어떤 브라우저를 사용하든 상관없습니다.저처럼 이미 탭이 천 개는 열려 있을 테니, 이 글은 그중 하나일 뿐입니다.Small SEO Tools의 Robots.txt Generator를 방문해 보세요.솔직히 좀 묻혀 있는 느낌이 듭니다.사이트의 모든 정보가 바로 보이는 건 아니죠.가끔은 메뉴를 뒤지거나 다른 도구 페이지를 스크롤해야 찾을 수 있을 정도입니다.가장 중요한 건요? Robots.txt Generator 링크를 찾는 것 입니다.제 구형 ASUS 노트북에서는 SEO Tools 아래에 있었고, 다른 컴퓨터에서는 tutorials 아래에 있었습니다.자주 방문할 계획이라면 이 기능을 북마크해 두는 것이 좋습니다.
2단계: 설정 변경 – 기본 또는 사용자 지정
일단 거기 도착하면 옵션이 표시됩니다.기본값을 그대로 사용하거나(매력적일 수 있지만) 세부적인 설정을 변경하여 맞춤 설정할 수 있습니다.저는 보통 a로 설정하는 것을 추천합니다.crawl delay믿기 어려울지 모르지만 검색 엔진이 너무 적극적으로 크롤링하면 서버에 과부하가 걸릴 수 있기 때문입니다.속도가 느린 공유 호스트에서는 약 a로 설정했습니다 10 seconds.하지만 솔직히 호스팅 설정에 따라 다릅니다.로그에 스팸이 급증하는 것으로 나타나면 이 설정을 조정하면 큰 도움이 될 수 있습니다.저는 5몇 초 동안 시도해 봤는데 효과가 있었지만, 모든 것을 불필요하게 느리게 만들고 싶지 않다면 10또는 그 이상으로 시작한 다음 나중에 서버 반응 속도에 따라 조정하는 것이 좋습니다.
3단계: 사이트맵 URL 입력
이 부분이 예상보다 훨씬 더 실수했습니다.정확한 사이트맵 URL(예:.)을 입력해야 합니다 https://yourdomain.com/sitemap.xml.이렇게 입력하면 검색 엔진이 페이지를 더 빠르고 완벽하게 찾는 데 도움이 됩니다.오타가 있는지 다시 한번 확인하세요.여기에 URL을 여러 번 잘못 입력했는데, 특히 슬래시를 빼먹거나 도메인을 잘못 입력한 경우가 많았습니다.사이트가 커서 사이트맵 색인이 있는 경우, 색인도 포함하세요. WordPress나 Shopify 같은 CMS를 사용하는 경우 사이트맵이 다른 위치에 있을 수 있으므로 먼저 확인해 보세요.
4단계: 타겟으로 삼을 검색 엔진(또는 봇) 선택
흥미로운 부분이 바로 여기입니다. Google, Bing, Yahoo, DuckDuckGo, 그리고 Google 이미지 검색, 그리고 Baidu처럼 덜 알려진 검색 엔진도 체크박스에 포함되어 있습니다.기본적으로 Google과 Bing이 포함되어 있습니다.실제로 모든 검색 엔진을 타겟팅해야 할까요? 타겟 고객에 따라 다릅니다.적어도 아직 사이트 크롤링을 원하지 않는다면 체크를 해제하세요.이 설정은 봇의 접근 권한을 제어합니다.따라서 지금 Bing을 차단하면 크롤링이 중단됩니다.주의하세요.궁극적으로 모든 검색 엔진을 노출하는 것이 목표라면 모든 검색 엔진을 차단하지 마세요.
5단계: 파일 생성 및 업로드
“만들기” 또는 “생성” 버튼(무슨 버튼이든 상관없음)을 누르면 작은 텍스트 파일이 생성됩니다 robots.txt.이 파일을 웹사이트 루트 디렉터리에 업로드해야 합니다.처음에 제가 계속 실수를 했던 부분이 바로 여기입니다.잘못된 폴더에 업로드하는 것이었죠.일반적으로 호스트에 따라 /public_html/또는 같은 루트 폴더에 업로드됩니다 /www/.확실하지 않으면 https://yourdomain.com/robots.txt업로드 후 브라우저에서 해당 위치로 이동해 보세요.내용이 표시되면 문제없습니다.404 오류가 발생하면 다른 곳에 업로드한 것입니다.특히 호스트에 여러 폴더가 있거나 사용자 지정 설정을 사용하는 경우 이런 실수가 흔합니다.
간단한 팁:
웹사이트 루트 폴더에 파일을 업로드했는지 항상 다시 한번 확인하세요.실수로 아무도 볼 수 없는 하위 폴더에 파일을 넣기 쉽습니다.또한, 사이트의 캐시나 CDN을 사용 중이라면 삭제하세요.이전 버전이 남아서 새 robots.txt 파일이 바로 표시되지 않는 경우가 있습니다.
최종 조언 및 마무리
이 모든 과정이 처음에는 어려울 수 있지만, 익숙해지면 파일이 올바른 위치에 있고 올바른 규칙을 적용하고 있는지 확인하는 것만 남습니다.제대로 설정하면 검색 엔진 크롤링 오류, 크롤링 예산 낭비, 서버 과부하를 방지할 수 있습니다.대부분의 소규모 사이트에서는 and, either, or와 robots.txt같은 간단한 명령어를 사용하면 완벽하게 작동합니다.여기서 설정하는 규칙은 Google이나 Bing에서 사이트를 인식하는 방식에 영향을 미치므로, 규칙을 엄격하고 정확하게 유지하는 것이 중요합니다.User-agent: *Disallow:Allow:
전반적으로, robots.txtSmall SEO Tools를 사용하여 파일을 생성하는 것은 차단하거나 허용할 내용을 파악하면 매우 빠릅니다.특히 특정 페이지를 비공개로 유지하거나 중복 콘텐츠 문제를 방지하려는 경우, 얼마나 큰 차이가 나는지 놀랍습니다.설정 후에는 항상 직접 방문하여 https://yourdomain.com/robots.txt콘텐츠를 확인합니다.또한 Google Search Console이나 Bing 웹마스터 도구를 통해 robots.txt 파일을 제출하고, 크롤링 오류나 차단된 URL을 주의 깊게 살펴보는 것도 좋습니다.문제가 있는 경우 이를 통해 알 수 있습니다.
도움이 되길 바랍니다.이 문제를 파악하는 데 너무 오랜 시간이 걸렸습니다.시간을 들여 업로드 위치를 다시 한번 확인하고, 필요하다면 지속적인 수정 작업으로 생각하세요.제 말을 믿으세요.제대로 하려면 그만큼의 가치가 있습니다.행운을 빕니다.업로드 후에는 모든 것을 테스트하는 것을 잊지 마세요.호스팅이나 CDN이 이전 버전을 캐싱해서 잘못된 보안 감각을 심어줄 수 있습니다.
이 글이 도움이 되었나요?