robots.txt 파일 설명 및 사용 예제

robots.txt 파일은 웹사이트의 검색 엔진 로봇(크롤러)에게 어떤 페이지를 방문해도 되는지, 어떤 페이지는 방문하지 말아야 하는지를 알려주는 가이드라인 파일입니다. 마치 집 앞에 붙인 "이 방은 들어오지 마세요" 안내문과 같습니다. 아래는 www.bookdu.net에 적용된 robots.txt 파일의 설명과 예제입니다.

robots.txt의 중요성

• 서버 부하 감소: 불필요한 크롤링을 막아 서버 과부하를 줄입니다.
• 원치 않는 페이지 노출 방지: 관리자 페이지, 개인 정보 페이지 등을 검색 결과에서 제외합니다.
• 크롤링 예산 효율화: 중요한 페이지가 더 자주 크롤링되도록 유도합니다.

robots.txt의 기본 구조와 문법

robots.txt 파일은 웹사이트의 루트 디렉토리(www.bookdu.net/robots.txt)에 위치해야 합니다. 주요 지시어는 다음과 같습니다:

• User-agent: 어떤 크롤러에게 지시를 내릴지 지정 (예: *는 모든 크롤러, Googlebot은 구글 크롤러).
• Disallow: 크롤러가 방문하지 말아야 할 경로 지정 (예: /admin/).

www.bookdu.net의 robots.txt 예제

아래는 www.bookdu.net에 적용된 robots.txt 파일의 예제입니다:

User-agent: *
Disallow: /AD/
Disallow: /test/

User-agent: HTTrack
Disallow: /

Sitemap: https://www.bookdu.net/sitemap.xml

설명:

• User-agent: *: 모든 검색 엔진 크롤러에게 적용.
• Disallow: /AD/: /AD/ 폴더 및 하위 콘텐츠 크롤링 금지.
• Disallow: /test/: /test/ 폴더 및 하위 콘텐츠 크롤링 금지.
• User-agent: HTTrack: HTTrack 소프트웨어에 대해 사이트 전체(/) 크롤링 금지.
• Sitemap: 검색 엔진이 사이트맵을 쉽게 찾도록 https://www.bookdu.net/sitemap.xml 지정.

작성 시 주의사항

• 대소문자 구분: 파일 이름과 경로는 대소문자를 정확히 맞춰야 합니다.
• 색인 방지: 크롤링 방지와 색인 방지는 다릅니다. 색인을 완전히 막으려면 <meta name="robots" content="noindex"> 사용.
• 과도한 차단 주의: 중요한 콘텐츠를 차단하면 검색 순위에 악영향을 줄 수 있습니다.

추가 예제: 특정 파일 형식 차단

PDF 파일 차단 예제:

User-agent: *
Disallow: /*.pdf$