어플리케이션 보안정보보안기사 · 2023년03월11일 · 54/100
54.검색엔진에서 자동으로 사이트를 수집 및 등록하기 위해서는 사용하는 크롤러(Crawler)로부터 사이트를 제어하기 위해서 사용하는 파일은?
1
crawler.txt
2
access.conf
3
httpd.conf
4
robots.txt정답
해설
robots.txt는 웹사이트 관리자가 검색 엔진 로봇에게 웹 페이지의 접근 규칙을 지정하기 위해 사용하는 텍스트 파일입니다. 이 파일은 웹 서버의 루트 디렉토리에 위치하며, 검색 엔진 로봇이 웹 페이지를 크롤링할 때 해당 파일을 확인하여 어떤 페이지를 크롤링할 수 있는지에 대한 지침을 제공