얼마 전에 네이버 카페에 조금 특이한 질문이 올라왔습니다. 카페24에서 호스팅 중인 워드프레스 사이트에서 구글 페이지스피드 인사이트 검사 시 크롤링 및 색인 생성과 관련하여 robots.txt가 유효하지 않음 경고가 표시되는 문제였습니다. Error에는 Unknow directive가 표시되었습니다. robots.txt가 유효하지 않습니다 오류 robots.txt가 유효하지 않음 오류에 대하여 구글의 공식 문서 "robots.txt가 유효하지 않습니다"를 참고할 수 있습니다. 잘못된 robots.txt 구성에 의하여 다음과 같은 두 가지 유형의 문제가 발생할 수 있다고 합니다. 검색엔진이 공개된 페이지를 크롤링하지 못하게 하여 콘텐츠가 검색 결과에 덜 자주 표시되도록 하거나, 검색엔진이 검색 결과에 표시..
