robots_txt1 구글 블로그에 robots.txt 등록하는 법 개요먼저 robots.txt가 무엇이고 왜 필요한지를 간략하게 알 필요가 있습니다. 왜냐하면 그래야 원리가 이해가 되고 응용이 가능하기 때문입니다. 무턱대고 여기저기서 찾은 정보대로 따라하기만 하면, 결국에는 아주 간단한 문제조차 스스로 해결할 수 없게 되기 때문입니다. robots.txt는 무엇인가?이것은 자기 웹/앱 사이트를 방문하는 로봇(검색로봇 등)들과 서로 대화를 통해 그 방문 로봇들을 제어하기 위한 것입니다. 그것들에게 "여기는 색인하면 안된다" 라든가 "여기는 중요한 곳이니 SEO에 맞게 더 신경써서 색인해달라"와 같은 차단이나 요청 등의 일을 합니다. 그러나 robots.txt는 통신 수단일 뿐 강제 수단이 아닙니다. 그러다 보니 이런 요청을 무시하는 '악성 봇'들의 나쁜 행위들을 막아주.. 2024. 9. 15. 이전 1 다음
