크롤러: 호스팅 서버에 연결할 수 없음 문제 해결 방법

크롤러 오류 해결을 위한 단계별 가이드

애드센스의 '크롤러: 호스팅 서버에 연결할 수 없음' 오류는 주로 사이트가 구글 크롤러의 접근을 차단하거나 크롤러가 필요한 정보를 불러오지 못할 때 발생합니다.

아래 단계에 따라 문제를 해결해 보세요.

---

목차

• 1. 오류 원인 확인하기
• 2. 사이트 설정 점검하기
• 3. robots.txt 파일 설정하기
• 4. Google Search Console(구글 서치콘솔) 연동하기
• 5. DNS 및 SSL 설정 확인하기
• 6. 캐시 및 플러그인 점검하기
• 7. 오류 해결 후 검증하기

---

1. 오류 원인 확인하기

'호스팅 서버에 연결할 수 없음' 오류는 여러 가지 원인으로 발생할 수 있습니다.

아래 내용을 통해 문제의 가능성을 확인해 보세요.

• 서버 다운타임 : 서버가 일시적으로 응답하지 않을 때 발생합니다.
• 구글 크롤러 차단 : robots.txt 파일에서 구글 크롤러 접근을 막고 있지 않은지 확인합니다.
• 보안 설정 : 방화벽, SSL 인증서 문제 등도 원인이 될 수 있습니다.

반응형

---

2. 사이트 설정 점검하기

• 호스팅 설정 : 사이트의 호스팅 설정을 확인하여 서버가 정상적으로 작동 중인지 확인하세요.
• HTTPS로 리다이렉션 : SSL을 사용 중이라면 사이트가 https://로 정상 연결되는지 확인합니다.

728x90

---

3. robots.txt 파일 설정하기

• 구글봇 허용 : 사이트의 robot.txt 파일에서 구글 애드센스 크롤러(Mediapartners-Google)가 사이트에 접근할 수 있도록 설정해야 합니다.
• 설정 방법 :

User-agent : Mediapartners-Google Allow: /

• robots.txt 파일이 티스토리 설정상 자동으로 조정되지 않는다면, 사용자 정의가 필요한 경우 고객센터에 문의할 수 있습니다.

300x250

---

4. Google search Console(구글 서치콘솔) 연동하기

• 구글 서치 콘솔에 사이트를 등록하고, 오류가 발생한 URL을 확인합니다.
• 크롤링 오류 재요청 : 문제가 해결된 후 '크롤링 요청' 기능을 통해 다시 크롤링을 요청합니다.

---

5. DNS 및 SSL 설정 확인하기

• DNS 설정 : 도메인 호스팅 사이트에서 A 레코드와 CNAME 레코드가 올바르게 설정되었는지 확인하세요.
• SSL 인증서 : HTTPS를 사용하는 경우, 인증서가 올바르게 설치되었는지 확인합니다.

---

6. 캐시 및 플러그인 점검하기

• 캐시 초기화 : 서버나 티스토리의 캐시 기능을 비활성화하거나 초기화하여 문제 발생 가능성을 줄일 수 있습니다.
• 보안 플러그인 확인 : 구글 크롤러 접근을 차단할 수 있는 플러그인이 있는지 확인하고 설정을 변경하세요.

---

7. 오류 해결 후 검증하기

• 모든 단계를 완료한 후, Google Search Console과 애드센스 페이지에서 오류가 해결되었는지 확인합니다.
• 여전히 문제가 지속되면 구글 지원팀에 문의해 추가적인 도움을 받을 수 있습니다.