애드센스 크롤러 오류

애드센스 페이지 크롤러 오류

애드센스 접속 시 가끔 알림이 뜨곤 합니다. 이번엔 무심코 지나칠 뻔 했지만, 경고가 떴기 때문에 해당 내용을 살펴보았습니다.

내용은 애드센스 게재 중인 웹 페이지를 애드센스가 읽어오지 못하여 정상적으로 광고가 송출되지 않고 있다는 것이었습니다. 해당 경고 알림을 클릭하여 자세한 내용을 알아보았습니다. (Dismiss 로 무시하는 것도 가능합니다.)

애드센스의 크롤러 오류

‘간단히 설명하면 웹 페이지에 애드센스가 정상적으로 광고를 송출하지 못하는 상태’ 입니다. 구글 애드센스 코드를 삽입한 페이지에 문제가 있거나 그 페이지가 웹사이트에 정상적으로 노출되지 않는 경우를 일컫습니다. 또한, 구글 애드센스 크롤러가 애드센스 코드가 삽입된 페이지에 접근할 수 없을 때 크롤러 오류가 뜬다고 합니다.

애드센스 크롤러 오류 웹페이지 주소 확인

애드센스의 크롤러 오류를 자세히 들여다보면, 애드센스 광고가 정상적으로 송출되고 있지 않은 웹페에지의 URL의 목록을 보여줍니다. CSV 파일 로 내려받을 수 있기 때문에 애플의 넘버스로도 볼 수 있습니다. (Numbers의 Import 기능 사용)

저는 맥용 마이크로소프트 오피스 365를 사용중이기 때문에 다운로드 받은 파일을 바로 열 수 있었습니다.

마이크로소프트 오피스 365. 오피스 2016 설치하기
[How to] 윈도우에서 화면 녹화하기. 마이크로소프트 오피스 2016 파워포인트 화면 녹화 기능.
마이크로소프트 대학생 오피스 365 무료 다운로드. 마이크로소프트 오피스 무료

구글 애드센스에서 내려받은 크롤러 오류가 있는 웹페이지 URL을 살펴보았습니다. 지저분한 URL도 있었고, 그렇지 않은 정확한 포스팅 주소도 있었습니다. 어떤 문제가 있는 페이지인지 알아보기 위하여 동일한 URL을 제외하고 다 접속하여 살펴보았습니다.

다행히 구글 애드센스의 크롤러 오류 페이지는 모두 블로그 운영을 위해 비공개 로 설정해 놓은 게시물 혹은 자료 수집을 위한 개인용 비공개 포스팅의 주소였습니다. 또한, 한 번 포스팅한 후, 삭제한 게시물 및 포스팅의 주소도 있었습니다.

구글 크롤러 애드센스는 열일 을 하고 있었습니다.

광고 송출이 공개적 으로 되지 않거나, 게시물이 삭제되어 더 이상 존재하지 않는 URL만을 콕 집어 검출해낸 것이기 때문에 구글 애드센스의 크롤러가 정상적으로 가브리엘의 선입견 사이트에서 작동하고 있었습니다.

애드센스의 크롤러란 무엇인가?

페이지의 다양한 정보를 ‘긁어오는 것’ 을 크롤러라고 부릅니다. 다양한 데이터를 수집하고 그것을 정제하여 사용하려면 첫 번째의 ‘원자재’ 인 데이터를 ‘수집’ 해야합니다. 이 ‘수집과정’ 을 크롤링 이라고 부르곤 합니다.
구글 애드센스의 크롤러도 이런 기능을 수행합니다. 애드센스는 특정 사이트 방문자의 취향 혹은 사이트와 관련성이 높은 광고를 게재하기 위해 사이트의 컨텐츠를 확인합니다. 구글 애드센스는 이 크롤러를 ‘스파이더’ 혹은 ‘로봇’이라고도 부릅니다.

애드센스 크롤러 특징

구글 애드센스 크롤러는 기본적으로 애드센스 광고 태그를 삽입한 페이지에서만 액세스합니다.
구글 애드센스 크롤러는 개인 사이트를 운영 중이라면 robots.txt 파일을 참조합니다. 사이트 관리 페이지에서 본인의 사이트 관련 파일 중 robots.txt 파일을 참조하지만, 파일 내부의 특정 페이지나 디렉토리에 대한 액세스가 차단되어 있다면 해당 페이지나 디렉토리에서는 크롤링이 실행되지 않습니다.

로봇 접근이 차단된 페이지에 광고를 게재하면 애드센스 크롤러가 해당 페이지를 크롤링하게 됩니다. 해당 페이지에 대한 애드센스 크롤러의 액세스를 차단하려면 robots.txt 파일에 User-agent: Mediapartners-Google을 지정해야 합니다.

크롤러 보고서는 주 1회 업데이트

크롤러는 자동으로 실행되며 크롤링 주기를 늘리거나 줄일 수 없습니다. 크롤러가 웹페이지를 읽고 카테고리화하는 빈도를 조정할 수 없다고 합니다. 만약 웹페이지를 수정하는 경우, 수정본이 반영되기까지 1-2주가 소요될 수도 있다고 합니다.

애드센스 크롤러는 구글 크롤러와 다르다

두 크롤러는 따로 작동하지만 캐시를 공유합니다. 게시자의 트래픽이 중복 소비되는 것을 막기위해서라고 합니다. 또한 구글 서치 콘솔 크롤러도 따로 작동합니다.
따라서, 애드센스 크롤러의 문제를 해결하더라도 구글 크롤러 문제가 해결되지는 않습니다. 구글 크롤러에 문제가 있고 자신의 웹페이지가 구글 검색결과에 나타나지 않는다면 구글 검색결과 등록에서 문제를 알아봐야 합니다.
블로그 메타태그 등록. 네이버.구글.다음.빙.줌 검색 등록하기

크롤러는 리디렉션하는 원본 페이지도 액세스한다

다른 페이지로 리디렉션되는 ‘원본 페이지’가 있을 경우 애드센스 크롤러가 원본 페이지를 액세스하여 리디렉션이 작동되는지 확인하는 과정을 거칩니다. 따라서 게시자의 액세스 로그에 애드센스 크롤러가 원본 페이지를 방문했다는 것이 기록됩니다.

출처: 구글 애드센스 지원 크롤러 정보