구글 서치 콘솔과 내부 크롤링 테스트: (Screaming Frog와 Semrush)사이트 건강 점검하기

서론: 왜 내부 크롤링 테스트가 필요한가?

2025년 9월 1일 오후 2:42 KST. 웹사이트를 운영하다 보면 Google Search Console(GSC)에서 서버 오류(5xx)나 색인 문제, 중복 페이지 등이 발견될 때가 있습니다. 이런 문제는 검색 노출을 떨어뜨리고 사용자 경험을 해칠 수 있어 조속한 대응이 필요합니다.

구글 서치 콘솔과 내부 크롤링 테스트: (Screaming Frog와 Semrush)사이트 건강 점검하기

여기서 유용한 도구가 바로 Screaming Frog SEO Spider와 Semrush Site Audit입니다. 이 도구들은 내부 크롤링 테스트를 통해 사이트의 기술적 문제를 식별하고, SEO 성능을 최적화하는 데 필수적입니다. 이번 포스팅에서는 이 도구의 활용법과 이점을 자세히 살펴보겠습니다.

본론: 도구 활용법과 이점

1. 도구 소개

Screaming Frog SEO Spider: 데스크톱 기반 크롤링 도구로, 무료 버전(500페이지 제한)과 유료 버전(무제한)을 제공합니다. 무료로 다운로드해 사용할 수 있는 간단한 도구로, 웹사이트의 링크, 오류, 메타 태그 등을 쉽게 확인할 수 있어 초보자도 사이트 상태를 점검하기 좋습니다. 사이트 구조, 깨진 링크, 리디렉션 오류, 메타 태그 문제를 분석합니다.

Semrush Site Audit: 클라우드 기반 도구로, Semrush 구독이 필요합니다. 10만 페이지까지 크롤링 가능하며, 경쟁사 비교와 상세 보고서를 제공합니다. 온라인에서 구독으로 이용 가능한 도구로, 큰 사이트를 깊이 분석하고 경쟁 사이트와 비교하며 전문적인 보고서를 제공해 초보자도 전문가처럼 관리할 수 있습니다.

이 도구들은 누구나 몇 번의 클릭으로 사이트 문제를 찾아 개선할 수 있어, 코딩 지식 없이도 웹사이트를 더 나은 상태로 만들 수 있습니다.

2. 사용법: 단계별 가이드

Screaming Frog:

소프트웨어 다운로드 및 설치 (screamingfrog.co.uk).
도구 실행 후 "Enter URL"에 사이트 주소 입력 (예: example.blogspot.com).
크롤링 시작: "Start" 클릭. 500페이지 초과 시 유료 업그레이드 필요.
결과 확인: "Internal" 탭에서 링크 상태, "Errors" 탭에서 4xx/5xx 오류, "Directives" 탭에서 robots.txt 분석.
보고서 내보내기: CSV로 저장 후 GSC와 비교.

Semrush Site Audit:

Semrush 계정 로그인 (semrush.com) 후 "Projects" > "Add Project" 선택.
도메인 입력 및 크롤링 설정 (페이지 수, 크롤링 빈도).
"Start Site Audit" 클릭. 1~24시간 내 보고서 생성.
문제 분류: "Issues" 탭에서 서버 오류, 중복 콘텐츠, 느린 페이지 확인.
수정 제안: 도구가 제공하는 우선순위별 해결 방안 적용.

3. Screaming Frog SEO Spider와 Semrush Site Audit 서비스 구현을 위한 링크

Screaming Frog SEO Spider와 Semrush Site Audit는 내부 크롤링 테스트를 위한 강력한 도구입니다. 이 도구들을 서비스(예: 웹 크롤링, SEO 감사)로 구현하려면, 공식 사이트에서 다운로드, API 통합, 또는 개발 문서를 활용하세요. 아래는 공식 링크입니다. (2025년 9월 1일 기준 최신 정보 기반)

Screaming Frog SEO Spider (데스크톱 크롤러 도구):

공식 다운로드 및 문서
무료 버전(500 URL 제한)으로 시작 가능. 유료 라이선스(£199/년)로 무제한 크롤링.
구현 시: Java 기반으로 커스텀 스크립팅 지원, API 없음. 로컬 설치 후 자동화 스크립트(예: Python 연동)로 서비스화.

Semrush Site Audit (클라우드 기반 감사 도구):

공식 사이트 감사 도구 페이지
Semrush 구독 필요(Pro 플랜부터 시작, 월 $129.95).
구현 시: API 통합 가능(Semrush API 문서 참조: https://developer.semrush.com).
140+ 체크로 사이트 건강 점검, 자동 스케줄링 지원.
Zapier 등으로 외부 서비스 연동.

이 링크를 통해 다운로드/구독 후, 도구를 테스트하고 구현할 수 있습니다. 추가로 Semrush API를 사용하면 자동화된 크롤링 서비스를 쉽게 빌드할 수도 있습니다.

4. Screaming Frog SEO Spider와 Semrush Site Audit 비교

Screaming Frog SEO Spider

장점:

무료 사용 가능: 500페이지까지 무료로 크롤링 가능, 소규모 사이트(예: 블로그스팟)에 적합.
간편한 인터페이스: 이미지에서 보이는 대시보드처럼 직관적이며, 깨진 링크(4xx/5xx), 리디렉션 오류, robots.txt 문제를 빠르게 식별.
로컬 실행: 인터넷 연결 없이도 작동, 데이터 프라이버시 우려가 적음.
특화성: 서버 오류(5xx, 이미지에서 19개 발견)나 기술적 문제 진단에 강점.

단점:

500페이지 초과 시 유료 라이선스(£199/년) 필요.
대규모 사이트나 경쟁 분석에는 한계.
API 지원 없어 자동화된 서비스 구현에 제약.

Semrush Site Audit

장점:

대규모 분석: 10만 페이지까지 크롤링, 복잡한 사이트에 유리.
종합 보고서: SEO 점수, 경쟁사 비교, 자동 제안 제공.
API 통합: 자동화된 모니터링 시스템 구축 가능.

단점:

구독 비용(Pro 플랜 월 $129.95) 부담.
클라우드 기반이라 데이터 업로드 필요, 프라이버시 우려 가능.

5. 어떤 도구를 선택해야 하나?

권장 도구: Screaming Frog SEO Spider

이유: 이미지 맥락과 이전 대화(Google Search Console의 5xx 오류 19개 진단)를 고려할 때, 블로그스팟과 같은 소규모 사이트에 초점을 맞춘 기술적 문제 해결이 우선입니다. Screaming Frog은 무료로 시작할 수 있고, GSC에서 발견된 서버 오류를 빠르게 점검하며, 로컬에서 즉시 테스트 가능합니다. 이미지 하단의 도구 스크린샷처럼 실시간 결과 확인이 가능해 초보자도 쉽게 접근할 수 있습니다.
사용 방법: Screaming Frog 공식 사이트에서 무료 버전 다운로드 후, 사이트 URL(예: yourblog.blogspot.com) 입력하고 "Start" 클릭.

"Errors" 탭에서 5xx 오류 확인 후, 서버 로그나 Google 지원에 문의.

Semrush는 언제?:

사이트가 500페이지를 초과하거나, 경쟁 분석이나 지속적인 모니터링이 필요할 때 Semrush로 전환하세요.
현재 단계에서는 불필요한 비용 낭비를 피할 수 있습니다.

6. 이점과 활용 사례

오류 탐지: Screaming Frog은 5xx 서버 오류(예: 이미지에서 발견된 19개)를 빠르게 식별해 서버 로그와 연계 분석 가능.

Semrush는 대규모 사이트에서 패턴(예: Soft 404) 발견에 유리.

SEO 개선: 메타 태그 최적화, Canonical 태그 설정, 페이지 로드 속도 점검으로 검색 순위 상승.
시간 절약: 수동 점검 대신 자동화로 문제 80% 이상 해결 가능.
사례: 블로그스팟 사용자는 GSC에서 "서버 오류" 19개를 Screaming Frog으로 확인 후, Google 지원에 문의해 다운타임 문제 해결.(가능할까마는..)

Semrush로 중복 콘텐츠 수정 후 트래픽 15% 증가 사례도 있다.

결론: 지금 시작하세요!

내부 크롤링 테스트는 사이트 건강을 유지하고 SEO 성능을 높이는 핵심 단계입니다. Screaming Frog은 소규모 사이트에, Semrush는 대규모 사이트나 경쟁 분석에 적합합니다. GSC에서 발견된 문제(예: 5xx 오류)를 이 도구로 점검하고, "Validate Fix"로 Googlebot 재크롤링을 유도하세요.

오늘부터라도 도구를 설치해 한 번 테스트해보는 건 어떨까요? 경험담이나 질문이 있다면 댓글로 공유해주세요!

오늘도 여러분과 함께하는 가나투데이였습니다.

Share: Facebook Twitter Google+

Google Search Console이란?

Google Search Console(서치콘솔)은 내 웹사이트가 Google 검색에서 어떻게 노출되고 있는지 모니터링, 최적화, 오류 수정, 색인 요청, 키워드 추적 등을 할 수 있는 무료 도구입니다.

필요성:

검색엔진 노출/SEO 최적화

검색어별 트래픽 분석

크롤링 오류 등 사이트 건강 진단

색인 요청, 페이지 삭제 요청, 웹사이트 개선 제안 등

구현 방식:

웹사이트 또는 특정 URL을 ‘속성(Property)’으로 등록 후, 소유권 인증(HTML 파일, Meta, DNS 등)을 거쳐 사용.

포스팅 후 해야 할 작업 & 샌드박스 단축법:

새 글 등록 후 반드시 “색인 요청”을 진행
빠른 색인과 노출을 위해 꾸준히 품질 높은 콘텐츠 작성, 사이트 기술적 오류 개선, 신뢰도 높은 백링크 확보, SNS(페이스북, 네이버카페 등)에서 공유를 통한 트래픽 유도
이는 “샌드박스 기간”(초기 구글 노출 대기 기간, 보통 1~3개월) 단축에 직접적으로 도움이 됨

1. 속성 추가시 두가지(도메인/URL접두어) 선택 기준

기준	도메인 속성	URL접두어 속성
포함 URL 범위	모든 하위도메인, 모든 프로토콜	입력한 접두어(m, www, https 등)만 포함
인증 방식	DNS 인증 필요	HTML파일, 메타태그, Google Tag, GA 등 다양한 방식
추천 상황	전체사이트 및 서브도메인 통합관리	특정 URL/블로그/서브도메인만 관리시
SEO 데이터 범위	전체 통합	부분적 구간만 관리
대표 예시	example.com 전체 관리	https://blog.example.com 만 관리

전체 도메인에 대해 SEO/검색/트래픽을 관리하고 싶을 땐 '도메인'
블로그/특정 프로젝트처럼 일부만 추적하거나 인증이 쉬운 방식을 원할 땐 'URL접두어'

2. 기준을 어긋날 때 발생하는 문제점

도메인 속성 등록했는데 DNS 인증 못함 → 등록 불가
URL접두어 사용 시, 나머지 서브도메인·프로토콜 관리 불가

예) HTTPS로 등록했는데 HTTP, www, m, sub 등은 분리 관리되어 노출·트래픽 누락됨

잘못 등록하면 SEO 데이터가 분산, 전체 성능 파악/관리 어려움
속성 범위 혼동 시, 중요한 페이지 누락 가능 → 색인 오류, 트래픽 저하, 노출 저하 등

3. 구체적 설정과정

서치콘솔 접속 및 로그인(구글계정 필수)
'속성 추가' 클릭 → 두 가지 방식 중 선택

좌측: “도메인(모든 하위도메인, HTTPS, HTTP 통합)`

입력란에 “ganatoday.kr” 등 도메인만 입력
DNS(도메인 관리자)에서 TXT 레코드 추가 후 인증 진행

우측: “URL 접두어”

https://www.ganatoday.kr 등 전체 주소 입력
홈페이지 root에 제공된 HTML 파일 업로드, meta태그 삽입, 또는 Google Analytics 인증 절차 중 하나 선택

인증이 끝나면 속성 추가 성공 → 사이트 상태 모니터링, 색인 요청, 오류 체크 등 진행

샌드박스 기간 단축 노하우

새 글 올리면 바로 “색인 요청”
양질의 콘텐츠 지속적으로 업로드
사이트 속도/모바일 호환성 등 기술적 측면 최적화
업계 관련성 높은 백링크 획득
SNS·카페 등에 글 공유로 트래픽 유도
구글 Search Console, 네이버 등 국내 포털에도 색인 요청 병행

지금까지 정리::

서치콘솔 속성 추가는 “도메인 전체”와 “URL접두어(부분)” 둘 중 목적에 따라 선택
각 인증방식, 데이터 관리 범위에 맞게 등록
잘못 등록하면 SEO/트래픽 관리에 큰 손해
새 글 업로드시 색인 요청+양질 콘텐츠+트래픽 유도=샌드박스 기간 단축 필수!

실습:: 2차 도메인 vs. blogger.com 도메인: 서치콘솔 등록의 구현하기

블로그의 속성 유형 등록 시, 2차 도메인(개인 구매 도메인 등)과 블로그스팟 등에서 부여된 abc0000.blogger.com 도메인은 등록 과정, 인증방식, 관리 범위에 중요한 차이가 있습니다.

1. 2차 도메인의 서치콘솔 등록

속성 유형 선택:

일반적으로 “도메인” 속성(왼쪽)을 선택.
예시: mysite.com, www.mysite.com, blog.mysite.com 등 모든 하위도메인·프로토콜 포함 관리 가능.

소유권 인증 방식:

반드시 DNS 인증(TXT 레코드) 필요. 내 도메인 관리자(예: Gabia, hosting.kr 등)에 접속해서 구글에서 제공한 TXT값을 입력해야 인증 완료.
DNS 레코드 입력 후 인증까지 시간 소요(몇 분~몇 시간).

관리 범위:

등록한 도메인과 모든 하위 도메인, 모든 프로토콜(http, https, www, m, app 등)이 자동으로 포함됨.
한 번에 사이트 전체 SEO와 색인 현황, 오류 등 통합 관리 가능.

2. abc1234.blogger.com(블로그스팟 공식 도메인)의 서치콘솔 등록

속성 유형 선택:

기본적으로 “URL 접두어” 속성(오른쪽)을 선택. 계정이 연결된 경우 자동 소유권 인증이 되는 경우도 있음.
예시: https://abc0000.blogger.com 등 실제로 블로그스팟에서 사용 중인 주소 입력.

소유권 인증 방식:

다양한 방식 허용(HTML파일 업로드, meta태그, Google Tag/Analytics 활용 등).
blogger.com 블로그는 Google 계정이 동일하면 자동 인증되는 경우가 많고, 별도의 HTML파일/meta태그 삽입 등 직접 인증을 거칠 수도 있음.
blogger.com의 경우 기본적으로 구글이 운영하므로, 색인·사이트맵 송신·피드 제출이 자동 처리되는 편임.

관리 범위:

입력한 URL 접두어(https, http, www 등 SEO에 직접 연결된 URI만)만 관리됨.
예) https://abc0000.blogger.com만 선택 시, blog.abc0000.blogger.com이나 http://abc0000.blogger.com 등은 포함되지 않음.
전체 사이트/서브도메인 관리가 아니라 한정된 영역만 관리.

3. 두 속성 타입의 선택 이유와 실제 차이

2차 도메인(개인 맞춤 도메인) 사용 시

전체 범위 관리 필요(특히, 여러 하위도메인, HTTPS/HTTP 혼용, 블로그 외 서비스까지 포함) → '도메인 속성' 등록 & DNS 인증 권장
인증(도메인 소유권 확인) 과정이 복잡할 수 있지만, 관리 성능·통합적 SEO 데이터 측면에서 훨씬 유리.

blogger.com 원래 도메인 사용 시

계정 연동, 자동 인증, 손쉬운 등록 → 'URL 접두어' 등록이 일반적
별도의 도메인 소유권 변경이 필요 없으므로 초보자도 쉽게 진행 가능
단, 변경된 도메인(맞춤형)으로 블로그를 이전한 경우 반드시 새 도메인으로 속성 재등록 필요.

4. 설정 예시

상황	속성 유형	인증 방식	관리 범위	특징 및 주의사항
blog.mysite.com(내가 구매한)	도메인	DNS(TXT) 레코드 필요	blog.mysite.com + 모든 하위	전체 데이터 통합관리 유리
abc0000.blogger.com	URL접두어	HTML/meta/자동 인증	해당 URL 접두어만 포함	계정 자동 연동 시 인증 즉시 완료
www.mysite.com	도메인	DNS	www.mysite.com + 모든 하위	맞춤 도메인, 리디렉션 권장
맞춤형 blogspot(도메인 변경)	도메인/URL	DNS/기존 인증 혼합	변경된 도메인(맞춤형)만 포함	속성 재등록 필요, 안내문 확인

5. 추가 팁

blogger.com에서 맞춤 도메인(예: www.mydomain.com) 사용 시 반드시 blogspot 설정에서 www 리디렉션을 켜야 Google이 정상적으로 인식
www 없는 도메인은 blogger.com에서 불가. 꼭 www 붙여 서치콘솔에 등록 필요
인증 후 반드시 sitemap 및 RSS 제출하여 구글 노출 최적화

마무리 정리:

2차 도메인과 blogger.com 도메인은 속성 타입(도메인/URL접두어), 인증 방식, 관리 범위가 다르고, 저마다 등록/운영 전략이 달라집니다. 목적·기반에 따라 반드시 맞는 방법을 선택해야 관리·SEO 최적화에서 불이익이 없습니다.

관련질문

도메인 속성과 URL 접두어 속성의 인증 방식 차이는 무엇인가?

abc0000.blogger.com 등록할 때 필요한 별도 설정 요소는 무엇인가?

2차 도메인 등록 시 DNS TXT와 CNAME 검증 중 어떤 문제가 자주 발생하는가?

도메인 속성으로 등록하면 서브도메인별 데이터 수집이 어떻게 달라지는가?

내 블로그가 abc0000.blogger.com에서 2차 도메인으로 이동하면 색인 영향은 어떻게 되는가?

처음으로