Claude Code WebFetch 403: 내 쪽 차단인지 사이트 차단인지 구분해요
Claude Code WebFetch가 403을 돌려줄 때 막은 쪽은 세 갈래예요. 클라우드 세션의 네트워크 정책, 사이트의 AI 봇 차단, 출발 IP의 종류와 지역이에요. 공식 문서와 실제 이슈를 근거로 구분하는 순서와, 프록시로 달라질 수 있는 범위를 정리했어요.
안녕하세요. 한국AI통신에서 한국 모바일 LTE 프록시와 VPN을 준비하고 있어요.
Claude Code에게 "이 페이지 읽고 정리해 줘"라고 하면 WebFetch 도구가 페이지를 받아 와요. 대부분은 잘 읽어 와요.
그런데 어떤 주소에서는 Request failed with status code 403만 돌아와요. 브라우저로 열면 멀쩡한 페이지인데도요. 이때 막은 쪽이 누구인지 모르면 설정을 고쳐야 할지, 다른 경로를 찾아야 할지 정할 수 없어요.
이 글에서는 요청이 어디서 나가는지, 403이 갈리는 세 갈래, 내 경우를 확인하는 순서, 프록시로 달라지는 것과 달라지지 않는 것을 차례로 정리해 볼게요. 차단을 피하는 방법이 아니라 원인을 가르는 방법이에요.
같은 "웹 읽기"라도 요청이 나가는 곳이 달라요
"AI가 웹을 읽는다"는 말은 같아도, 실제로 페이지를 받아 오는 컴퓨터는 제품마다 달라요. 403을 가르려면 이것부터 알아야 해요.
Claude API의 web fetch 도구는 서버 도구예요. 문서는 이렇게 적어요.
Web fetch is a server tool: the API fetches the content during the request and inserts the results into the conversation.
— Claude API Docs, Web fetch tool
페이지를 받아 오는 주체가 내 프로그램이 아니라 API 쪽이라는 뜻이에요. 같은 문서는 이 도구가 JavaScript로 그려지는 사이트를 지원하지 않는다고도 적어요.
Claude Code 클라우드 세션은 또 달라요. 기본으로는 Anthropic이 관리하는 격리된 VM에서 돌고, 이 환경에서 밖으로 나가는 인터넷 트래픽은 모두 보안 프록시를 지나요. 조직이 자체 호스팅 환경을 쓰면 트래픽은 그 조직의 네트워크 경계로 나간다고 문서에 적혀 있어요.
다른 에이전트도 사정이 비슷해요. Gemini CLI 문서에 따르면 web_fetch는 Gemini API의 urlContext로 받고, API 접근이 실패하면 로컬 PC에서 직접 받아요. 한 도구 안에서도 출구가 둘이에요.
내 PC의 Claude Code는 어디서 나갈까요?
공식 문서에서 확인되는 것은 세 가지예요.
- WebFetch는 페이지를 받기 전에 호스트 이름만
api.anthropic.com에 보내 Anthropic의 차단 목록과 대조해요. 전체 URL이나 경로는 보내지 않아요. - 요청에는
Claude-User로 시작하는 User-Agent 헤더가 붙어요. - 서버가 HTML을 돌려주면 WebFetch는 Markdown으로 바꾸고, 대부분은 별도의 모델 호출로 내용을 추려서 전달해요. 가공하지 않은 페이지가 필요하면 Bash에서
curl을 쓰라고 문서가 안내해요.
샌드박스 문서는 WebFetch를 "in-process tools"로 분류해요. 그래도 "로컬 WebFetch 요청이 내 PC의 IP에서 나간다"고 적은 문장은 저희가 문서에서 찾지 못했어요. 그래서 이 글에서는 단정하지 않아요.
403은 세 갈래로 갈려요
1. 요청이 사이트에 닿기 전에 막힌 경우
클라우드 세션의 네트워크 정책에 걸린 경우예요. 환경마다 네트워크 접근 수준이 None, Limited, Full 중 하나로 정해져 있고, 새 환경은 Limited로 시작해요. 허용 목록에 없는 호스트로 나가는 요청은 이런 응답을 받아요.
HTTP 403
x-deny-reason: host_not_allowed
Claude Code 오류 문서는 이 응답을 이렇게 설명해요.
This error is not a client-side network problem.
— Claude Code Docs, Error reference
내 회선이나 대상 사이트가 아니라 세션이 도는 환경의 정책이 막았다는 뜻이에요. 같은 절은 로컬 CLI 세션은 이 정책의 영향을 받지 않는다고 덧붙여요.
실제 이슈에도 같은 모양이 보고돼 있어요. #41741 작성자는 대상 사이트에 봇 차단이 없는 것을 확인했는데도 Claude Code 웹 세션에서 Server: envoy와 x-deny-reason: host_not_allowed를 받았다고 적었어요.
EGRESS_BLOCKED라는 모양도 있어요. 이것은 공식 문서에는 없고 이슈 보고에만 나오는 문자열이에요. #95671은 예약 실행 루틴에서 WebFetch가 "error_type":"EGRESS_BLOCKED"를 돌려줬다는 보고예요.
Claude API의 web fetch에서는 url_not_allowed 오류 코드가 이 갈래에 가까워요. 문서는 도메인 필터 규칙(조직 설정 포함)이나 Anthropic 쪽 제한에 걸린 URL에 이 코드가 나온다고 적고, 그 제한의 예로 사설 주소와 robots.txt를 들어요.
2. 사이트가 AI 봇을 막은 경우
요청은 사이트에 닿았고, 사이트가 거절한 경우예요.
#52479 작성자는 Cowork에서 출구를 전체 허용으로 둔 상태였는데 한 사이트만 403을 받았어요. 다른 도메인에서는 EGRESS_BLOCKED가 왔고요. 작성자는 둘을 "EGRESS_BLOCKED = Anthropic's proxy refused the request", "HTTP 403 = the request reached AllTrails; AllTrails refused it"로 나눠 적었어요. 공식 설명이 아니라 사용자 한 명의 해석이지만, 두 오류의 모양이 다르다는 점은 참고할 만해요.
사이트가 AI 봇을 알아보는 단서는 공개돼 있어요. Anthropic은 봇 세 가지(ClaudeBot, Claude-User, Claude-SearchBot)를 소개하고, 사이트 주인이 robots.txt로 봇별 접근을 정할 수 있다고 안내해요. Anthropic 크롤러가 쓰는 출발 IP 목록도 함께 공개하고 있어요.
막는 쪽의 기본값도 바뀌었어요. Cloudflare는 2025년 7월 1일 글에서 AI 크롤러를 기본으로 차단하는 쪽으로 바꾼다고 발표했어요.
3. 출발 IP의 종류나 지역 때문에 막힌 경우
User-Agent와 상관없이, 출발 IP가 어느 나라로 분류되는지에 따라 거절되는 경우예요.
웹 페이지가 아니라 API 호출의 사례지만, Google Developer forums에는 이런 보고가 있어요(2025-06-03). Cloud Run을 서울 리전(asia-northeast3)에 두고 OpenAI API를 불렀더니 403과 unsupported_country_region_territory가 돌아왔고, 작성자가 확인해 보니 출발 IP가 홍콩으로 분류돼 있었다고 해요.
개인의 보고이고 원인도 작성자의 분석이에요. 같은 글의 다른 댓글에는 IP가 서울로 조회되는데도 같은 오류가 났다는 이야기도 있어요. 막는 쪽이 기준을 공개한 것은 아니어서, 바깥에서는 추정만 할 수 있어요.
내 경우가 어느 쪽인지 이 순서로 확인해요
- 세션이 어디서 도는지 봐요. 클라우드 세션이나 예약 실행이면 첫 번째 갈래부터, 내 PC의 터미널이면 두 번째 갈래부터 의심해요.
- 오류 모양을 봐요.
x-deny-reason: host_not_allowed면 첫 번째 갈래예요. 요청은 사이트에 닿지 않았어요.EGRESS_BLOCKED도 이슈 보고에 따르면 같은 갈래예요. - 같은 URL을 내 PC에서
curl로 한 번 받아 상태 코드를 봐요.
curl -s -o /dev/null -w "%{http_code}\n" https://example.com/page
- 응답 헤더를 봐요. Cloudflare 문서에 따르면 챌린지 페이지 응답에는
cf-mitigated: challenge헤더가 붙어요.
curl -s -o /dev/null -D - https://example.com/page
- 그 사이트의
robots.txt를 열어Claude-User나 AI 봇 항목이 있는지 봐요.
curl -s https://example.com/robots.txt
- 내 PC에서는 열리는데 서버에서만 막히면 세 번째 갈래를 의심해요.
3번의 명령은 #22846 작성자가 쓴 것과 같아요. 그 보고에서는 같은 Wikipedia 주소가 curl로는 200, WebFetch로는 403이었어요.
저희도 2026-11-11에 한 PC에서 같은 주소에 이 curl 명령을 한 번 보냈고 200을 받았어요. WebFetch 쪽은 다시 해 보지 않았어요. 이 이슈는 지금 닫혀 있어서, 같은 결과가 지금도 나온다고 말할 수는 없어요.
curl은 200인데 WebFetch만 403이면 두 번째 갈래를 의심할 수 있어요. 다만 curl로 받아진다고 사이트가 자동 수집을 허락했다는 뜻은 아니에요. RFC 9309는 robots.txt를 이렇게 설명해요.
These rules are not a form of access authorization.
— RFC 9309, Robots Exclusion Protocol
robots.txt는 접근 권한을 주는 장치가 아니라 사이트의 요청 사항이에요. 어디까지 허용되는지는 그 사이트의 약관과 공식 API 문서에서 확인해야 해요.
프록시로 달라질 수 있는 것과 달라지지 않는 것
달라지지 않는 것
첫 번째 갈래는 설정으로 풀어요. 오류 문서의 안내대로 환경 편집 화면의 Network access에서 Limited를 고르고 Allowed domains에 막힌 도메인을 추가해요. 제한을 두지 않으려면 Full을 골라요. 프록시와는 상관이 없어요.
두 번째 갈래에서 사이트가 AI 봇이라는 신원을 보고 거절했다면 출구 IP는 원인이 아니에요. 내 사이트라면 robots.txt와 보안 설정에서 Claude-User를 어떻게 다룰지 정하면 돼요. 남의 사이트라면 그 사이트가 제공하는 공식 API나 데이터 경로를 찾는 것이 맞아요.
Claude API의 서버 도구와 Anthropic이 호스팅하는 클라우드 세션에서 사용자가 출구 IP를 고르는 설정은, 저희가 연 문서에서는 찾지 못했어요.
달라질 수 있는 것
세 번째 갈래에서만 출구 IP가 변수예요. 그리고 출구를 고를 수 있는 것은 내 PC나 내 서버에서 도는 프로그램뿐이에요.
Claude Code에 프록시를 걸 수 있나요?
걸 수 있어요. 네트워크 설정 문서는 Claude Code가 표준 프록시 환경변수 HTTPS_PROXY, HTTP_PROXY, NO_PROXY를 따른다고 적어요. 셸에서 내보낸 값은 시작할 때 한 번만 읽고, 적용된 프록시 주소는 /status의 Proxy 행에서 볼 수 있어요.
방식에는 제한이 있어요.
Claude Code does not support SOCKS proxies.
— Claude Code Docs, Enterprise network configuration
다만 WebFetch가 페이지를 받는 요청까지 이 프록시를 거치는지 적은 문장은 저희가 문서에서 찾지 못했어요. Bash에서 실행하는 curl은 curl 매뉴얼대로 HTTPS_PROXY 같은 환경변수를 따라요.
한국AI통신 프록시(KAT Proxy)는 한국 모바일 LTE를 거치는 HTTP CONNECT · SOCKS5 프록시예요. 프록시를 설정한 브라우저와 프로그램의 요청만 거쳐요. Claude Code는 SOCKS 프록시를 지원하지 않으니, Claude Code에는 이 가운데 HTTP CONNECT 방식이 해당해요.
KAT Proxy는 현재 제공 준비 중이에요. 프록시를 쓴다고 특정 사이트가 열린다고 약속하지 않아요. 한국 IP가 필요한 업무에서, 출구 IP가 원인인지 가려 볼 때 쓸 수 있는 선택지 하나예요.
자주 묻는 질문
Claude Code WebFetch가 모든 사이트에서 403이에요. 왜 그런가요?
클라우드 세션이면 환경의 네트워크 접근 수준부터 확인해요. 응답에 x-deny-reason: host_not_allowed가 있으면 허용 목록 문제예요.
브라우저로는 열리는데 WebFetch만 403인 이유는 뭔가요?
사이트가 요청을 받고 거절한 두 번째 갈래일 수 있어요. curl로 상태 코드와 응답 헤더, 그 사이트의 robots.txt를 확인해요.
EGRESS_BLOCKED는 무슨 뜻인가요?
공식 문서에는 없는 문자열이에요. 이슈 보고에 따르면 에이전트 쪽 출구 프록시가 요청을 내보내지 않았다는 응답이고, 사이트가 막은 것이 아니에요.
"Unable to verify if domain ... is safe to fetch"는 403과 다른가요?
달라요. WebFetch가 받기 전에 하는 도메인 안전 확인이 끝나지 못했을 때 나오는 메시지예요. 오류 문서는 네트워크가 api.anthropic.com을 막고 있으면 그 도메인을 허용하라고 안내해요.
프록시를 쓰면 WebFetch 403이 풀리나요?
첫 번째 갈래와, 사이트가 AI 봇을 보고 막은 경우는 프록시와 상관이 없어요. 출발 IP가 원인인 경우에 한해, 내 PC나 내 서버에서 도는 프로그램으로 확인해 볼 수 있어요.
마치며
403은 숫자 하나지만 막은 쪽은 셋 중 하나예요. 세션이 도는 환경의 정책, 사이트의 AI 봇 차단, 출발 IP의 분류예요.
오류 모양을 보고 curl을 한 번 보내면 어느 쪽인지 좁힐 수 있어요. 그다음에 설정을 고칠지, 공식 경로를 찾을지, 출구를 확인해 볼지 정하면 돼요.
한국 IP가 필요한 업무가 있다면 한국AI통신 프록시 페이지에서 도입 상담을 남겨 주세요. 가격과 개통 일정은 상담에서 안내해 드려요.
참고한 자료
- Claude API Docs, Web fetch tool
- Claude Code Docs, Tools reference: WebFetch tool behavior
- Claude Code Docs, Data usage: WebFetch domain safety check
- Claude Code Docs, Cloud environments: Network access, Security proxy
- Claude Code Docs, Use Claude Code on the web: Security and isolation
- Claude Code Docs, Error reference: Host not allowed in a cloud session, WebFetch domain safety check failed
- Claude Code Docs, Enterprise network configuration
- Claude Code Docs, Sandboxing
- Gemini CLI, Web fetch tool
- Anthropic, Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Cloudflare, Content Independence Day: no AI crawl without compensation! (2025-07-01)
- Cloudflare Docs, Detect a Challenge Page response
- RFC 9309, Robots Exclusion Protocol
- curl man page
- anthropics/claude-code 이슈 #22846 (2026-02-03), #41741 (2026-04-01), #52479 (2026-04-23), #95671 (2026-09-20)
- Google Developer forums, OpenAI API 403 Error from GCP asia-northeast3 Region - IP Geolocation Issue (2025-06-03)
- 한국AI통신 직접 관측 (2026-11-11, en.wikipedia.org 문서 1건에 curl 1회, 상태 코드 200)
관련 글 더 보기
모바일 프록시·주거용 프록시·데이터센터 IP는 무엇이 다른가요: IP 종류와 프록시·VPN 고르는 기준
모바일 프록시, 주거용 프록시, 한국 프록시를 찾다 보면 나오는 용어를 RFC와 공식 문서로 정리했어요. IP가 어느 망에 속하는지 구분하는 기준, 모바일망의 CGNAT, HTTP CONNECT·SOCKS5·WireGuard·OpenVPN의 차이를 알 수 있어요. 내 IP가 어느 쪽인지 확인하는 순서도 함께 담았어요.
yt-dlp "Sign in to confirm you're not a bot"가 서버에서만 떠요: 원인과 공식 경로
내 PC에서는 되던 yt-dlp가 클라우드 서버나 CI에서만 "Sign in to confirm you're not a bot"을 내는 이유를 yt-dlp 메인테이너의 댓글과 위키 원문으로 정리했어요. 내 경우가 어느 쪽인지 확인하는 순서, YouTube Data API와 약관, 프록시로 달라지는 것과 달라지지 않는 것을 함께 담았어요.
해외 리전 서버에서만 403이 날 때: AWS·Vercel·GitHub Actions에서 원인을 가르는 순서
로컬에서는 되던 코드가 AWS·GCP·Vercel·GitHub Actions에 올리면 403이나 연결 끊김을 만날 때가 있어요. 공개된 사례가 어디까지 확인해 주는지 원문으로 따져 보고, 원인 후보를 지역, IP 종류, 요청 형태로 나눠 내 요청이 어디서 나가는지 확인하는 순서를 정리했어요.
인스타그램 크롤링이 AWS에서만 막혀요: 429·로그인 리다이렉트·401 원인과 확인 순서
내 PC에서는 되던 인스타그램 크롤링이 AWS 같은 클라우드 서버나 Claude 같은 AI 에이전트에서는 429, 로그인 리다이렉트, 401로 막히는 이유를 공개된 원문으로 정리했어요. 내 경우가 어느 쪽인지 확인하는 순서, Meta의 공식 경로와 자동 수집 약관, 프록시로 달라지는 것과 달라지지 않는 것도 함께 담았어요.
n8n HTTP Request 403 Forbidden: 네이버·Cloudflare에서 막힐 때 원인을 가르는 순서
n8n HTTP Request 노드가 403 Forbidden이나 Cloudflare "Just a moment..." 페이지를 받을 때 원인을 가르는 순서를 정리했어요. n8n Cloud의 요청이 어디서 나가는지, 네이버 뉴스 검색 API의 범위와 한도, 프록시로 달라지는 것과 달라지지 않는 것을 공식 문서 기준으로 담았어요.