인스타그램 크롤링이 AWS에서만 막혀요: 429·로그인 리다이렉트·401 원인과 확인 순서
내 PC에서는 되던 인스타그램 크롤링이 AWS 같은 클라우드 서버나 Claude 같은 AI 에이전트에서는 429, 로그인 리다이렉트, 401로 막히는 이유를 공개된 원문으로 정리했어요. 내 경우가 어느 쪽인지 확인하는 순서, Meta의 공식 경로와 자동 수집 약관, 프록시로 달라지는 것과 달라지지 않는 것도 함께 담았어요.
안녕하세요. 한국AI통신에서 한국 모바일 LTE 프록시와 VPN을 준비하고 있어요.
파이썬 스크립트로 인스타그램 공개 프로필을 읽는 코드는 금방 만들어져요. 내 PC에서 돌리면 프로필도 게시물도 잘 나와요.
그런데 같은 코드를 AWS에 올리면 첫 요청부터 막히는 경우가 있어요. Claude 같은 AI 에이전트에게 인스타그램을 읽어 달라고 했을 때도 비슷한 일이 생겨요. 코드는 한 줄도 안 바뀌었는데요.
이 글에서는 어떤 오류가 나오는지, 왜 서버와 에이전트에서만 막히는지, 내 경우가 어느 쪽인지 확인하는 순서, Meta가 열어 둔 공식 경로와 약관, 프록시로 달라지는 것과 달라지지 않는 것을 차례로 정리해 볼게요. 차단을 피하는 방법을 다루는 글은 아니에요.
오류 메시지는 세 가지로 나뉘어요
오픈소스 도구 instaloader의 GitHub 이슈에 올라온 원문을 기준으로 보면 이래요.
- 요청 한 번 만에 나오는 429예요. 2020년 6월에 올라온 "Instaloader on AWS" 이슈에는 EC2(Ubuntu 18.04)에서 요청 1건을 보낸 뒤의 로그가 그대로 붙어 있어요. 첫 줄은 프로필 주소가 로그인 페이지로 넘어갔다는 뜻이고, 둘째 줄이 그 결과로 나온 429예요.
HTTP redirect from https://www.instagram.com/[profile]/ to https://www.instagram.com/accounts/login/?next=/[profile]/
JSON Query to [profile]/: 429 Too Many Requests: redirected to login [retrying; skip with ^C]
-
로그인 페이지로 넘어가는 경우예요. 2022년 7월 이슈를 올린 분은 로그인 없이 프로필 정보를 가져오려 했고,
Redirected to login page. Use --login.메시지를 받았어요. 어제까지는 같은 버전으로 잘 됐다고 적었어요. -
401이에요. 2024년 7월 이슈와 2025년 2월 이슈에 같은 문장이 나와요. 아래는 그 앞부분이에요.
JSON Query to graphql/query: 401 Unauthorized - "fail" status, message "Please wait a few minutes before you try again."
2024년 7월 이슈의 제목은 게시물을 12개쯤 받은 뒤에 이 오류가 난다는 내용이에요. 메시지는 몇 분 기다리라고 하지만, 글쓴이는 기다렸다가 다시 해도 늘 실패했다고 적었어요.
같은 코드인데 서버에서만 막혀요
2020년 이슈를 올린 분은 같은 명령이 로컬 Ubuntu, Windows, macOS에서는 의도대로 동작했고, DigitalOcean에서도 AWS와 같은 결과였다고 적었어요. 댓글에는 Azure, Google Colab, Vultr에서 같은 일을 겪는다는 말이 이어져요.
국내 개발자 커뮤니티 OKKY에도 "인스타그램 크롤링 aws 서버 차단 문제입니다"라는 제목의 질문이 올라와 있어요.
왜 서버에서만 막힐까요?
인스타그램이 공개한 기준은 찾지 못했어요. 대신 instaloader 문서의 문제 해결 페이지가 이렇게 적고 있어요.
There have been observations that services, that in their nature offer promiscuous IP addresses, such as cloud, VPN and public proxy services, might be subject to significantly stricter limits for anonymous access.
클라우드, VPN, 공개 프록시처럼 여러 사람이 주소를 돌려 쓰는 서비스에서는 로그인하지 않은 접근의 한도가 훨씬 엄격할 수 있다는 내용이에요. 바로 다음 문장은 로그인한 접근은 영향을 받지 않는 것으로 보인다고 덧붙여요.
이 설명대로라면, 서버에 올린 코드는 클라우드 사업자의 IP에서 나가기 때문에 내 PC와 다른 한도를 만나는 것으로 볼 수 있어요.
클라우드 IP면 항상 막히나요?
그렇게 정리되지는 않아요. 문서가 스스로 "observations"라고 쓴 것처럼, 확인된 규칙이 아니라 사용자들이 본 경향이에요.
같은 이슈의 한 달 뒤 댓글에서 한 분은 Hetzner와 OVH에서는 다시 되는데 새로 띄운 AWS 서버는 여전히 막혀 있다고 했어요. 다른 분은 요청을 보낸 적도 없는 자기 OVH 싱가포르 서버가 막혀 있다고 답했고요. 사업자와 지역에 따라, 시기에 따라 결과가 달랐어요.
AI 에이전트의 요청은 내 PC에서 나가지 않을 수 있어요
"클로드에게 인스타그램을 읽어 달라고 했는데 못 읽는다"는 경우는 서버 이야기와 닮았어요. 에이전트가 보내는 요청이 내 PC가 아닌 곳에서 나가는 경우가 있기 때문이에요.
Claude에게 읽으라고 하면 요청은 어디서 나갈까요?
쓰는 도구에 따라 달라요. 문서로 확인되는 것은 두 가지예요.
첫째, Claude API의 web fetch 도구예요. 문서는 이 도구를 이렇게 설명해요.
Web fetch is a server tool: the API fetches the content during the request and inserts the results into the conversation.
페이지를 가져오는 쪽이 내 프로그램이 아니라 API라는 뜻이에요. 같은 문서에 따르면 이 도구는 자바스크립트로 그려지는 사이트를 지원하지 않아요. 가져오지 못하면 url_not_accessible, 도메인 필터나 robots.txt 같은 Anthropic 쪽 제한에 걸리면 url_not_allowed 오류 코드가 돌아와요.
둘째, Claude Code의 클라우드 세션이에요. 문서에 따르면 Anthropic이 호스팅하는 세션은 밖으로 나가는 인터넷 트래픽이 모두 보안 프록시를 지나요. 새 환경의 네트워크 등급은 Limited에서 시작하고, 이때 닿는 곳은 패키지 저장소, GitHub, 클라우드 SDK 같은 기본 허용 목록과 직접 적어 넣은 도메인이에요. 2026년 11월 11일 기준으로 문서의 기본 허용 목록에서 instagram.com은 찾지 못했어요.
내 PC에서 실행하는 Claude Code의 WebFetch는 문서에 Claude-User로 시작하는 User-Agent를 보낸다고 적혀 있어요. 요청이 어느 주소에서 나가는지는 문서에서 찾지 못해서 여기서는 단정하지 않을게요.
그래서 에이전트에서 막혔다면 인스타그램을 보기 전에, 요청이 어디서 나가는지와 에이전트가 돌려준 오류 코드부터 확인하는 게 순서예요.
IP 종류만 바꾸면 풀린다는 근거는 찾지 못했어요
"데이터센터 IP가 문제라면 주거용이나 모바일 IP로 바꾸면 되겠네"라는 생각이 들 수 있어요. 인스타그램 비공식 클라이언트 instagrapi의 문서는 이 기대를 경계해요. 계정을 쓰는 자동화를 전제로 한 안내인데, 프록시 종류에 대해서는 이렇게 적어요.
Residential, mobile, ISP, and datacenter proxies can all fail if they are abused, shared too widely, or rotated aggressively.
주거용이든 모바일이든 데이터센터든, 남용되거나 너무 많은 사람이 나눠 쓰거나 주소를 심하게 바꾸면 실패할 수 있다는 거예요. 앞 문장은 어떤 프록시 종류도 만능 해결책으로 여기지 말라고 하고, 뒤 문장은 사업자보다 일관성과 평판, 요청 패턴이 계정 이력과 맞는지가 더 중요하다고 해요.
이번에 연 자료 가운데 모바일 IP면 막히지 않는다고 확인해 준 곳은 없었어요.
IP와 상관없이 나는 오류도 있을까요?
있어요. 2025년 2월 401 이슈를 올린 분은 어떤 IP를 쓰든, 로그인을 하든 안 하든, 어떤 계정을 쓰든 같은 오류가 바로 난다고 적었어요.
같은 달 다른 이슈에서 instaloader 협력자(collaborator)는 최근 몇 주 동안 커밋이 없었다고 설명한 뒤 "Something must have changed in IG side."라고 답했어요. 도구가 바뀌지 않았으니 인스타그램 쪽이 바뀌었을 것이라는 추정이에요. 이런 오류라면 요청이 나가는 곳을 바꿔도 그대로일 거예요.
내 경우가 어느 쪽인지 확인하는 순서예요
- 요청이 어디서 나가는지 먼저 봐요. 서버라면 그 서버에서 아래 명령으로 밖에서 보이는 주소를 확인해요. 클라우드 사업자의 주소가 나오면 인스타그램도 그 주소를 보고 있어요.
curl -s https://checkip.amazonaws.com
-
에이전트라면 어떤 도구가 요청을 보내는지 확인해요. API의 web fetch처럼 서버 도구이거나 클라우드 세션이라면, 요청은 내 PC가 아니라 사업자 쪽에서 나가요. 오류 코드가
url_not_allowed이거나 허용 목록에 없는 호스트라는 메시지라면 인스타그램에 닿기 전에 멈춘 거예요. -
오류가 세 갈래 중 어느 것인지 봐요. 상태 코드와 넘어가는 주소는 아래 명령으로 볼 수 있어요. 요청 자체가 한도에 들어가니 한 번만 보내요.
curl -s -o /dev/null -w "%{http_code} %{redirect_url}\n" https://www.instagram.com/<계정 이름>/
-
같은 명령을 내 PC에서도 한 번 보내 비교해요. 서버에서만 로그인 페이지로 넘어가거나 429가 나온다면 instaloader 문서가 말한 경우에 가까워요.
-
내 PC와 서버에서 똑같이 401이 난다면 주소 문제가 아닐 가능성이 커요. 쓰는 도구의 이슈 트래커에 같은 시기 같은 오류가 올라와 있는지 확인해요.
-
로그인한 계정으로 돌리던 작업이라면 제한이 계정에 걸렸을 수 있어요. 이 경우는 요청이 어디서 나가든 계정을 따라다녀요.
공식 경로부터 확인해요
원인을 찾았더라도, 하려는 일이 공식 경로로 되는지를 먼저 보는 편이 좋아요. Meta가 열어 둔 길은 두 가지예요.
첫째는 Instagram Graph API의 Business Discovery예요. 문서는 다른 인스타그램 비즈니스·크리에이터 계정의 데이터를 가져오는 기능이라고 소개해요. 조회하는 쪽도 비즈니스나 크리에이터 계정이어야 하고, instagram_basic, instagram_manage_insights, pages_read_engagement 권한이 있는 Facebook 사용자 액세스 토큰이 필요해요. 예시에는 팔로워 수, 게시물 수, 게시물별 좋아요와 댓글 수가 나와요.
둘째는 Meta Content Library와 Content Library API예요. 페이스북, 인스타그램 등의 공개 콘텐츠를 연구용으로 볼 수 있는 도구예요. 인스타그램은 비즈니스·크리에이터 계정의 게시물과, 인증됐거나 팔로워가 100명 이상인 개인 계정의 게시물이 들어 있어요. 신청 자격은 학술 기관이나, 과학·공익 연구를 주된 목적으로 하는 비영리 기관 소속이에요.
약관은 자동 수집을 어떻게 다루나요?
Meta는 2024년 10월 7일부터 시행한 자동 데이터 수집 약관을 따로 두고 있어요. 2항의 첫 문장이에요.
You will not engage in Automated Data Collection without first obtaining Meta’s express written permission or in any manner that is not explicitly authorized by Meta.
Meta의 명시적인 서면 허가를 먼저 받지 않았거나 Meta가 명시적으로 승인하지 않은 방식으로는 자동 수집을 하지 않는다는 조항이에요. 약관은 자동 수집을 웹 스크레이퍼, 봇, 크롤러 같은 자동화 도구로 Meta 회사 제품에서 데이터를 모으는 일로 정의해요.
요청이 나가는 주소에 대한 조항도 있어요. 수집하는 쪽은 자신의 서비스를 식별하는 IP 주소와 User-Agent만 써야 하고, Meta의 robots.txt를 따라야 한다고 적혀 있어요.
이 조항들이 내 경우에 어떻게 적용되는지는 이 글에서 판단하지 않을게요. 수집을 시작하기 전에 약관 원문을 읽고, 필요하면 전문가에게 확인해 보세요.
프록시로 달라지는 것과 달라지지 않는 것이 있어요
프록시가 바꾸는 것은 하나예요. 요청이 상대 서버에 도착할 때 보이는 출발 주소예요.
한국AI통신 프록시(KAT Proxy)는 한국 모바일 LTE를 거치는 HTTP CONNECT · SOCKS5 프록시이고, 현재 제공 준비 중이에요. 프록시를 설정한 브라우저와 프로그램의 요청만 이 경로로 나가요. 인스타그램을 포함해 특정 사이트가 열린다고 약속하지는 않아요.
달라지지 않는 것은 더 많아요.
- 로그인 요구와 계정 단위 제한이에요. 로그인해야 보이는 정보는 그대로 로그인이 필요하고, 계정에 걸린 제한은 계정을 따라다녀요.
- 인스타그램 쪽 변경으로 생긴 오류예요. 어떤 IP에서도 같았다는 위의 401 사례가 그래요.
- 에이전트 쪽 출구예요. 요청이 에이전트 사업자의 서버에서 나가거나 허용 목록에서 멈춘다면, 내 PC에 프록시를 설정해도 그 요청은 프록시를 지나지 않아요.
- 약관이에요. 어디서 요청하든 같은 약관이 적용되고, 위에서 본 것처럼 약관에는 주소에 대한 조항도 있어요.
주소가 한결같아야 하는 작업이라면 하나 더 확인할 것이 있어요. KAT Proxy 안내에는 모바일 LTE는 다시 연결할 때 IP가 바뀔 수 있다고 적혀 있어요. 고정 IP나 전용 회선이 필요하면 상담에서 확인해 주세요.
자주 묻는 질문
인스타그램 크롤링이 AWS에서만 막히는 이유는 뭔가요?
instaloader 문서에 따르면 클라우드, VPN, 공개 프록시의 IP는 로그인하지 않은 접근에 더 엄격한 한도가 걸릴 수 있어요. 인스타그램이 공개한 기준이 아니라 사용자들의 관찰이에요.
클로드로 인스타그램 크롤링이 되나요?
Claude API의 web fetch는 API 쪽에서 페이지를 가져오고, 자바스크립트로 그려지는 사이트를 지원하지 않아요. Claude Code 클라우드 세션은 기본 등급(Limited)에서 허용 목록에 있는 도메인에만 닿아요. 에이전트에게 시켜도 Meta 약관은 똑같이 적용돼요.
프록시를 쓰면 인스타 크롤링 차단이 풀리나요?
약속할 수 없어요. 프록시는 요청이 나가는 주소만 바꿔요. 로그인 요구, 계정 단위 제한, 인스타그램 쪽 변경, 약관은 그대로예요.
내 PC에서는 왜 되나요?
instaloader 문서의 관찰대로라면, 내 PC의 주소에는 클라우드 IP만큼 엄격한 한도가 걸리지 않는 것으로 볼 수 있어요. 저희도 2026년 11월 11일에 한 PC에서 공개 프로필 주소 하나에 로그인 없이 요청을 한 번 보냈고, 리다이렉트 없이 상태 코드 200을 받았어요. 한 번 본 결과일 뿐이고, 서버와 비교한 것은 아니에요.
instaloader 429는 기다리면 풀리나요?
instaloader 문서는 429로 거절되면 임시 차단이 끝났다고 보는 시점에 요청을 다시 보낸다고 설명해요. 다만 2020년 이슈의 EC2 사례는 요청 1건 만에 나온 429라서, 요청을 많이 보내서 생긴 경우와는 달라요.
마치며
서버에서만 인스타그램 크롤링이 막힌다면 코드가 아니라 요청이 나가는 곳이 달라진 것일 수 있어요. 에이전트라면 요청이 내 PC에서 나가지 않는 경우부터 확인해야 하고요.
그렇다고 주소만 바꾸면 풀리는 문제도 아니에요. 공식 API로 되는 일인지 먼저 보고, 약관을 읽고, 그다음에 요청이 어디서 나가야 하는지 정하는 순서를 권해요.
한국 모바일 LTE를 거치는 프록시가 필요한 구성이라면, 필요한 월 데이터와 동시 연결 수를 정리해 KAT Proxy 도입 상담에서 이야기해 주세요. 가격과 개통 일정은 상담에서 안내해요.
참고한 자료
- Instaloader 문서, Troubleshooting
- instaloader #652, "Instaloader on AWS" (2020-06-01)
- instaloader #1667, "HTTP redirect to Instagram Login Page Issue" (2022-07-28)
- instaloader #2307, "Can only scrape 12 or so posts (first page?) before JSON Query to graphql/query 401 error" (2024-07-12)
- instaloader #2501, "401 "Please wait a few minutes" back for all get_posts() requests, anyone else also struggling?" (2025-02-04)
- instaloader #2511, "Error 401 - Unauthorized "fail" status, message "Please wait a few minutes before you try again."" (2025-02-10)
- OKKY, "인스타그램 크롤링 aws 서버 차단 문제입니다"
- instagrapi 문서, Best Practices
- Claude API 문서, Web fetch tool
- Claude Code 문서, Configure cloud environments
- Claude Code 문서, Tools reference
- Meta 개발자 문서, IG User Business Discovery (2026-08-12 수정)
- Meta Transparency Center, Meta Content Library and API (2026-04-30 수정)
- Meta, Automated Data Collection Terms (2024-10-07 시행)
- 한국AI통신 직접 관측 (2026-11-11, 한 PC에서 www.instagram.com 공개 프로필 주소 1곳에 로그인 없이 GET 1회, 상태 코드만 확인)
관련 글 더 보기
yt-dlp "Sign in to confirm you're not a bot"가 서버에서만 떠요: 원인과 공식 경로
내 PC에서는 되던 yt-dlp가 클라우드 서버나 CI에서만 "Sign in to confirm you're not a bot"을 내는 이유를 yt-dlp 메인테이너의 댓글과 위키 원문으로 정리했어요. 내 경우가 어느 쪽인지 확인하는 순서, YouTube Data API와 약관, 프록시로 달라지는 것과 달라지지 않는 것을 함께 담았어요.
AI 에이전트가 쿠팡·네이버 쇼핑에서 Access Denied로 막혀요: 막는 이유와 공식 경로
AI 에이전트에게 최저가 비교나 장바구니를 맡겼더니 쿠팡 Access Denied, 네이버 쇼핑 접속 제한 화면이 나오는 이유를 정리했어요. 2026년 11월 11일에 직접 받아 본 응답과 robots.txt, 약관 원문, 공식 API와 에이전트 결제 규격, 프록시로 달라지는 것과 아닌 것을 갈라 봐요.
해외 리전 서버에서만 403이 날 때: AWS·Vercel·GitHub Actions에서 원인을 가르는 순서
로컬에서는 되던 코드가 AWS·GCP·Vercel·GitHub Actions에 올리면 403이나 연결 끊김을 만날 때가 있어요. 공개된 사례가 어디까지 확인해 주는지 원문으로 따져 보고, 원인 후보를 지역, IP 종류, 요청 형태로 나눠 내 요청이 어디서 나가는지 확인하는 순서를 정리했어요.
n8n HTTP Request 403 Forbidden: 네이버·Cloudflare에서 막힐 때 원인을 가르는 순서
n8n HTTP Request 노드가 403 Forbidden이나 Cloudflare "Just a moment..." 페이지를 받을 때 원인을 가르는 순서를 정리했어요. n8n Cloud의 요청이 어디서 나가는지, 네이버 뉴스 검색 API의 범위와 한도, 프록시로 달라지는 것과 달라지지 않는 것을 공식 문서 기준으로 담았어요.
모바일 프록시·주거용 프록시·데이터센터 IP는 무엇이 다른가요: IP 종류와 프록시·VPN 고르는 기준
모바일 프록시, 주거용 프록시, 한국 프록시를 찾다 보면 나오는 용어를 RFC와 공식 문서로 정리했어요. IP가 어느 망에 속하는지 구분하는 기준, 모바일망의 CGNAT, HTTP CONNECT·SOCKS5·WireGuard·OpenVPN의 차이를 알 수 있어요. 내 IP가 어느 쪽인지 확인하는 순서도 함께 담았어요.