Side Maker Log
미국새싹심은 날 2026년 11월 2일다듬은 날 2026년 11월 2일10분조회 1

robots.txt 한 줄로 AI 학습 거부 — 구글·MS·오픈AI·앤스로픽이 합의한 공통 신호

2026년 10월 30일 4개 AI 기업이 지지한 `__usage_ai-training` 토큰이 무엇이고, 무엇을 막고 무엇을 못 막는지, 사이트 운영자가 지금 할 일을 정리합니다.

구글·마이크로소프트·오픈AI·앤스로픽이 2026년 10월 30일(현지시간) 같은 날, robots.txt에 한 줄을 쓰면 네 회사 모두에 "내 콘텐츠를 AI 학습에 쓰지 말라"는 뜻을 전달하는 공통 신호를 지지한다고 밝혔습니다.

지금까지는 GPTBot·Google-Extended·ClaudeBot처럼 회사마다 다른 이름을 외워 한 줄씩 따로 써야 했습니다. 새로 생긴 회사가 나타나면 또 한 줄, 빠뜨리면 그대로 "허용"이 되는 구조였지요.

그래서 이번 합의는 작은 블로그를 운영하는 사람에게도 꽤 실질적인 변화입니다. 다만 "학습 거부"일 뿐, 크롤링·검색 노출·AI 답변 인용까지 막아 주는 건 아니라서 그 경계를 정확히 알고 써야 합니다.

무슨 일이 있었나

10월 30일, 앤스로픽의 표준 담당 기술 리드 케빈 켈리(Kevin Kelley) 이름으로 IETF(인터넷 표준을 정하는 기구)에 초안 draft-kelley-aipref-training-preference-signal-00이 올라왔습니다. 같은 날 구글은 서치 센트럴 블로그에 "Supporting a shared AI training control for websites"를, 마이크로소프트는 빙 블로그에 "Your content, your choice"를, 오픈AI는 공식 글을 올려 지지를 밝혔습니다.

초안이 정의한 신호는 이렇습니다.

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

__usage_ai-training은 실제로 존재하는 크롤러 이름이 아니라 "정책 토큰"입니다. 기존 robots.txt 문법(RFC 9309)을 그대로 쓰기 때문에 새 파서가 필요 없고, 위 예시는 "사이트 전체는 학습 거부, 보도자료 폴더만 허용"이라는 뜻입니다.

각 사 일정은 이렇게 밝혔습니다(10월 31일 Engadget 정리 기준).

회사밝힌 일정비고
앤스로픽구현 착수, 이미 지원 시작초안 작성 주체
마이크로소프트2027년 2월 1일부터 반영NoArchive·NoCache 해석은 2027년 3월 1일 종료
구글2027년 중("early 2027")Google-Extended 미지정 시 동일하게 해석
오픈AI"수개월 내"기존 GPTBot 제어는 그대로 유지

배경과 맥락

2023년 8월 오픈AI가 GPTBot을, 같은 해 9월 구글이 Google-Extended를 내놓은 뒤 3년 동안 AI 학습 거부는 "크롤러 이름 모으기"였습니다. 이 방식에는 구조적인 문제가 둘 있었습니다.

하나는 이름이 계속 늘어난다는 것입니다. GPTBot·ClaudeBot·CCBot·Applebot-Extended·Google-Extended… 새 회사가 나올 때마다 운영자가 따라가야 했지요.

다른 하나는 이름마다 성격이 다르다는 것입니다. GPTBot·ClaudeBot은 실제 크롤러라 막으면 접속 자체가 줄지만, Google-Extended·Applebot-Extended는 크롤러가 아니라 "이미 가져간 콘텐츠를 어디에 쓸지"만 정하는 표시입니다. 같은 줄처럼 보여도 하는 일이 달랐습니다.

IETF는 이 혼란을 풀려고 AIPREF(AI Preferences) 작업반을 두고 어휘를 정리해 왔습니다. 어휘 초안(draft-ietf-aipref-vocab-08)은 용도를 train-ai·ai-use·search 셋으로 나누고, 구글의 게리 일리스와 모질라의 마틴 톰슨이 쓴 부착 초안은 Content-Usage: train-ai=n 같은 새 문법을 제안합니다.

이번 켈리 초안은 그 어휘 정의를 그대로 가져오되, 새 문법 대신 "기존 robots.txt에 토큰 하나만 추가"하는 쪽을 택했습니다. 작업반 결론을 기다리지 않고 지금 당장 쓸 수 있게 하자는 실용적 선택으로 보입니다.

핵심 짚어 보기 — 무엇을 막고, 무엇을 못 막나

초안은 "AI 학습"을 AIPREF 작업반 정의 그대로 "생성형 AI 모델의 학습된 매개변수를 바꾸는 데 자산을 쓰는 것"이라고 적었습니다. 분류·스팸 필터처럼 "오로지 비생성 작업"만 하는 모델의 학습은 포함되지 않습니다.

그리고 못 막는 것이 분명히 적혀 있습니다.

  • 크롤링: 초안 원문에 "이 토큰은 크롤링 동작에 대한 지시가 아니다"라고 명시돼 있습니다. 서버 트래픽을 줄이고 싶으면 기존처럼 크롤러별 규칙이나 WAF(웹 방화벽) 차단이 필요합니다.
  • 검색 노출: 구글·MS 모두 검색 결과에는 영향이 없다고 밝혔습니다.
  • 그라운딩: AI가 답변을 만들 때 웹페이지를 참고·인용하는 "그라운딩"은 이 토큰의 대상이 아닙니다.
  • 과거 수집분: 초안은 "자산을 가져온 시점의 robots.txt에 적힌 선호가 적용된다"고 적었습니다. 이미 학습된 모델에서 빠지는 건 아닙니다.
  • 강제력: 지지한 회사만 따릅니다. 비공개 계약이 이 신호보다 우선할 수 있다는 문장도 초안에 있습니다.

켈리는 IETF 메일링리스트에서 "이는 콘텐츠 활용에 관한 의사 표시이지, 크롤링 트래픽을 통제하기 위한 신호가 아니다. 두 기능은 의도적으로 분리돼 있다"고 설명했습니다(지디넷코리아 11월 1일 보도).

회사마다 해석이 조금씩 다릅니다

구글은 Google-Extended를 따로 적지 않은 사이트가 이 토큰으로 학습을 거부하면 "Google-Extended를 거부한 것과 같이" 처리하겠다고 했습니다. 그런데 구글 글에는 "Google-Extended를 명시적으로 허용한 사이트는 Gemini 앱의 그라운딩 답변에 노출되고 클릭을 받을 수 있다"는 문장도 있습니다. 즉 구글에서는 학습 거부가 Gemini 앱 인용 기회의 축소로 이어질 수 있다는 뜻으로 읽힙니다.

마이크로소프트는 학습과 그라운딩을 아예 분리했습니다. 학습은 robots.txt 토큰 또는 페이지 단위 <meta name="Bingbot" content="ai-training:disallow">로, 그라운딩은 페이지 단위로만 ai-grounding:allow / disallowextended / disallow 세 값을 둡니다. 그리고 2023년부터 AI 거부 신호로 쓰이던 NoArchive·NoCache는 2027년 3월 1일부터 더 이상 그렇게 읽지 않겠다고 못 박았습니다. 빙 블로그는 그라운딩을 막으면 "AI 경험에서의 가시성이 크게 줄어든다"고도 적었습니다.

오픈AI는 이 신호를 "자발적 노력"이라고 부르며 기존 robots.txt 제어를 대체하지 않는다고 했습니다. 학습용 GPTBot과 ChatGPT 검색용 OAI-SearchBot은 계속 따로 움직입니다.

다른 시각과 한계

낙관 쪽은 분명합니다. 네 회사가 같은 날 같은 토큰을 지지한 건 지난 3년간 없던 일이고, 이름을 쫓아다니던 운영자 부담이 줄어듭니다.

우려도 있습니다. 첫째, 이 초안은 아직 개인 제출 -00 버전입니다. IETF 페이지에는 "IETF가 승인한 것이 아니며 공식 지위가 없다"고 적혀 있고, 문법이 바뀔 수도 있습니다. 둘째, 참여하지 않은 회사의 크롤러에는 아무 의미가 없습니다. 메타는 지지 의사를 표했지만 도입을 약속하지는 않았다고 일부 매체가 전했습니다. 셋째, "학습 거부"가 "AI 답변에서 사라짐"으로 번지는지가 회사마다 달라서, 운영자가 바라는 결과(학습엔 안 쓰이되 인용은 되는 것)를 한 줄로 얻기는 어렵습니다.

"이제 AI가 내 글을 못 가져간다"는 해석은 과장입니다. 정확히는 "지지한 네 회사가, 2027년 전후부터, 새로 가져가는 콘텐츠를 학습에는 쓰지 않겠다는 약속"입니다.

그래서 우리에게

블로그·작은 사이트 운영자라면

  • 지금 추가해도 손해는 없습니다. 앤스로픽은 이미 읽기 시작했고, 나머지는 2027년부터 읽습니다.
  • 기존 GPTBot·Google-Extended·ClaudeBot 줄은 2027년까지 지우지 않는 게 안전합니다. 세 회사 모두 "기존 제어는 그대로"라고 했습니다.
  • User-agent: * 한 줄은 학습에 관해 아무 말도 하지 않습니다. 토큰을 직접 적어야 합니다.

빙 트래픽이 있는 사이트라면

  • NoArchive·NoCache로 AI를 막아 왔다면 2027년 3월 1일 전에 새 신호로 바꿔야 합니다. 2026년 12월 15일부터 빙 웹마스터 도구에 임시 전환 설정이 열립니다.

개발자라면

  • 자기 사이트의 robots.txt가 자동 생성이라면(Next.js의 robots.ts 같은 것) 토큰 그룹을 추가하는 건 몇 줄입니다. 다만 Allow로 예외를 둘 때 경로 순서가 바뀌지 않는지 확인하세요.
  • 크롤러를 만드는 쪽이라면 이 토큰을 읽는 게 곧 업계 기본값이 될 가능성이 큽니다.

한국 독자에게 한 가지 더

  • 이번 발표에 이름을 올린 곳은 미국 4개 회사뿐입니다. 국내 검색·AI 사업자의 지원 여부는 아직 알려지지 않았습니다. 국내 트래픽이 큰 사이트는 기존 크롤러별 규칙을 당분간 함께 유지하는 편이 맞습니다.

앞으로 지켜볼 것

공통 AI 학습 거부 신호, 발표부터 적용까지

  1. 2026년 10월 30일구글·MS·오픈AI·앤스로픽 지지 발표, IETF 초안 -00 제출(앤스로픽은 이미 지원)
  2. 2026년 12월 15일빙 웹마스터 도구에 임시 그라운딩 설정 개시
  3. 2027년 2월 1일마이크로소프트가 새 신호 반영 시작
  4. 2027년 3월 1일빙에서 NoArchive·NoCache 의 AI 해석 종료
  5. 2027년 5월 3일현 초안(-00) 만료 — 개정판·작업반 채택 여부
  • 오픈AI의 "구현 세부 안내" 글, 구글의 진행 업데이트(블로그에 올리겠다고 밝힘)

맺음

혼자 앱을 만들면서 작은 랜딩 페이지와 이 블로그를 함께 굴리다 보니, robots.txt는 늘 "한 번 쓰고 잊는 파일"이었습니다. 이번 소식을 읽으며, 그 파일이 3년 동안 조용히 "기본값 허용"으로 열려 있었다는 생각이 들더군요.

한 줄 추가하는 데 1분이면 됩니다. 그 1분을 쓰기 전에 "나는 학습만 막고 싶은가, 인용에서도 빠지고 싶은가"를 스스로 정해 두면 좋겠습니다.

여러분의 사이트는 어느 쪽을 바라시나요.

출처

Read in English →

함께 읽을 글

한국중산층 10명 중 4명 소득 감소 — 2024년 소득이동통계가 말하는 것트렌드 · 2026년 11월 2일11월 달력 앞에서, 올해를 만회하지 않기로 했습니다웰니스 & 루틴 · 2026년 11월 2일

댓글 0

첫 댓글을 남겨 주세요.

로그인 없이 남길 수 있어요. 링크가 들어간 댓글은 확인 뒤 보입니다.