1 min read
이제 짧은 텍스트 한 줄로 세계 최대 AI 기업 네 곳에 내 웹사이트를 모델 학습에 쓰지 말라고 알릴 수 있습니다. 약 20분이면 끝나고, 비용도 들지 않으며, 제대로만 하면 Google 순위에도 해가 없습니다. 다만 주의할 점이 있습니다. 이것은 자물쇠가 아니라 요청이고, 네 곳 중 세 곳은 아직 이 기능을 켜지 않았습니다.
10월 30일, Anthropic의 표준 담당 책임자 Kevin Kelley가 웹을 움직이는 규칙의 상당수를 만드는 단체인 국제인터넷표준화기구(IETF)에 “Machine-Readable Training Preference Signal”이라는 초안을 제출했습니다. OpenAI, Google, Microsoft, Anthropic은 모두 이를 따르겠다고 밝혔습니다. 이 가이드는 robots.txt 파일을 한 번도 열어 본 적이 없는 분도 따라 할 수 있도록 설정 과정을 한 단계씩 안내합니다. robots.txt 파일은 사이트에 공개된 작은 텍스트 파일로, 자동화된 방문자에게 내가 원하는 바를 알려 주는 역할을 합니다.
새 토큰이 하는 일, 쉽게 풀어 보면
이 초안은 __usage_ai-training이라는 라벨을 새로 만듭니다. robots.txt에 넣는 이 라벨은 딱 한 가지에 대한 선호만 밝힙니다. 내 페이지를 생성형 AI 학습에 써도 되는지 여부입니다. 학습이란 기업이 콘텐츠를 모델에 넣어 모델이 그 내용을 익히게 하는 단계를 말합니다.
이 라벨은 누군가가 내 사이트를 방문하는 것을 막지 않습니다. 초안에도 이 라벨이 크롤링 규칙이 아니라고 분명히 적혀 있습니다. 또한 어시스턴트가 고객의 질문에 답하려고 내 페이지를 찾아보는 경우 같은 실시간 AI 답변과도 관련이 없습니다. 소규모 사업자에게는 좋은 소식입니다. 학습은 거부하면서도 AI 검색에서 발견되고 인용될 수 있기 때문입니다. 이 부분이 중요하다면 AI 답변에 언급되는 방법을 다룬 입문 가이드를 읽어 보세요.
OpenAI의 발표와 나머지 세 곳에 관한 언론 보도에 따르면 적용 시기는 회사마다 다릅니다.
- Anthropic: 2026년 10월에 적용을 시작했습니다.
- OpenAI: 앞으로 몇 달 안에 적용할 계획입니다.
- Microsoft: 2027년 2월 1일을 목표로 합니다.
- Google: 2027년 초를 목표로 하며, 이 라벨을 Google-Extended 거부로 취급할 예정입니다.
그래도 지금 이 줄을 추가해 두는 편이 좋습니다. 수정에는 2분이면 충분하고, 각 회사가 적용을 시작할 때 이미 준비가 끝나 있기 때문입니다.
1단계: 내가 정말 원하는 것을 정하기
무엇이든 건드리기 전에 사이트를 두 묶음으로 나누어 보세요.
- 널리 퍼지기를 바라는 페이지: 서비스, 가격, 위치, 보도 자료 페이지입니다. 모델이 이런 내용을 배우면 사람들이 나를 찾는 데 도움이 될 수 있습니다.
- 그 자체가 상품인 페이지: 유료 가이드, 강의 내용, 독자적인 조사 자료, 판매 중인 레시피나 템플릿입니다.
지식을 판매한다면 사이트 전체를 거부하고 몇 가지 예외만 허용하세요. 사이트가 대부분 안내 책자 같은 역할을 한다면 걸린 것이 크지 않습니다. 아무것도 하지 않거나, 유료 자료가 든 폴더만 막아도 무방합니다. 여기에 정답은 없고, 나중에 마음을 바꿔도 됩니다.
2단계: robots.txt 파일 찾기
브라우저에 도메인을 입력하고 끝에 /robots.txt를 붙이세요. yourbusiness.com/robots.txt처럼 입력하면 됩니다. 짧은 텍스트 파일이 보이거나, 아직 파일이 없다면 오류 페이지가 나타납니다. 보이는 내용을 메모장에 복사해 백업해 두세요.
3단계: 사용하는 플랫폼의 편집기 열기
파일을 편집하는 곳은 사이트를 어떻게 만들었느냐에 따라 달라집니다.
- WordPress: WordPress가 이 파일을 자동으로 만들기 때문에 서버에서 열 파일이 없는 경우가 많습니다. Yoast나 Rank Math 같은 SEO 플러그인에 파일 편집기가 들어 있고, 호스팅을 통해 직접 만든 파일을 올릴 수도 있습니다.
- Shopify: robots.txt.liquid라는 테마 템플릿을 편집합니다.
- Wix: SEO 설정에서 robots.txt 편집기를 찾으세요.
- Squarespace 및 기타 폐쇄형 빌더: 직접 편집을 허용하지 않을 수 있습니다. 시간을 들여 찾기 전에 최신 도움말 페이지부터 확인하세요.
사이트 앞단에서 Cloudflare를 쓰고 있다면 관리형 robots.txt 기능이 켜져 있는지 확인하세요. 이 기능이 방문자에게 보이는 내용을 추가하거나 바꿀 수 있습니다.
4단계: 줄 추가하기
파일 끝에 빈 줄을 하나 넣은 다음, 아래 내용을 별도의 그룹으로 붙여 넣으세요.
User-Agent: __usage_ai-training
Disallow: /특정 페이지를 열어 두려면 예외를 추가합니다. 다음은 보도 자료 폴더를 뺀 나머지 전체를 거부하는 예입니다.
User-Agent: __usage_ai-training
Disallow: /
Allow: /press/피해야 할 실수가 두 가지 있습니다. 첫째, User-Agent: *라고 적힌 줄 아래에 Disallow: /를 추가하지 마세요. 이 그룹은 Google을 포함한 모든 크롤러에게 적용되므로 검색 결과에서 사라질 수 있습니다. 둘째, 기존 그룹이 이미 학습까지 다룬다고 생각하지 마세요. 초안에 따르면 와일드카드 그룹은 인정되지 않으므로, 이 라벨을 한 번도 언급하지 않은 파일은 아무런 선호도 밝히지 않은 것이 됩니다.
5단계: 테스트하기
저장한 다음 시크릿 창에서 yourbusiness.com/robots.txt를 열어 새로 넣은 줄이 보이는지 확인하세요. Google Search Console을 쓴다면 robots.txt 보고서에서 Google이 마지막으로 가져온 버전을 볼 수 있습니다. 그런 다음 주요 페이지가 여전히 잘 열리는지, 파일의 다른 부분이 바뀌지 않았는지 간단히 점검하세요.
6단계: 이미 작동하는 규칙으로 공백 메우기
새 라벨은 아직 도입이 진행 중이므로, 기존의 회사별 규칙을 오늘 바로 추가할 수 있습니다. OpenAI의 크롤러 문서는 학습 데이터를 수집하는 GPTBot과 검색을 담당하는 OAI-SearchBot을 구분합니다. Anthropic의 학습용 크롤러는 ClaudeBot이고, Google은 Google-Extended라는 라벨을 사용합니다. AI 검색에서 빠지지 않으면서 학습을 거부하려면 이 세 가지만 막으세요.
User-Agent: GPTBot
User-Agent: ClaudeBot
User-Agent: Google-Extended
Disallow: /OpenAI는 기존 크롤러 규칙이 새 신호와 함께 계속 유지된다고 밝혔으므로, 이 줄들은 헛수고가 아닙니다.
이 방법으로 할 수 없는 일
한계는 솔직하게 받아들여야 합니다. 이것은 선호 표시일 뿐이며, 기업이 존중하기로 선택해야 효력이 있습니다. 이미 학습된 모델 안에 들어간 콘텐츠에는 아무 영향이 없습니다. 아무것도 약속한 적 없는 소규모 스크레이퍼는 무시할 수 있습니다. 비공개 라이선스 계약이 이를 덮어쓸 수도 있습니다. 초안 자체도 아직 IETF에서 공식 지위가 없는 개인 제출 문서이고 세부 내용이 바뀔 수 있으니, 봄에 다시 확인해 보세요.
저작권 전략도 아닙니다. 내 저작물에 대한 권리는 이 파일에 달려 있지 않으며, AI 결과물에 대해 주장할 수 있는 권리와도 별개의 문제입니다. 이 내용은 저작권 오해를 다룬 글에서 다룬 바 있습니다. 콘텐츠가 수입의 핵심이라면 어떤 robots.txt 줄보다 변호사와의 짧은 상담이 더 값집니다.
20분 체크리스트
- 페이지를 “널리 퍼뜨릴 것”과 “내 상품”으로 나눕니다.
- 현재 robots.txt를 백업합니다.
- __usage_ai-training 그룹을 예외와 함께 추가합니다.
- 당장의 대비를 위해 GPTBot, ClaudeBot, Google-Extended를 추가합니다.
- 시크릿 창에서 테스트한 다음, 2027년 3월에 다시 검토하도록 캘린더 알림을 설정합니다.
파일을 열어 둔 김에, 기계가 내 사이트에서 또 무엇을 읽는지도 생각해 보세요. 고객의 AI 에이전트가 내 정책을 읽는 시대를 대비하는 계획이 다음으로 읽기에 좋습니다.
