"한 번 설정으로 AI 학습 거부"...오픈AI·구글·MS·앤트로픽 동참

오픈AI, 구글, 마이크로소프트, 앤트로픽이 웹사이트의 AI 학습 거부 의사를 공통 신호로 전달할 수 있는 체계를 도입하기로 했다. IETF 'AI선호도(AIPREF)' 작업반 논의를 기반으로, robots.txt 파일에 'User-Agent: __usage_ai-training'과 'Disallow: /' 두 줄을 추가하면 여러 기업에 한꺼번에 학습 거부 의사를 표시할 수 있다. 오픈AI는 수개월 내 구현할 계획이며, 구글은 2027년 초, 마이크로소프트는 2027년 2월 1일부터 새 방식을 적용한다. 다만 이는 IETF 정식 표준이 아닌 인터넷 초안 단계로, 따르지 않는 AI 기업에 대한 강제력은 없다.

이 일이 어디서 왔나

이번 조치는 10월 30일 더버지가 보도한 오픈AI·구글·MS·앤트로픽의 AI 스크래핑 차단 표준 합의의 후속 내용으로, 앤트로픽 기술 리더가 IETF에 제안한 '정책 토큰' 신호를 구체화한 것이다. 같은 시기 메타는 10월 30일 시행 약관 개정으로 광고·비즈니스 목적의 콘텐츠 크롤링 권한을 확대하면서도, robots.txt를 통한 의사 표시는 여전히 유효하다고 밝힌 바 있어 대형 AI 기업들의 크롤링 정책이 서로 다른 방향으로 움직이고 있다.