보도 자료. 2026년 9월 15일

Cloudflare, 검색과 AI 학습 사이의 양자택일 문제 해소에 나서다

본 보도 자료는 다음 언어로도 볼 수 있습니다 Deutsch, English, Español (España), Español (Latinoamérica), Français, Indonesia, Nederlands, Tiếng Việt, ไทย, 日本語, 繁體中文

오늘부터 새로운 제어 기능과 권장 설정이 도입되어, 퍼블리셔와 기업은 검색, AI 학습, AI 에이전트에서 자신의 콘텐츠가 사용되는 방식을 독립적으로 제어할 수 있습니다. 주요 혼합 사용 크롤러도 이러한 선택을 존중하는 제어 기능을 이미 제공하거나 개발하고 있습니다.

캘리포니아주 샌프란시스코, 2026년 9월 15일 — 선도적인 클라우드 연결성 기업인 Cloudflare, Inc. (NYSE: NET)는 오늘 AI 크롤링에 대한 새로운 책임 있는(Accountable) 지정 제도를 발표했습니다. 이에 맞춰 Cloudflare는 모든 웹사이트에서 검색 결과 노출은 온전히 유지하면서 AI 학습은 거부할 수 있도록 하는 설정인 Disallow AI Training을 출시했습니다. 11주 전 Cloudflare는 웹사이트 소유자가 AI가 자신의 콘텐츠를 사용하는 방식을 실질적으로 제어할 수 있어야 한다고 밝히며, 크롤러 운영자가 지속적인 액세스 권한을 얻기 위해 제공해야 할 사항을 제시했습니다. 이제 Apple, Google, Microsoft는 책임 있는(Accountable) 운영자로 지정되었으며, 이러한 기준을 충족함을 입증했거나 기준 충족을 위한 구체적인 일정을 제시했습니다. 그 밖의 혼합 사용 크롤러는 사이트 소유자가 Block Training을 설정하면 차단됩니다.

거의 30년 동안 크롤러와 웹사이트 소유자 간의 거래는 간단했습니다. 크롤러가 사이트를 크롤링하는 대신 그 대가로 트래픽을 보내 주는 방식이었습니다. AI는 이 조건을 바꿔 놓았습니다. 하나의 크롤러가 검색 색인과 AI 학습 모두를 위해 콘텐츠를 수집하는 혼합 사용 크롤러는 현재 Cloudflare 네트워크에서 검증된 크롤러 트래픽의 36.6%를 차지하며, 단일 카테고리로는 가장 큰 비중입니다. 대부분의 웹사이트 소유자는 여전히 검색에 노출되기를 원합니다. 검색 크롤러를 차단하는 비율은 1% 미만인 반면, AI 학습을 제한하는 비율은 17%입니다. 오늘 이전까지는 적절한 제어 기능을 갖추지 않은 크롤러의 경우, 학습을 거부하려면 검색 노출까지 포기해야 했습니다.

"이것이 바로 우리가 인터넷을 더 나은 곳으로 만드는 방법입니다. 검색의 가치를 높이는 개방성을 유지하면서, 웹을 만들어 가는 사람과 기업에 자신의 작업물이 사용되는 방식을 실질적으로 제어할 수 있도록 하는 것입니다."라고 Cloudflare의 공동 창립자 겸 CEO인 Matthew Prince는 말했습니다. 이어 "건전한 생태계를 함께 구축해 나가는 과정에서 Apple, Google, Microsoft 같은 기업과 지속적으로 협력하기를 기대합니다."라고 덧붙였습니다.

혼합 사용 크롤러는 AI 학습 문제에서 가장 해결하기 어려운 부분이었습니다. 다음 과제는 AI 요약입니다. Cloudflare가 책임 있는(Accountable) 운영자로 지정한 모든 운영자는 사이트 소유자에게 AI 요약을 거부할 수 있는 방법을 제공해야 합니다. 현재 이 설정은 운영자별로 각각 지정하는 허용/거부 방식입니다. Cloudflare는 내년 초까지 사이트 소유자가 콘텐츠의 포함 범위를 한곳에서 제어할 수 있도록 하는 것을 목표로 하고 있습니다.

새로운 제어 기능, 새로운 권장 사항

Cloudflare는 기존의 “Block AI Bots" 스위치를 검색, AI 학습, AI 에이전트에 각각 적용되는 세 가지 독립적인 제어 기능으로 대체합니다. 이제 Cloudflare를 사용하는 신규 웹사이트에는 비즈니스 모델에 맞춘 권장 설정이 제안됩니다.

광고를 게재하는 사이트: 검색 크롤링은 허용되고, AI 학습은 허용되지 않으며, 광고 게재 페이지에서는 AI 에이전트가 차단됩니다.
A기타 모든 사이트: 광고 수익에 의존하지 않는 대부분의 웹사이트가 이미 운영하는 방식과 마찬가지로 검색, AI 학습, AI 에이전트가 모두 허용됩니다.

Cloudflare는 Managed Robots.txt" 기능도 "Bot Preference Sync"로 대체합니다. 이 기능을 통해 사이트 소유자가 크롤링 선호 사항을 한 번만 설정하면 지원되는 모든 크롤러에 자동으로 적용됩니다. 고객은 언제든지 설정과 선호 사항을 손쉽게 변경할 수 있습니다.

책임 있는 AI 크롤링

Cloudflare는 혼합 사용 크롤러를 포함해 책임 있고 투명한 AI 크롤링을 위한 명확한 기준을 마련했습니다. 운영자는 다음 네 가지 요건을 충족하거나, 지정된 기한 내에 충족할 것을 약속해야 합니다.

robots.txt 또는 이에 상응하는 표준을 통해 사이트 소유자가 AI 학습을 명확하게 거부할 수 있는 방법 제공
사이트 소유자가 AI 생성 검색 요약을 거부할 수 있도록 허용
사이트 소유자에게 콘텐츠가 검색 및 학습에 어떻게 사용되는지에 대한 URL 수준의 가시성 제공
학습을 거부해도 기존 검색에서 사이트 순위에 영향을 미치지 않는다는 점을 공개적으로 확인

Apple, Google, Microsoft는 이 기준을 충족함을 입증했습니다. 예를 들어, Google은 사이트가 Google 검색은 거부하지 않고도 학습을 거부할 수 있도록 하는 제어 기능인 Google-Extended를 제공하며, 올해 초에는 웹사이트 소유자가 검색 환경의 AI에 대응할 수 있도록 돕는 새로운 도구를 발표했습니다. 다른 주요 AI 기업들은 검색과 학습에 별도의 크롤러를 사용합니다. 이를 통해 Cloudflare는 검색에는 영향을 미치지 않으면서 해당 기업의 학습 크롤러를 차단할 수 있으므로, 이러한 크롤러도 책임 있는(Accountable) 크롤러로 분류합니다. Cloudflare는 기준을 충족하는 운영자의 전체 목록을 Cloudflare Radar에 게시합니다.

또한 Cloudflare는 IETF(Internet Engineering Task Force)의 개방형 표준 작업에 적극적으로 참여하고 있습니다. 여기에는 모든 웹사이트가 표준화되고 이식 가능한 방식으로 AI 액세스 선호 사항을 표현할 수 있도록 하는, 현재 개발 중인 사양 "ai-prefs"가 포함됩니다. 오늘 발표된 제어 기능은 이러한 새로운 표준과 함께 작동하도록 설계되었습니다.

Cloudflare의 AI 및 콘텐츠 제어 접근 방식에 대해 자세히 알아보려면 다음 자료를 참조하세요.

Cloudflare 소개

Cloudflare, Inc.(NYSE: NET)는 주요 클라우드 연결성 기업입니다. Cloudflare에서 지원하는 조직에서는 복잡성과 비용을 줄이면서 직원, 애플리케이션, 네트워크를 어디에서든 더 빠르게 하고 더 안전하게 보호할 수 있습니다. Cloudflare의 클라우드 연결성은 클라우드 네이티브 제품 및 개발자 도구로 구성된 가장 완전한 기능의 통합 플랫폼을 제공하므로 모든 조직에서는 업무, 개발, 비즈니스 가속화에 필요한 제어 능력을 확보할 수 있습니다.

세계 최대 규모이자 상호 연결성이 가장 뛰어난 네트워크 중 하나를 기반으로 Cloudflare에서는 고객을 위해 매일 수십억 건의 온라인 위협을 차단합니다. 가장 규모가 큰 브랜드, 기업가, 중소기업, 비영리단체, 인도주의 단체, 전 세계의 정부 등 수백만 개 조직에서 Cloudflare를 신뢰합니다.
Cloudflare의 클라우드 연결성에 대한 자세한 정보를 확인하려면 cloudflare.com/connectivity-cloud를 참조하세요. 최신 인터넷 동향과 인사이트에 대한 자세한 정보를 확인하려면 radar.cloudflare.com을 참조하세요.

Cloudflare 팔로우하기: 블로그 | X | LinkedIn | Facebook | Instagram

미래지향적 진술

본 보도 자료에는 1933년 증권법(개정 포함) 제27A조 및 1934년 증권거래법(개정 포함) 제21E조에 규정된 미래지향적 진술이 포함되어 있으며, 이러한 진술에는 상당한 위험과 불확실성이 수반됩니다. “할 수 있음”, “할 것임”, “할 가능성이 있음”, “할 것으로 예측됨”, “살펴볼 예정임”, “계획하고 있음”, “기대하고 있음”, “가능성이 있음”, “하려 함”, “목표로 함”, “예상함”, “고려함”, “믿음”, “추정함”, “예측함”, “가능성”, “계속해서” 등의 단어 및 해당 단어의 부정형, 또는 Cloudflare의 예측, 전략, 계획 또는 의도와 관련된 유사한 단어 또는 표현을 통해 미래지향적 진술이 확인되는 경우가 있습니다. 하지만 모든 미래지향적 진술에 이와 같이 확인할 수 있는 단어가 포함되지는 않습니다. 이 보도 자료에 포함된 미래지향적 진술은 명시적이든 묵시적이든 다음 사항에 관한 진술을 포함하며, 이에 국한되지 않습니다. 여기에는 Disallow AI Training, Bot Preference Sync 및 Cloudflare의 기타 제품과 기술의 기능과 효과, Disallow AI Training, Bot Preference Sync 및 Cloudflare의 기타 제품과 기술을 사용함으로써 Cloudflare 고객이 얻을 수 있는 이점, Disallow AI Training, Bot Preference Sync 또는 관련 기능이 모든 기존 및 잠재적인 Cloudflare 고객에게 정식 출시되는 시기, Cloudflare의 기술 개발, 향후 운영, 성장, 이니셔티브 또는 전략, 그리고 Cloudflare의 CEO 및 기타 관계자가 언급한 내용이 포함됩니다. Cloudflare에서 2026년 8월 6일 양식 10-Q에 작성해서 제출한 Cloudflare의 2026년 6월 30일 마감 분기 보고서 및 SEC에 수시로 제출할 수 있는 기타 제출물 등을 포함하는 증권거래위원회(SEC) 제출물에 명시된 위험 및 그 밖의 여러 이유로, 실제 나오게 될 결과는 미래지향적 진술에서 표현되거나 암시된 결과와 크게 다를 수 있습니다.

본 보도 자료의 미래지향적 진술은 해당 진술이 이루어진 날짜를 기준으로 한 사건에만 관련됩니다. 법적으로 요구되는 경우를 제외하고, Cloudflare에서는 본 보도 자료에서 사용한 미래지향적 진술을 보도 자료 시점 이후 발생한 사건 및 현황, 새로운 정보, 예측 불가능했던 사건의 발생 등을 반영해 갱신할 의무를 지니지 않습니다. Cloudflare는 자사의 미래지향적 진술에서 공개한 계획, 의도 또는 예측을 달성하지 못할 가능성이 있으며, Cloudflare의 미래지향적 진술을 과도하게 신뢰해서는 안 됩니다.