馬斯克和特朗普，這對白宮二人轉最近「嘴炮大戰」進入到 2.0 時期。和這對歡喜冤家類似的，是國外出版商集團和 AI 巨頭之間的相愛相殺——一方面有大出版商要和 AI 公司合作，另一方面也有出版商誓死要把 AI 巨頭告破產。
根據數據，AI 搜索和 ChatGPT 出現后，全球網站流量都在下降；另一方面，AI 巨頭的「AI 爬蟲」卻不顧爬蟲協議，以數萬次的爬取不斷侵蝕所有網站的數據。
這時候，終于有一家基建公司站了出來，挽著內容創作者的手說：「我們可以對 AI 巨頭說不！」
Cloudflare，這家掌控全球約 20% 網絡流量的互聯網基礎設施巨頭，被網民譽為「賽博菩薩」的公司，在 2025 年 7 月上線了一個實驗性產品和交易市場：「Pay Per Crawl」——給 AI 爬蟲立下了新規矩：
要么獲得許可，要么付費。
簡單來說，這個功能的本質是給網站內容創作者一個選項「開關」：可以選擇允許 AI 爬蟲自由訪問，按次爬取收費，抑或者直接封鎖訪問。
按照 Cloudflare 創始人的說法，「內容是驅動 AI 引擎的燃料，因此，內容創作者直接獲得報酬才是公平的?！?span style="display:none">YBF速刷資訊——每天刷點最新資訊，了解這個世界多一點SUSHUAPOS.COM
對 AI 公司來說，想繼續抓取全網內容來訓練模型，不能再像以前那樣「免費吃大餐」。但也不是沒有好處，因為根據明碼標價付費，可以避免版權爭議問題。
Cloudflare 這次的「防蟲」舉措，能緩解 AI 爬蟲的肆意攻擊嗎？更重要的是，這家公司能否利用自己獨特的地位，建立起一個全新的 AI 時代內容分發和變現模式？
01 AI巨頭的「免費午餐」
過去幾十年，大多數網頁默認是公開「可爬」的。谷歌、Bing 這類搜索引擎為網站帶來流量，有了流量，網站再通過廣告或銷售訂閱變現——這是搜索時代的隱形契約。
可 AI 時代，傳統搜索流量驟降，這筆賬越算越虧。
AI 公司把全網內容當作訓練燃料，卻幾乎不用給大部分創作者回報。當用戶直接在 AI 聊天機器人里提問，答案往往來源于總結好的內容，而不是數十個藍色鏈接，不會給網站帶來更多流量。
甚至于谷歌這樣的搜索巨頭本身也在變化，以前他們提供網站鏈接列表，如今他們在搜索頁面推出了「人工智能概述」，據他們的報告，75% 的查詢用戶無需點擊任何鏈接就得到了解答。
Cloudflare 2025 年 7 月的最新數據顯示：谷歌的爬蟲大約每 6 至 7 次抓取給網站帶回 1 次點擊，而 OpenAI 則是 1500 次才換來 1 次跳轉，Anthropic 的比例甚至更夸張，高達 73300 次換 1 次。
這意味著，傳統的「內容換流量」模式失效了。相比傳統搜索引擎，AI 巨頭們吃掉了海量網站內容，卻不給「導流」，這種失衡讓一些內容生產者愈發難以為繼。
「有了 OpenAI，網站流量獲取難度比谷歌時代高出 750 倍，而有了 Anthropic，難度更是高達 3 萬倍。原因很簡單：我們越來越不再消費原創內容，而是消費它們的衍生品?！笴loudflare CEO Matthew Prince 在一篇博文中稱，「這不是一個公平的交易」。
AI 公司爬數據也不是沒有代價的，這兩年 AI 巨頭一直被指控「偷內容」來訓練大模型，引發全球范圍的版權訴訟潮，尤其是紐約時報等新聞機構和 OpenAI 訴訟不斷。
因此，Cloudflare 推出「Pay Per Crawl」，建立一個「按次付費爬取」的市場，想要解決的正是這個問題。
該公司設計了一個權限和支付系統，網站可以在后臺選擇對 AI 爬蟲「允許、封鎖或收費」，AI 爬蟲如果想抓取該網站內容，必須注冊、驗證身份，并在每次訪問時完成支付。
如果順利，這一模式能讓網絡內容從「廣告變現」走向「內容授權變現」，開拓全新的收入來源。無論是大媒體，還是冷門小博客，都能在 AI 時代擁有議價權，被 AI 付費使用。
為了強調其意義，Cloudflare CEO 還將「Pay Per Crawl」推出的這一天稱為：
「內容的獨立日」。
02 AI 「過路費」怎么收？
當然，設想很美，但技術怎么落地？
Cloudflare 這家公司起家靠的是提供 CDN、DDoS 防護、DNS、零信任安全等服務，它在全球 300 多個城市部署了節點，承載約 20% 的 Web 流量，給它當「中介」提供了方便。
「Pay Per Crawl」建立在它全球 CDN 網絡的中間層：它能在訪問請求進到源站前就識別和處理 AI 爬蟲。站長可以在 Cloudflare 后臺設定三種模式：允許、收費、封鎖。
所有新加入 Cloudflare 的網站默認封鎖 AI 爬蟲，除非站長主動允許。只有與 Cloudflare 建立合作關系的 AI 公司才能參與支付機制，否則將被封鎖。
如果 AI 爬蟲向付費 URL 發起請求，尚未付費，Cloudflare 就會返回 HTTP 402 Payment Required 狀態碼——一個過去幾乎沒人用的、專門為「網絡支付」預留的狀態碼。AI 爬蟲可以在請求里帶上支付信息，以表示同意支付配置的價格，一旦匹配價格就放行返回 200 OK，并自動結算。
更重要的是，這并不是靠簡單的 User-Agent 欺騙就能繞過的。Cloudflare 要求 AI 公司注冊密鑰，用數字簽名保證身份。這也是為了防止「山寨爬蟲」冒充合規者逃避支付。
過去，robots.txt 是一個放在網站根目錄下的純文本文件，用來告訴搜索引擎的爬蟲哪些頁面可以抓取，哪些不可以，但它只是網站的「禮貌建議」，很多 AI 爬蟲根本不理會。Cloudflare 的方案改變了這一點，把現有的、靠 robots.txt 的「軟約束」變成了「硬閘門」。
不過，據 Cloudflare 稱，目前排名前 10000 的域名中，只有約 37% 擁有 robots.txt 文件。
如果要參與 Cloudflare 的爬取付費市場，爬取方、被爬取方都必須開設 Cloudflare 賬戶。截至目前，「Pay Per Crawl」仍處于內測階段，僅部分大型出版商參與，如 BuzzFeed、《大西洋月刊》和《財富》等，Cloudflare 還在持續公開征集有意向的內容創作者和抓取者。
「我們預計按次付費模式將迎來顯著發展。」Cloudflare 官方稱。
雖然目前仍處于初期階段，但該公司對未來還有很多設想。比如，出版商或其他機構可以針對不同內容類型收取不同費用，或者根據 AI 應用的用戶數量進行動態定價，或者根據訓練、推理、搜索等不同領域引入更細粒度的定價策略。
他們還認為，按次付費爬蟲的真正潛力或許會在 Agent 智能代理的世界中顯現。
「如果智能代理付費墻能夠完全以程序化的方式運作，會怎樣？想象一下，你可以請你的深度研究助手幫你整理最新的癌癥研究、法律簡報，或者幫你找最好的餐廳——然后給這位智能代理一筆預算，用于獲取最有用、最相關的內容。」
「以 HTTP 402 響應代碼為基石的首個解決方案，將開啟一個智能代理能夠以程序化方式協商訪問數字資源的未來。」Cloudflare 稱。
03 Internet 的十字路口
從經濟層面來說，這可能是 AI 和廣大內容創作者「重新談判分賬」的開端。
現在，只有頭部大媒體能和 AI 公司談授權（比如 紐約時報告了 OpenAI 后才談成和解），絕大多數中小網站、論壇甚至個人作者都被「默默爬走」，毫無反抗的能力，或者說意識。Cloudflare 的方案，實際上可以把這種議價能力普及到更廣泛的網站。
據 Cloudflare 團隊稱，他們與新聞機構、出版商和大型社交媒體平臺進行了數百次對話，他們一致「希望允許 AI 爬蟲訪問其內容，但希望獲得報酬。」
對于支持者來說，「Pay Per Crawl」模式在理念上很「公平」：創作者有了收入，AI 公司也避免了法律風險，長遠看能推動整個產業走向更合規的內容許可。
當然，AI 公司未必開心，互聯網數據不再免費，要抓新內容，就得花錢，這意味著算力之外的成本要素。
但另一方面，這也或許會抑制濫抓取，也迫使 AI 模型開發者在數據上更有選擇性——比如針對性購買高價值的內容，而不是一股腦地把各種網站內容都喂進模型里。
Matthew Prince 稱，「AI 引擎就像一塊瑞士奶酪，真正能夠填補這塊奶酪孔洞的全新原創內容，比如今占據網絡大部分版面的重復性、低價值內容更有價值?！?span style="display:none">YBF速刷資訊——每天刷點最新資訊，了解這個世界多一點SUSHUAPOS.COM
在他看來，流量一直以來都無法準確衡量內容的價值，「如果我們能夠開始對內容進行評分和評估，不是根據它產生了多少流量，而是根據它對知識的促進程度（以它填補了多少 AI 引擎「瑞士奶酪」中的現有孔洞來衡量）——我們不僅可以幫助 AI 引擎更快地進步，而且有可能促進高價值內容創作的新黃金時代?！?span style="display:none">YBF速刷資訊——每天刷點最新資訊，了解這個世界多一點SUSHUAPOS.COM
不過，數字權利倡導者可能會提出：小型 AI 創業團隊、研究者、開源社區，能否承擔這樣的數據成本？學術研究、公益存檔這些「良性爬蟲」會不會寸步難行，只能訪問有限、低價值的數據源？
在一個廣告收益下滑、流量成本高漲的現實里，會有多少網站愿意無償開放給 AI 爬蟲吸血？這會不會成為「封閉化」的開始，讓互聯網失去它的自由與共享精神？
如果全網都默認封鎖收費，這會不會無意中加劇「大廠壟斷」？畢竟，大廠比較有錢。
「Pay Per Crawl」模式，一方面試圖解決 AI 吸血內容卻不反哺的問題，另一方面，也有可能在無意中加高 AI 創新的門檻，回到版權保護與知識開放的老命題。
當然，Cloudflare 只是給網站更多自主權。網站所有者完全可以選擇對公益、非營利項目繼續免費開放。權力仍然在創作者手里。不管怎么說，他們值得獲得「補償」。
在 Cloudflare CEO 的話里，這場變革的目標是「構建更美好的互聯網」。「我們尚不知道所有答案，但我們正在與一些頂尖的經濟學家和計算機科學家合作尋找答案?！?span style="display:none">YBF速刷資訊——每天刷點最新資訊，了解這個世界多一點SUSHUAPOS.COM
目前，其他其他 CDN 和安全提供商（比如 Akamai、Fastly、Amazon CloudFront）尚未宣布類似的功能。
雖然 Cloudflare 的「Pay Per Crawl」看起來只是一個 CDN 產品的新功能，但從某種意義上說：
它可能成為互聯網走到一個分岔口的信號。
在搜索時代，內容的價值是通過用戶訪問轉化為廣告收益。但 AI 時代，用戶可能根本不會再點進網站——所有答案都在聊天機器人里總結生成。是繼續讓 AI 大模型免費挖掘網絡內容，還是在數據獲取上回歸「互惠」原則，讓創作者獲得應有的補償？補償又能有多少？
這個早期實驗可能在為一個新的 AI 時代數據經濟形態鋪路，無論成敗如何，它的立場很明顯：AI 不能無限透支創作者的耐心，并在「開放」的名義下把人的勞動變成免費的燃料。
「網絡正在發生變革，它的商業模式也將隨之改變。在這個過程中，我們有機會從過去的 30 年里學到好的地方，讓它在未來變得更好?！?span style="display:none">YBF速刷資訊——每天刷點最新資訊，了解這個世界多一點SUSHUAPOS.COM
至于，事情是不是能真的變好，像 Cloudflare 自己承認的那樣：
「這僅僅是個開始?！?span style="display:none">YBF速刷資訊——每天刷點最新資訊，了解這個世界多一點SUSHUAPOS.COM
本文鏈接：「賽博菩薩」發威，AI 巨頭的「免費午餐」時代終結了http://www.sq15.cn/show-3-148159-0.html
聲明：本網站為非營利性網站，本網頁內容由互聯網博主自發貢獻，不代表本站觀點，本站不承擔任何法律責任。天上不會到餡餅，請大家謹防詐騙！若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。
上一篇： 香港地產巨頭，等來800多億救命錢
下一篇： 當年輕人談論AI ，是在談論什么？