云端爬蟲(chóng)（cloudflare-scrape）
IT之家 7 月 1 日消息，云端互聯(lián)網(wǎng)安全和性能優(yōu)化公司 Cloudflare 宣布了一系列新措施，爬蟲(chóng)旨在幫助網(wǎng)站抵御 AI 爬蟲(chóng)的云端無(wú)限制抓取，同時(shí)探索一種新的爬蟲(chóng)商業(yè)模式，以保障互聯(lián)網(wǎng)內(nèi)容創(chuàng)作者的云端利益。
據(jù)IT之家了解，爬蟲(chóng)根據(jù) Cloudflare 的云端最新政策，每一個(gè)與該公司簽約以管理其網(wǎng)站流量的爬蟲(chóng)新域名客戶將被詢問(wèn)是否允許 AI 爬蟲(chóng)訪問(wèn)其網(wǎng)站，還是云端選擇完全屏蔽這些爬蟲(chóng)此前，Cloudflare 已于 2024 年推出了一款免費(fèi)工具，爬蟲(chóng)用于阻止 AI 爬蟲(chóng)，云端但此次更新后，爬蟲(chóng)用戶無(wú)需手動(dòng)調(diào)整設(shè)置即可默認(rèn)屏蔽 AI 爬蟲(chóng)。云端
目前，爬蟲(chóng)包括康泰納仕（Condé Nast）、云端《時(shí)代》雜志（TIME）和美聯(lián)社（The Associated Press）在內(nèi)的多家大型出版商已經(jīng)選擇屏蔽 AI 爬蟲(chóng)Cloudflare 首席執(zhí)行官馬修?普林斯（Matthew Prince）指出，出版商正面臨一場(chǎng)“生存危機(jī)”，因?yàn)橛脩舨辉冱c(diǎn)擊聊天機(jī)器人提供的原始鏈接。
如果用戶不訪問(wèn)這些網(wǎng)站，網(wǎng)站就無(wú)法獲得維持運(yùn)營(yíng)所需的廣告收入普林斯在一份聲明中表示：“原創(chuàng)內(nèi)容是互聯(lián)網(wǎng)成為過(guò)去一個(gè)世紀(jì)最偉大發(fā)明之一的關(guān)鍵，創(chuàng)作者必須繼續(xù)創(chuàng)作AI 爬蟲(chóng)無(wú)限制地抓取內(nèi)容，我們的目標(biāo)是將權(quán)力重新交還給創(chuàng)作者，同時(shí)幫助 AI 公司繼續(xù)創(chuàng)新。
這關(guān)乎通過(guò)一種新的模式，保障一個(gè)自由且充滿活力的互聯(lián)網(wǎng)的未來(lái)”
此外，Cloudflare 還啟動(dòng)了一項(xiàng)名為“按爬取付費(fèi)”的私人測(cè)試項(xiàng)目，該項(xiàng)目允許網(wǎng)站所有者向 AI 爬蟲(chóng)收取訪問(wèn)內(nèi)容的費(fèi)用Cloudflare 解釋稱(chēng)：“每次 AI 爬蟲(chóng)請(qǐng)求內(nèi)容時(shí)，它們要么通過(guò)請(qǐng)求頭展示支付意愿以獲得成功訪問(wèn)（HTTP 200 響應(yīng)代碼），要么收到一個(gè) 402 付款所需響應(yīng)，其中包含定價(jià)信息。
”該公司將記錄這些交易并提供底層技術(shù)基礎(chǔ)設(shè)施出版商可以選擇允許某些爬蟲(chóng)免費(fèi)訪問(wèn)其內(nèi)容，同時(shí)也可以為其網(wǎng)站上的其他爬蟲(chóng)設(shè)定統(tǒng)一的按請(qǐng)求收費(fèi)價(jià)格Cloudflare 表示，“按爬取付費(fèi)”目前仍處于早期階段，預(yù)計(jì)未來(lái)會(huì)不斷演變。
公司還支持開(kāi)發(fā)其他市場(chǎng)平臺(tái)和收費(fèi)方式，例如允許出版商根據(jù)內(nèi)容類(lèi)型設(shè)置動(dòng)態(tài)定價(jià)