24小時抓取百萬次,Anthropic AI公司被指過度抓取網站數據快訊
導讀
如果 @AnthropicAI 想要就我們內容的商業使用許可進行交流,要負責任地開發 AI,但通過 ClaudeBot 機器人過度抓取網站數據。
7 月 31 日消息,金融時報(FT)發布博文,指出 AI 公司 Anthropic 雖然聲稱“要負責任地開發 AI”,但通過 ClaudeBot 機器人過度抓取網站數據,用于訓練 Claude 大語言模型。
盡管使用網絡爬蟲抓取數據是人工智能行業普遍做法,但 Anthropic 因其激進程度而受到批評。
自由職業者網站 Freelancer 也表示,ClaudeBot 在四小時內訪問了 350 萬次,被迫對其進行屏蔽。批評者指出,Anthropic 無視網站的 robots.txt 協議,強行獲取數據,與其宣稱的“負責任的 AI”理念相悖。

維修團隊 iFixit 首席執行官 Kyle Wiens 于 7 月 24 日發布推文,翻譯如下:
@AnthropicAI,我知道你渴望獲取數據,且 Claude 模型也非常聰明,但真的有必要 24 小時內訪問我們的服務器 100 萬次嗎?
這些流量沒有向我們付費,且占用了我們開發資源,這真的不太厚道。
我們的服務條款中已經明確禁止通過這種方式使用我們的內容,但你悄悄 @AnthropicAI 是怎么做的。
如果 @AnthropicAI 想要就我們內容的商業使用許可進行交流,我們愿意溝通。(故淵)
1.TMT觀察網遵循行業規范,任何轉載的稿件都會明確標注作者和來源;
2.TMT觀察網的原創文章,請轉載時務必注明文章作者和"來源:TMT觀察網",不尊重原創的行為TMT觀察網或將追究責任;
3.作者投稿可能會經TMT觀察網編輯修改或補充。