過半電商網(wǎng)站訪問量來自爬蟲！“爬蟲AI化”給防控威脅帶來新挑戰(zhàn)快訊
Akamai以雙重應對策略、邊緣網(wǎng)絡快速識別及機器學習精細化識別技術(shù)，這要求電商網(wǎng)站必須采取更為先進的策略來區(qū)分正常訪問與惡意爬蟲，對于掃描漏洞、抓取內(nèi)容或竊取用戶信息的惡意爬蟲。
【TechWeb】8月6日消息，近日，負責支持和保護網(wǎng)絡生活的云服務提供商Akamai發(fā)布的最新SOTI報告《侵蝕您的利潤：網(wǎng)絡爬蟲程序?qū)﹄娚绦袠I(yè)有何影響》顯示，在針對電商網(wǎng)站的69億次請求進行分析時發(fā)現(xiàn)，人類訪問行為占據(jù)了49%，即接近一半的訪問量來自真實用戶，而剩余的略多于一半則是由各類機器人“爬蟲”完成的。其中，高風險類別的爬蟲占據(jù)了總爬蟲活動的27%，它們對企業(yè)的運營構(gòu)成了嚴重威脅，可能執(zhí)行諸如撞庫、數(shù)據(jù)竊取、庫存惡意抓取等惡意行為。
爬蟲是“Robot”（機器人）的縮寫，它是一段能夠模擬正常用戶行為的代碼。與瀏覽器不同，爬蟲在執(zhí)行任務時更為高效且針對性強，能夠迅速抓取目標信息。
業(yè)內(nèi)根據(jù)爬蟲行為性質(zhì)與影響，將爬蟲分為幾大類：善意的爬蟲如搜索引擎，它們?yōu)樾畔⒘魍ㄅc檢索提供了便利；中性爬蟲往往很嘈雜，盡管它們?nèi)匀皇呛戏ǖ模凰鼈儗嶋H上是好機器人的一個子類別，包括不斷發(fā)送請求的合作伙伴機器人和其他頻繁調(diào)用程序API的機器人；而有害的爬蟲，則可能從事撞庫攻擊、庫存抓取等惡意行為，嚴重損害企業(yè)利益與安全。
那么，在電商環(huán)境中，不法分子如何利用爬蟲技術(shù)從中獲利呢？
通過爬蟲技術(shù)來搶購“全網(wǎng)最低價”商品，進而倒賣賺取差價，是其中重要的一種獲利方式。首先，爬蟲會廣泛搜集銷售這些產(chǎn)品的網(wǎng)站數(shù)據(jù)，包括價格、庫存等關(guān)鍵信息。隨后，通過對比分析，找出價格最優(yōu)、優(yōu)惠力度最大的電商平臺。基于這些信息，不法分子可能在另一個平臺上開設店鋪，以準新或全新未開封的產(chǎn)品進行轉(zhuǎn)售，利用價格優(yōu)勢實現(xiàn)盈利。
當然，爬蟲帶來的問題遠不止于此。對于電商網(wǎng)站而言，由于爬蟲與真實用戶的訪問量相當，且爬蟲通常部署在云端或高性能服務器上，其訪問效率遠超普通用戶。這導致電商網(wǎng)站在處理爬蟲請求時可能消耗大量資源，進而影響正常用戶的訪問體驗，降低網(wǎng)站轉(zhuǎn)化率。此外，爬蟲還可能干擾市場營銷分析工具的數(shù)據(jù)收集，導致決策依據(jù)失真。更糟糕的是，某些爬蟲專注于抓取特定產(chǎn)品頁面的深層鏈接，可能導致這些頁面因請求量過大而無法正常服務。
Akamai北亞區(qū)技術(shù)總監(jiān) 劉燁
Akamai北亞區(qū)技術(shù)總監(jiān)劉燁向TechWeb表示，電商領(lǐng)域爬蟲如此活躍背后，有幾個原因：
一是，在電商領(lǐng)域，設計或編寫一個爬蟲程序已變得相當便捷，得益于互聯(lián)網(wǎng)上廣泛提供的“爬蟲即服務”（Scraper as a Service, SaaS）模式。這些服務不僅簡化了爬蟲的開發(fā)流程，還提供了豐富的功能選項，從內(nèi)容抓取到數(shù)據(jù)分析一應俱全。盡管它們中的大多數(shù)聚焦于中性爬蟲應用，旨在幫助用戶進行市場調(diào)研、競品分析等非惡意活動，但同時也需警惕其潛在的濫用風險。
二是，隨著技術(shù)的進步，爬蟲服務日益智能化，融入了AI和機器學習技術(shù)，Bot變成了AI Botnets，它們能夠自動從多個數(shù)據(jù)源抓取內(nèi)容，通過預設的邏輯進行數(shù)據(jù)抽取與分析，最終輔助用戶制定競爭策略、優(yōu)化產(chǎn)品定位及價格策略等。這種一站式解決方案，無論是對于尋求業(yè)務增長的合法用戶，還是意圖不當?shù)膼阂馐褂谜撸继峁┝藰O大的便利。
需要注意的是，爬蟲越來越難以識別。特別是采用“無頭瀏覽器”等技術(shù)的爬蟲，能夠模擬人類訪問行為，使得傳統(tǒng)安全手段難以有效識別與攔截。同時，很多Botnets，尤其是AI Botnets，采用了多種“反封禁”策略，導致技術(shù)上識別變得更加困難。此外，爬蟲會不斷變化，防住一次后，下一次可能會出現(xiàn)變種，這對企業(yè)構(gòu)成了巨大的挑戰(zhàn)。傳統(tǒng)安全手段難以有效識別與攔截。這要求電商網(wǎng)站必須采取更為先進的策略來區(qū)分正常訪問與惡意爬蟲。
對于企業(yè)和安全廠商來說，最大挑戰(zhàn)就是識別爬蟲的難度加大，管理和封禁這些爬蟲的難度也隨之增加。
對此，劉燁給電商企業(yè)利用和防控爬蟲技術(shù)提出兩步走建議：首先，要能夠識別Bot；其次，針對不同類型的Bot，采取相應的應對措施。
Akamai提出了雙重應對策略：首先，在邊緣網(wǎng)絡層面，我們利用預定義的訪問異常特征和協(xié)議指紋來快速識別并限制惡意爬蟲。其次，通過深入分析訪問行為（如鼠標移動軌跡、鍵盤敲擊模式）和設備指紋，結(jié)合機器學習模型，進一步細化識別精度，確保對潛在威脅的精準打擊。例如，對于掃描漏洞、抓取內(nèi)容或竊取用戶信息的惡意爬蟲，采用更為嚴格的防護機制；而對于那些有助于提升網(wǎng)站質(zhì)量或服務的良性爬蟲，則采取更加靈活的管理策略。同時，Akamai采取更多自動化策略。當出現(xiàn)新的攻擊類型時，不需要人為干預，策略引擎能夠自動部署新的策略，有針對性地阻止這些新攻擊。這是應對快速變化的攻擊類型和產(chǎn)品演進的重要措施。
Akamai以雙重應對策略、邊緣網(wǎng)絡快速識別及機器學習精細化識別技術(shù)，不僅能夠有效抵御惡意爬蟲的侵害，還確保了電商網(wǎng)站的穩(wěn)定運行與數(shù)據(jù)安全。隨著網(wǎng)絡威脅的不斷演變，Akamai將持續(xù)創(chuàng)新，為企業(yè)提供更加智能、高效的安全解決方案，引領(lǐng)行業(yè)安全標準的新高度。（果青）
1.TMT觀察網(wǎng)遵循行業(yè)規(guī)范，任何轉(zhuǎn)載的稿件都會明確標注作者和來源；
2.TMT觀察網(wǎng)的原創(chuàng)文章，請轉(zhuǎn)載時務必注明文章作者和"來源：TMT觀察網(wǎng)"，不尊重原創(chuàng)的行為TMT觀察網(wǎng)或?qū)⒆肪控熑危?br>
3.作者投稿可能會經(jīng)TMT觀察網(wǎng)編輯修改或補充。
