根據(jù) Akamai Technologies 最新的報告，機(jī)器人占據(jù)了整體網(wǎng)站流量的42%，其中65% 的機(jī)器人屬于惡意類型。

報告指出，隨著對盜取網(wǎng)站數(shù)據(jù)的需求增加，電子商務(wù)行業(yè)受到了高風(fēng)險機(jī)器人流量的嚴(yán)重影響。盡管一些機(jī)器人對業(yè)務(wù)有利，但網(wǎng)頁抓取機(jī)器人被用于競爭情報和間諜活動，庫存囤積，冒名網(wǎng)站創(chuàng)建等惡意行為，這對企業(yè)的利潤和客戶體驗產(chǎn)生了負(fù)面影響。

報告還發(fā)現(xiàn)，企業(yè)面臨著來自惡意或有益目的的抓取所帶來的技術(shù)影響，如網(wǎng)站性能下降、網(wǎng)站指標(biāo)污染、來自釣魚網(wǎng)站的憑證受損攻擊、計算成本增加等。

報告還提供了對抗網(wǎng)頁抓取機(jī)器人的緩解策略，并展示了一個案例研究，說明一旦建立對抗這些機(jī)器人的防御措施，網(wǎng)站運(yùn)行得更快、更有效。

主機(jī)吧之前的網(wǎng)站就是一堆的爬蟲機(jī)器人，時不時就來一下，導(dǎo)致服務(wù)器CPU經(jīng)常飆升100%，為此還利用百度云防護(hù)進(jìn)行了惡意搜索攔截，現(xiàn)在服務(wù)器清凈很多，也快很多。