最近，主機(jī)幫發(fā)現(xiàn)旗下的一個(gè)云加速網(wǎng)站越來(lái)越卡，明明沒有什么流量，但是服務(wù)器越來(lái)越卡。

查詢?cè)L問日志后，發(fā)現(xiàn)一個(gè)名叫SemrushBot的爬蟲一直在抓取網(wǎng)站，頻率非常高，可以說到了喪心病狂的地步。

主機(jī)幫查了下，這個(gè)SemrushBot 是 SEMrush 的蜘蛛爬蟲。

SEMrush是一家老牌的提供搜索引擎優(yōu)化數(shù)據(jù)的公司，而SemrushBot 這個(gè)爬蟲就是他們專門收集互聯(lián)網(wǎng)網(wǎng)站數(shù)據(jù)的，對(duì)國(guó)內(nèi)網(wǎng)站來(lái)說，一點(diǎn)用處都沒有，國(guó)外的網(wǎng)站大多也屏蔽這個(gè)蜘蛛，原因是不僅網(wǎng)站數(shù)據(jù)暴露了，還嚴(yán)重影響服務(wù)器性能。

主機(jī)幫專用百度云防護(hù)自定義規(guī)則把這個(gè)蜘蛛攔截了。

昨天設(shè)置攔截后，我們今天來(lái)看攔截效果，一天攔截了幾萬(wàn)次的SemrushBot 請(qǐng)求，這還不到24小時(shí)！可見SemrushBot 是有多喪心病狂。