近來,一系列來自華為海外子公司的爬蟲程式令外國各個主機的管理者頭痛不已,因為其爬蟲程式常傳出主機正常運作受到影響,這可能與華為正在開發中的華為搜尋有關,而且似乎可以從中感受到華為的時間壓力。
爬蟲是一種網路行為,其歷史幾乎與網際網路一樣悠久,創立20多年的Google卓越的搜尋服務除了來自於演算法之外,爬蟲也是功不可沒,而各個網站與使用爬蟲的搜尋引擎之間也存在互利共生的關係。
然而近期一支名為AspiegelBot的爬蟲程式卻令外國許多網站管理者感到為難。近幾個月來,網路上傳出華為爬蟲程式因為高頻截取網站資料而影響網站運作,網路社群也開始分享因應之道,3月時Jason Dotnet分析爬取其伺服器內容的來源排名,第1名是近年來高度活躍的Ahrefs,第2名就是來自華為的Aspiegel,而開發者平台Hypernode更統計,屬於華為在愛爾蘭分公司Aspiegel的1支爬蟲程式,自3月以來爬取頻率更是扶搖直上。
爬蟲是一種網路行為,其歷史幾乎與網際網路一樣悠久,創立20多年的Google卓越的搜尋服務除了來自於演算法之外,爬蟲也是功不可沒,而各個網站與使用爬蟲的搜尋引擎之間也存在互利共生的關係。
然而近期一支名為AspiegelBot的爬蟲程式卻令外國許多網站管理者感到為難。近幾個月來,網路上傳出華為爬蟲程式因為高頻截取網站資料而影響網站運作,網路社群也開始分享因應之道,3月時Jason Dotnet分析爬取其伺服器內容的來源排名,第1名是近年來高度活躍的Ahrefs,第2名就是來自華為的Aspiegel,而開發者平台Hypernode更統計,屬於華為在愛爾蘭分公司Aspiegel的1支爬蟲程式,自3月以來爬取頻率更是扶搖直上。