為了分析網絡爬蟲的分類，通常會使用以下幾種類型的爬蟲：

分布式爬蟲：Nutch

JAVA爬蟲：Crawler4j、WebMagic、WebCollector

非JAVA爬蟲：scrapy（基于Python語言開發）

我們知道，很多線上任務都需要代理IP的支持，比如線上投票、補充結果、線上購物訂單、知名品牌監測、市場需求分析等。沒有代理lP的支持，工作真的很難開展。那么代理lp是從哪里來的呢，以下是獲得lP代理支持以聯機工作的一些方法我看看。

首先，收集免費的代理IP。

互聯網上有很多免費的代理IP，這個IP是免費的，雖然費率太低，但對于一些低成本預算的從業者來說，為了省錢而放棄自己的時間是可以承受的，如何收集大量的免費IP。手動復制肯定不行，速度太低了。方式有：使用代理IP專用工具吸收免費代理IP，批量認證有效，一鍵導出代理IP，非常方便。

第三方專用工具。

互聯網上有很多集成的專用工具，也有很多代理IP，可以一鍵切換IP。雖然速度很低，但很多人都在用，而且速度很快。它勉強能夠完成一些手動操作或者單線程掛機操作，也沒有辦法支持一些多線程的任務。

購買代理IP。

與免費代理IP相比，互聯網上很多付費代理IP的速度會高很多。比如IP模擬器游戲助手短打優質代理IP、單手專用代理IP、專屬IP池等，效率高、穩定性好、速度快，極大的支持在線工作，有需要的朋友可以根據自己的需求進行選擇。

以上是使代理IP支持在線工作的一些方法，朋友們也可以根據自己的需要獲得代理IP。當然還有其他的辦法，這必須由朋友們自己來考慮，沒有最好的方法，只有最適合您企業的方法。