一步一步編寫自己的PHP爬取動態(tài)IP項(xiàng)目！ 第一章主要是普及爬蟲的概念和相關(guān)知識，讓大家為后續(xù)的學(xué)習(xí)打下扎實(shí)的基礎(chǔ)。 如果你是有經(jīng)驗(yàn)的開發(fā)者，可以跳過第一章，進(jìn)入第二章。  

 

本項(xiàng)目主要關(guān)注兩個(gè)核心點(diǎn)：

 

1。  PHP爬蟲

 

2。  Proxy IP

 

先說一下什么是爬蟲。 簡單來說，爬蟲就是一個(gè)檢測機(jī)器。 它的基本操作是模擬人類去各種網(wǎng)站的行為。 四處走走，單擊按鈕，檢查數(shù)據(jù)，或背誦您看到的信息。 這就像一只蟲子在建筑物中不知疲倦地爬來爬去。  

 

而我們最常見和最常用的爬蟲是百度。 百度就是用這種爬蟲技術(shù)：每天向各個(gè)網(wǎng)站發(fā)布無數(shù)爬蟲，抓取它們的信息，等你搜索。還有各種類型的搶票軟件，每一個(gè)爬蟲幫你不斷刷新12306網(wǎng)站上剩余的火車票。 找到票后，您可以立即購買。  

 

隨著時(shí)代的發(fā)展，人們發(fā)現(xiàn)并不是所有的爬蟲都像百度和搶票軟件一樣對我們的生活有所幫助。 也有很多非法入侵的爬蟲。 這些爬蟲不僅不會幫助我們，甚至?xí)孤段覀兊暮芏嘈畔ⅰ?nbsp; 

 

人們討厭這種爬蟲類，于是另一種技術(shù)誕生了，反爬蟲類。話說有一天，小明想去電影院看電影，但不知道看哪部電影，所以他想從里面爬一些影評 多個(gè)網(wǎng)站，讓自己變得更好 決定看什么電影。 于是小明寫了一個(gè)標(biāo)準(zhǔn)的爬蟲（基于HttpClient庫），不斷遍歷某站電影下的影評頁面，根據(jù)Html解析電影名，存入自己的數(shù)據(jù)庫中。  

 

但是電影網(wǎng)站的工作人員小紅已經(jīng)不高興了。 您使用爬蟲來爬取我們的電影評論。 那么誰還在我們的網(wǎng)站上呢？ 我們?nèi)绾纬鍪蹚V告以獲取利潤？小紅發(fā)現(xiàn)某段時(shí)間內(nèi)請求量急劇增加，日志分析發(fā)現(xiàn)都是IP（X.X.X.X）用戶，而useragent還是JavaClient1.6，基于這兩點(diǎn)，判斷非人為直接在Nginx服務(wù)器上進(jìn)行攔截。  

 

小明發(fā)現(xiàn)自己的影評只爬了三分之一就被屏蔽了，于是他相應(yīng)地改變了策略，每半小時(shí)換一個(gè)IP代理。  

 

所以這涉及到我們項(xiàng)目的第二點(diǎn)，代理IP。 這個(gè)術(shù)語對于一些剛?cè)腴T的新手來說可能有點(diǎn)陌生。 其實(shí)代理IP也可以理解為代理服務(wù)器。  

 

代理服務(wù)器是瀏覽器和網(wǎng)絡(luò)服務(wù)器之間的服務(wù)器。 當(dāng)您通過代理服務(wù)器瀏覽 Internet 時(shí)，瀏覽器不會直接到 Web 服務(wù)器檢索網(wǎng)頁。 而是向代理服務(wù)器發(fā)送請求，代理服務(wù)器檢索瀏覽器需要的信息并發(fā)送給您的瀏覽器 

這樣電影網(wǎng)站的小紅就不能 認(rèn)出來。 哪個(gè)IP是我們的，我們也能順利拿到想要的影評。  （但在實(shí)踐中，爬蟲攻擊和防御的方式比較多，這里就不一一贅述了）。