如何保證代理IP的穩(wěn)定運(yùn)行？由于代理IP分布在全國各地，線路多，集群結(jié)構(gòu)復(fù)雜，部分線路不定期升級(jí)，代理鏈路偶爾可能會(huì)斷開。平臺(tái)提供雙機(jī)熱備代理服務(wù)器(切換時(shí)間1分鐘左右)，保證代理服務(wù)實(shí)時(shí)在線，爬蟲程序需要相應(yīng)優(yōu)化。有兩種方案:

 

動(dòng)態(tài)IP模擬器

(1)自動(dòng)更新代理IP提取鏈接(優(yōu)先級(jí)推薦，實(shí)時(shí)更新)

 

爬蟲程序需要啟動(dòng)一個(gè)專用線程，每1分鐘訪問一次“代理提取鏈接”。如果代理IP和端口發(fā)生變化，爬蟲程序需要自動(dòng)更新代理信息。(因?yàn)榕老x服務(wù)器外網(wǎng)IP變化或者其他網(wǎng)絡(luò)原因，代理信息獲取偶爾可能會(huì)失敗，重新發(fā)起請(qǐng)求即可)。

 

(2)域名訪問模式(長(zhǎng)延遲被動(dòng)更新)

 

通知專屬客服開啟“域名訪問模式”，爬蟲程序通過“域名和端口”連接代理服務(wù)器。定期檢查平臺(tái)。一旦發(fā)現(xiàn)在線代理服務(wù)器異常，就在后臺(tái)更新域名。由于DNS服務(wù)器同步時(shí)間長(zhǎng)，在線檢測(cè)間隔長(zhǎng)，所以這種方案是一種替代方案。