優秀的爬蟲策略有哪些特性?
經常使用代理IP的爬蟲工作者都知道，互聯網上擁有海量的數據，對應的爬蟲工作量非常艱巨，所以爬蟲程序的性能至關重要。不同網站對應的爬蟲策略各不相同，那么優秀的爬蟲策略都具備哪些特性呢？
1.友好性
爬蟲的友好性有兩個含義：一是保護目標網站的部分私密性，二是減少目標網站的網絡負載。對于網站所有者來說，有些內容是不希望被泄露的，一般會有robot.txt文件來指定禁止爬取的內容，或者在HTML代碼里加入 meta name="robots"標記。友好的爬蟲，一定會遵守這個協議。
2.高性能
高性能指的是指爬蟲的高效性、穩定性、持續性，單位時間內能穩定持續爬取的網頁越多，那么爬蟲的性能就越高。要提高爬蟲的性能，在程序設計時對數據結構的選擇尤為重要，同時爬蟲的策略以及反反爬蟲的策略也不容忽視，并且需要利用天啟代理IP這類優質的代理IP來輔助爬蟲工作。
3.可擴展性
即使單個爬蟲的性能提高了，但面對海量的數據依然需要相當長的周期，為了盡量縮短爬蟲的任務周期，爬蟲系統還應該有很好的擴展性，可以通過增加抓取服務器和爬蟲數量來達到目的。每臺服務器部署多個爬蟲，每個爬蟲多線程運行，通過多種方式增加并發性，也就是分布式爬蟲。
