搜索引擎url采集

  

  

一米智能搜索引擎url采集主要優勢包含以下幾點：


搜索引擎url采集


1、支持國外與國內多個主流搜索引擎，每個引擎的參數可單獨控制;


2、可自動檢測當前網絡屬于國內還是國外，用于部分國外引擎的初始網絡代理設定判斷。


3、無需特定環境與依賴，可直接運行;


4、自動去重過濾。同時支持按url模式或者域名模式進行重復判斷;


5、支持webhook，采集的結果，可實時推送到自定義遠程API接口;


6、CPU占用、內存資源占用低;


7、跨平臺，同時支持windows各主流版本操作系統、以及Centos、Ubuntu、Mac等各版本操作系統;


8、支持自定義保存數據字段(域名、網址、所屬引擎、標題、描述、IP、訪問狀態碼等)


9、支持自定義代理功能，同時支持本地txt載入代理，以及支持代理平臺API接口，可自定義自動更新時間頻率;

  

上一條：采集搜索引擎

下一條：搜索引擎采集器

相關資訊

推薦軟件