崗位要求: 1、負責設計爬蟲架構以及優化爬蟲策略,提升抓取的效率和質量。 2、根據業務需求,爬取大型電商類平臺信息并進行提取和分析,為業務部門提供數據支持。 3、負責現有爬蟲的完善和維護工作,提升爬蟲系統穩定性。 4、對爬蟲系統及數據進行定期的檢查,處理常見問題,保證爬取工作的高效開展。