Python爬虫工程师(兼职或项目外包) 岗位职责: 1、负责研究网站特质,数据要素分析、提取、整合,并制定采集方案和计划; 2、负责爬虫相关数据存储机制设计; 3、参与设计数据有效利用策略,从数据合理性、完整性角度提供建议。 岗位要求: 1、熟悉Linux/UNIX,3年以上Python爬虫开发经验,至少独立负责过1个完整爬虫项目; 2、精通网页抓取原理及技术,充分利用带宽资源,设计结构化和非结构化数据提取、存储策略; 3、合理利用网站反爬机制,设计防屏蔽策略;熟悉多线程编程、网络通信编程和分布式数据处理,熟悉各种常用的文本处理工具集/科学计算工具包/机器学习数据挖掘工具包; 4、熟练使用Mysql、Mongodb等SQL、NoSQL数据库; 5、有过大型项目垂直搜索引擎设计或智能爬虫(机器学习)开发经验者优先;
联系172561188@qq.com, qq172561188
|