|
Python爬虫工程师（兼职或项目外包） 岗位职责： 1、负责研究网站特质，数据要素分析、提取、整合，并制定采集方案和计划； 2、负责爬虫相关数据存储机制设计； 3、参与设计数据有效利用策略，从数据合理性、完整性角度提供建议。 岗位要求： 1、熟悉Linux/UNIX，3年以上Python爬虫开发经验，至少独立负责过1个完整爬虫项目； 2、精通网页抓取原理及技术，充分利用带宽资源，设计结构化和非结构化数据提取、存储策略； 3、合理利用网站反爬机制，设计防屏蔽策略；熟悉多线程编程、网络通信编程和分布式数据处理，熟悉各种常用的文本处理工具集/科学计算工具包/机器学习数据挖掘工具包； 4、熟练使用Mysql、Mongodb等SQL、NoSQL数据库； 5、有过大型项目垂直搜索引擎设计或智能爬虫（机器学习）开发经验者优先；
联系172561188@qq.com, qq172561188
| 
