|
岗位职责： 1、负责需求分析和设计、Python代码开发和单元测试，对代码质量和进度负责； 2、负责多平台信息爬取和页面内容的提取分析，负责**各类反爬机制； 3、研究爬虫策略和防屏蔽规则，解决封账号、封IP、验证码、页面跳转等难点， 提升网页抓取的效率和质量； 4、负责爬虫平台的构建，实现爬虫产品可视化、产品化； 5、参与架构设计、开发规范制订、技术文档编写、关键技术验证和选型。 6、解决工程中的关键问题和技术难题 任职要求： 1、3年以上Python爬虫经验； 2、熟悉多线程、网络编程、网页抓取原理、正则表达式、HTTP协议等； 3、熟悉开源web框架，如Flask,Django等； 4、熟悉开源爬虫框架，如scrapy-splash、pyspider等； 5、熟练使用Mysql、Redis、Kafka等中间件； 6、有海量主流电商平台数据爬取经验，能迅速响应电商平台变动做规则调整； 7、有开发爬虫框架经验优先，熟悉反爬虫、验证码识别技术者优先； 8、熟悉编写网络爬虫采集规则，对反爬、加解密、代理等关键技术理解透彻，具有群控和搜索相关技术研发经验者优先； 9、具备良好的沟通、团队合作、技术指导能力，对解决挑战型问题充满**
欢迎各位小伙伴推荐或自荐： 猎头微信：wxid_dzsrdrf7dzaj12
| 
