|
岗位职责:
1、负责各类数据的爬取、接口调用接入,清洗、转换、存储以及数据处理等工作;
2、根据业务、产品和项目相关需求,负责数据验证、数据管理、数据服务接口、数据分析等功能的开发维护工作;
任职要求:
1、有大规模数据抓取经验,熟练掌握Python语言、分布式爬虫框架Scrapy;
2、能解决如图片验证码/滑块/封账号/封IP等反爬问题,熟练的从结构化/非结构化数据中解析提取数据;
3、能够熟练使用Redis、MySQL、ES等数据库工具进行数据处理开发;
4、责任心强,有良好的沟通能力,学习能力;
5、有Google/Tiktok/facebook/Twitter等平台开发经验优先考虑;
项目报酬我们会根据不同项目难易程度来双方协商,有意向可以联系我:15717182049(微信同号)
|
|