|
|
工作内容：
1、专注于垂直领域数据爬取，进行多平台信息的抓取和分析；
2、参与爬虫系统架构的设计和开发，构建高效的爬虫系统；
3、研究优化爬虫算法，提升爬虫系统的稳定性、可扩展性；
4、设计爬虫策略和防屏蔽规则，提升网页抓取的效率和质量；
5、能独立解决实际开发过程中碰到的各类问题
任职要求：
1、熟悉TCP/IP、HTTP、HTTPS等网络协议，熟悉web前端，可读懂js代码 熟悉前端异步请求方式；；
2、熟练使用Python语言，熟悉常用爬虫框架如Scrapy等。
3、熟练使用selenium，lxml, bs4 xpath 正则表达式对xml，html的文本进行抓取解析清理；
4、有分布式爬虫开发经验，熟悉反爬虫技术及破解方法；
5、熟悉MySql/MongoDB/Redis等常用数据库
联络方式：
Telegram：9267586049 微信：a1134551535 QQ：1134551535 Email：b1134551535@gmail.com
|
|
