|
岗位名称：数据爬虫工程师 招聘人数：1-2人 职位月薪：看能力、看期待薪资 工作性质：全职 位置：大连西岗区 岗位职责： 1.编写大规模分布式网络爬虫（多线程、分布式调度、协议处理）； 2.系统解决动态网页内容抓取.深度网页内容抓取的关键技术； 3.对负责大数据高性能分布式处理系统的开发感兴趣； 4.对设计网络爬虫的架构，和网络爬虫代码的编写以及数据上线和日常维护工作感兴趣； 5.不断学习最新反抓取技术，突破采集障碍。 职位要求： 1.熟练使用fiddler、wireshark、BurpSuite等工具。 2.精通HTTPS及 TCP 底层协议，熟练掌握网页端、移动app端数据抓取原理及技术、正则表达式、多线程，具有丰富的反IP封锁经验，并有实际项目多线程操作经验。 3.熟悉MySql数据库及数据存储技术，有较好的数据库设计能力； 4.精通网页抓取原理及技术.深度抓取.动态网页技术抓取、浏览器模拟抓取技术，从结构化的和非结构化的数据中获取信息； 5.精通爬虫和反爬技术； 6.熟悉分布式系统、多线程。 7.对网络安全、网络爬虫精通其一，且想从事爬虫相关工作的也可考虑。 另外，有意向来大连发展的爬虫小伙伴也可以联系我 QQ2751874139
| 
