
此信息由复旦大学审核并发布(查看原发布网址),应届生求职网转载该信息只是出于传递更多就业招聘信息,促进大学生就业的目的。如您对此转载信息有疑义,请与原信息发布者复旦大学核实,并请同时联系本站处理该转载信息。
软件开发工程师:
1、负责设计和开发爬虫系统,微信小程序等定制化需求,进行多平台信息的抓取和分析工作;
2、负责网页信息和微公众号平台信息抽取、清洗、消重等工作,提升平台的抓取效率;
3、负责爬虫核心算法和策略优化;
4、实时监控爬虫的进度和警报反馈;
5、根据开发需求,完成基于PYTHON的模块开发。
职位要求:
1、掌握Python语言,有良好的编码习惯;
2、熟悉面向对象编程方法;
3、有扎实的算法和数据结构能力;
4、熟悉爬虫原理,熟悉常见的反爬虫技术,有爬虫相关项目开发经验者优先;
5、了解Linux系统基本操作;
6、掌握http协议,熟悉html、dom、xpath等常见的数据抽取技术;
7、有大规模数据处理、数据挖掘、信息提取等经验者优先。