
此信息由前程无忧(51JOB)审核并发布(查看原发布网址),应届生求职网转载该信息只是出于传递更多就业招聘信息,促进大学生就业的目的。如您对此转载信息有疑义,请与原信息发布者前程无忧(51JOB)核实,并请同时联系本站处理该转载信息。
岗位职责:
1,负责爬虫系统的框架设计和开发,完成采集任务、多线程爬虫;
2、设计各种算法,提升抓取效果;
3、对互联网海量业务进行整合、分析挖掘;
4、与技术团队进行沟通,负责爬虫数据与业务系统的整合对接
岗位要求:
1、掌握网络爬虫开发原理,对互联网各种类型数据交互模式熟悉,知道如何处理需登录网站、动态网页等各种情况下的数据采集方法。
2、精通html语言,熟悉开源工具,熟悉基于正则表达式、XPath等的信息抽取技术。
3、有网络爬虫开发经验、有scrapy等开源抓取工具开发经验优先。
4、熟悉至少一种关系型数据库(Mysql等)