[上海]上海鱼耀金融信息服务有限公司

职能类别:大学/大专应届毕业生

岗位职责

1、负责开发网络爬虫系统，完成数据采集与爬取、解析处理、入库等数据日常工作；
2、研究各种网页探寻特点和规律，负责网页信息抽取、数据清洗等研发和优化工作；
3、负责领域知识的定向爬取、深度提取和挖掘；
4、配合数据的清洗、整理、去重及合并等工作；
5、负责性能优化、处理能力和效率提高；负责与大数据工程师、数据挖掘、分析人员、运营及产品等协同工作，完成数据统计、查询和分析。

岗位要求

1、 计算机专业，熟悉网页抓取原理及技术，熟悉基于Cookie或JWT的网站登录原理，熟悉基于正则表达式、XPath、CSS等网页信息；
2、 精通Python编程语言，精通JavaScript，对HTTP协议及HTML有深入的了解；
3、 熟练掌握数据库开发，对数据处理和数据质量有较深认识；精通至少一种主流数据NoSQL、MySQL数据库；
4、 熟悉Http Client、ajax、WebDriver、htmlunit、Nutch、Selenium、ETL、HtmlParser等技术优先；
5、了解 Go 语言优先。

公司名称:上海鱼耀金融信息服务有限公司 公司类型:民营公司 公司介绍:鱼耀