职位描述:
久谦咨询是一家由前麦肯锡顾问创立的管理咨询公司,咨询团队成员主要来自外资一线管理咨询公司以及国内前五高校的毕业生,技术团队主要由前雅虎、百度、豆瓣的高级工程师组成,现招募网络爬虫方向工程师(经验不限),上海办公地点在徐家汇。
公司网站:ww***com[点击查看]
如有意向,请将简历投递至:recruiting@ 标题为[爬虫工程师]_姓名_学校
工作职责:
- 理解项目需求,制定网络数据抓取规划,负责爬虫程序编写、数据清洗以及汇总
- 设计各种策略和算法,优化爬虫效率
- 构建通用可扩展的爬虫框架
基本要求:
- 至少熟悉一门脚本语言(python/perl/ruby等)
- 了解HTTP协议和各种Web前端技术(HTML/JavaScript/AJAX等),熟悉正则表达式和XPath
- 熟悉至少一种数据库系统(SQL/NoSQL皆可)
- 扎实的编程基础和良好的编程习惯
- 良好的沟通能力
加分:
- 熟练使用一种开源爬虫框架(Scrapy/Nutch等)
- 具有分布式爬虫架构经验
|