此信息由山东师范大学审核并发布(查看原发布网址),应届生求职网转载该信息只是出于传递更多就业招聘信息,促进大学生就业的目的。如您对此转载信息有疑义,请与原信息发布者山东师范大学核实,并请同时联系本站处理该转载信息。
岗位职责:
(1)负责研究和分析目标网站,探索和研究高效的数据抓取解决方案;
(2)负责网页信息和APP数据抽取、清洗、去重等工作;
(3)负责爬虫核心算法的策略优化研究,提升爬虫抓取效率和质量(如调权调度、分析预测、质量判断、封禁与反封禁研究等)。
任职要求:
(2)全日制专科或本科学历;
(2)精通Python,掌握至少一种爬虫框架(比如scrapy、pyspider等),熟悉Linux系统;
(3)熟悉爬虫相关技术,如:httpClient/jSoup/xpath/CSS/正则表达式/验证码加密处理/代理池等网页信息抽取技术;
(4)了解攻克验证码、动态加载数据、IP限制、cookie验证等常见反爬手段的技术;
(5)熟练使用MySQL数据库;
(6)有搜索引擎、信息检索、机器学习等相关经验者优先。