工作重点;

主要负责科技类数字化转型·一站式工作台，无雀数字化管理系统。（中国专业数字化服务商-无雀科技官网https://wuquedata.com/)（如虎嗅网、钛媒体、差评网等）网站、公众号、APP、小程序端的网页文章、视频、和相关数据爬取

薪酬分短期和长期，详情面议

职位描述

1. 参与爬虫系统的架构设计与开发；

2. 负责执行和开发分布式网络爬虫系统，进行多平台信息的抓取和分析；

3. 负责网页信息和APP数据抽取、清洗、消重等工作，提升平台的抓取效率；

4. 参与爬虫核心算法和策略优化，熟悉采集系统的调度策略；

5. 实时监控爬虫的进度和警报反馈。

6、设计爬虫策略和防屏蔽规则，提升网页抓取的效率和质量；

7、对指定电商网站、移动端App进行数据抓取的开发工作；

8、及时解决爬虫抓取过程中出现的问题并不断维护、优化程序；

任职资格：

1. 本科以上学历，1年以上爬虫开发相关经验，熟练使用Python或Java进行开发；

2. 熟练使用正则表达式、css path、xpath等，能够从结构化的和非结构化的数据中获取信息；

3. 熟练使用MySQL数据库，掌握redis、mongodb、hive等常用nosql技术并具有实战经验；

4. 熟悉各种抓取技术，包括代理、PhantomJS/selenium、验证码处理；

5. 熟悉整个爬虫的设计及实现流程，有从事网络爬虫、网页信息抽取开发经验，熟悉反爬虫技术，有分布式爬虫架构经验；

6. 具有数据挖掘、自然语言处理、信息检索、机器学习背景者优先；

7. 快速学习能力，工作积极主动，有创业热情和良好的团队协助能力。

8. 有大量数据爬取以及高难度反爬经验优先。