工作职责：
1、负责分布式爬虫系统平台的设计与开发（如抓取调度，页面解析和结构化抽取，海量数据存储和读取等）；
2、研究爬虫策略和防屏蔽规则，解决封账号、封IP、验证码、页面跳转、接口有鉴权签名等难点，提升数据抓取的效率和质量；
3、把握网络爬虫核心技术研究方向，研究优化策略，提升爬虫系统的稳定性、可扩展性；
4、带领爬虫团队完成数据采集工作（与后台工程师对接，完成实时数据与离线数据的爬取与对接）。
5、对数据采集业务有深度的理解，能够提出完整的数据采集-清洗-数据管理(数据质量监控）-应用方案

职位要求：
1、计算机相关专业，3年及以上爬虫经验；有分布式爬虫系统设计经验
2、良好的代码能力，扎实的数据结构和算法功底，有快速迭代、逐步优化的工程项目经验；
3、精通反爬技术，精通http协议；精通深度抓取、动态网页技术抓取、浏览器模拟抓取、APP抓取等技术；
4、熟悉分布式系统、多线程、协程，精通scrapy框架以及原理，有开发爬虫框架经验；
5、对主流爬虫架构有深入研究，具有成熟爬虫工具的设计及运维经验。
6、有很强的学习能力和技术钻研能力，积极主动，思维灵活开放，有良好的沟通能力，善于跨团队合作；
7、有自然语言处理、大数据处理相关经验优先
8、有建筑行业数据获取经验者优先

江苏建易通信息技术有限公司始创于2005年，由原宿迁市远大企业管理技术咨询服务中心为基础重组设立。公司位于全国文明城市，风景秀丽的西楚霸王项羽的故乡—宿迁。公司地址：宿迁市宿城区千百美商务广场律师大厦14楼。
公司以超前独特的运营思路和远景规划，独辟蹊径，广纳贤才，打造而成一支管理规范、技术过硬、作风稳健、富于激情和创业精神的专业化团队。专业致力于为建筑业企业资质、房地产企业资质提供全面咨询服务、建筑业资源共享数据平台等,是宿迁市同行业中的领跑者。我公司服务内容包括：企业资质代办、企业资质转让、企业资质平移，建设类专业人才输送等。以诚信、稳健、创新、卓越、共赢为理念，立足宿迁，面向全省，不断壮大公司实力，全方位、全过程为新老客户提供全新、高效的服务。
         因为专注，所以专业。公司拥有庞大的专业服务团队，现有各类专业服务人员30多人。公司在发展中注重与业界资深人土合作，以及拥有多名资深专业人士指导，强强联手，共同发展壮大，为建筑业企业拥有更强大的竞争力贡献微薄之力。公司储备大量的相关管理人员和各种高、中、初级的工程技术人员等。打造成一支战无不胜，攻无不克的强大队伍。凭借雄厚的资金优势、专业人才优势和行业资源优势已经成功地为数千家企业提供各种代理和咨询服务，深受广大客户的好评与信任。
        以社会为已任，以企业为本位，牛羊结群，创造财富，完善自我，赢得共赢是我们的企业宗旨。“荣誉、善勇、智勤”是我们的核心价值观。建易通人凭借方毅刚勇，柔韧圆通的工作作风，外树一面醒目旗帜，内凝一支精英团队。我们紧随国家行政主管部门的变革步伐，与广大企业风雨同舟、并步发展，积累了丰富的经验，通过全体员工的共同努力，公司规模不断地发展壮大，客户遍及全省各地、市、区。
为客户创造价值，与客户共赢。为员工创造一份崭新的生活，以全球最新的服务理念，洞观天，为客户提供紧趋时势之服务是我们企业的伟大使命。我们秉承“今天的诚信，明天的市场，后天的利润”结交一批朋友，赢得一方市场。专业服务，以求双赢、共赢。爱拼才会赢的时代已经过去，聚合才会赢的时代已经到来。报团取暖只有双赢、共赢、才能最终都赢。
        我们完善强大的网络平台为客户带来最新的、最详尽的资讯，我们专业的服务为您带快捷、周到、便利的客户体验。我们将不遗余力地发挥专业优势为您服务。我们始终坚持诚信经营，以高度的责任心和责任感回馈社会。突出企业社会责任的最大化，倾情打造具有中国特色的社会主义现代化优质企业。
公司地址：宿迁市宿城区千百美商务广场律师大厦14楼
公司电话：