职责
1、负责公司大数据平台建设工作，完成Hdaoop/Spark搭建部署，根据业务需要进行开发;
2、开发实现网络爬虫并爬取所需数据，有效存储到大数据平台;
3、对平台数据做预处理，满足数据展现及后续机器学习等系统使用;
4、根据业务需要，应用大数据实时分析技术、可视化技术等，并对平台发展规划进行设计。
任职资格
1、本科及以上学历，计算机相关专业;
2、熟悉数据仓库和数据建模相关技术细节，有编程经验，熟悉SQL/Hadoop/Hive/Hbase/Spark等大数据工具;
3、具备海量数据处理经验，或有互联网行业数据挖掘工作经验;
4、1年以上岗位经验优先，本科应届有意向的，可优先培养。