岗位职责:
1. 负责公司大数据平台产品的技术工作,包括需求分析、架构设计、研发、以及性能分析工作;
2. 负责设计、构建和优化基于hadoop/Hbase的存储平台架构;
3. 负责整体提升hadoop/Hbase/Storm/Spark集群的高可用性、高性能、高扩展特性;
4. 根据业务需求,提出最优的技术解决方案。
任职资格:
1. 精通Java,3年以上软件开发经验,1年以上Hadoop相关开发经验;
2. 具备数据库系统基本理论知识,至少掌握一种主流商业数据库产品如Oralce的管理和应用,精通SQL语言,精通存储过程;
3. 对hadoop的Map/Reduce原理有深入研究,有相关项目的实际开发经验;
4. 熟悉Hadoop、Hive和hbase、storm等开源项目;
5. 对基于hadoop的大数据处理体系有深入认识,具备相关产品(hadoop/storm /hive/hbase)项目应用研发经验;
6. 熟悉分布式系统、分布式计算系统的工作机制,能熟练掌握相关核心技术的工作机理;
7. 具有大规模数据平台,高并发大型系统,大数据等架构设计和开发经验;
8. 熟悉全文检索技术,如ElasticSearch、lucene等使用;
9. 具备数据管理和存储相关项目和系统的开发经验,具有丰富的数据分析、挖掘和数据仓库建模的项目实践经验;
10. 具有良好的沟通能力,优秀的分析问题和解决问题的能力,对解决具有挑战性问题充满激情,具备强烈的进取心和团队合作精神;
11. 具有数据采集系统项目经验者优先,具有公安行业大数据应用工作经验者优先。