对大数据开发工程师的能力新挑战

对大数据开发工程师的能力新要求

OLAP型大数据开发能力

随着全行业数字化转型和新基建时代的到来，对技术人才提出了更高的要求。

对数字化转型的公司来说，公司的业务可以分为两类：一类是OLTP型的业务，一类是OLAP型的业务。对优秀的IT工程师来说，我们需要同时具备OLTP的技术能力和OLAP的技术能力。进一步来讲对于前者，我们需要具备线上满足高并发、高可用、高扩展的开发能力，比如根据公司业务发展阶段给出优雅的线上微服务架构解决方案；对于后者，我们需要具备线下海量大数据处理和分析的开发能力，比如电商公司收入趋势的分析和预测、抖音等短视频平台日活用户分析等开发解决方案。

伴随数字化转型的向广向深发展，具备OLAP型大数据开发能力的工程师在人才市场上将具备更强的竞争力和更丰厚的薪资收入，也必然成为新时代的香饽饽。

必备技术栈

那么如何成为大数据开发工程师呢？

和大多数人一样，非常看好大数据的前景。刚好前几天，问过前58集团大数据首席架构师孙玄（江湖人称“玄姐”）两个问题。

怎么才能成为独当一面的大数据开发工程师呢？

大数据开发工程师需要具备大数据采集、大数据ETL、大数据计算、大数据存储、大数据建模、大数据智能分析等等能力。

那在这么多能力中，哪些能力是最核心最重要的呢？

大数据计算是整个大数据生态非常重要的一环，一定要牢牢掌握。

你一定知道，大数据计算根据业务需求不同，又分为离线批量计算和在线实时计算。比如基于MapReduce的海量计算属于离线计算范畴；基于ClickHouse的计算属于实时在线计算范畴。特别是支持任意指标、任意维度并且秒级给出结果的在线实时计算的技术能力，对大数据开发工程师而言就更加重要了。

（编辑：焦作站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!