小红书怎样通过 DorisDB 实现数据服务平台统一化？

 小红书是年轻人的生活记录、分享平台，用户可以通过短视频、图文等形式记录生活点滴，分享生活方式。在2017年后，随着业务类型和用户体量的爆炸式增长，各类数据分析的需求以及应用系统的数据需求快速出现，例如：商业智能分析，数据应用报表，用户行为分析、算法策略数据等。小红书大数据团队逐步引入了多种OLAP分析引擎来更好的满足需求。DorisDB采用了全面向量化的计算技术，是性能非常强悍的新一代MPP数据库。通过引入DorisDB，小红书构建了全新的统一数据服务平台，大大降低了数据链路开发复杂性，提升了高并发极速查询能力。

一、OLAP引擎在小红书的演进史

第一阶段，在2017年之前，数据总量还不是特别大，这个阶段使用AWS的Redshift，此时数仓体系还没有完全建立，很多数据需求的实现都是用短平快、烟囱式开发的方式来满足。数据ETL、数仓模型到最后报表端展现，在Redshift中一站式完成。

但随着业务复杂度不断提升，以及数据量的快速增长，这种模式很快遇到了瓶颈。主要有以下问题：

·Redshift无法在不影响线上查询性能的前提下弹性扩展，一旦涉及到扩容，就会涉及到数据重分布，从而影响集群的性能以及可用性。

·ETL任务严重影响集群可用性。在Redshift中同时进行ETL任务的时候，会大量抢占资源，从而影响数据分析的效率，导致查询超时甚至因为集群负载过大后整个集群崩溃不可用。

·没有良好的存算分离，数据存储容量存在瓶颈，无法满足随业务而快速增长的数据量存储需求。

第二阶段，随着数据仓库在Hadoop/Hive体系上搭建和完善，ETL任务全部转移至Hadoop集群，这个阶段使用Presto完成OLAP分析。Presto天然和Hive共享元数据信息，且共同使用物理数据存储，即插即用。大量的对数仓表的灵活查询使用Presto完成。

第三阶段，业务实时性增强，对查询性能的要求不断升高，同时许多数据应用产生。这个阶段引入了ClickHouse，用来建设性能更强悍，响应时间更短的数据分析平台以满足实时性要求。

第四阶段，小红书大数据团队进行了实时数仓的整体设计和搭建，同时为统一对各业务团队提供数据接口而构建了数据服务平台，外接了多个内部或者To B服务的应用系统。既需要做低延时的复杂查询，同时对并发量也有很高的要求。这个阶段我们又根据场景引入了DorisDB，以满足以上各类需求。

（编辑：焦作站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!