大数据存储的7个重要因素

　　人们一个常见的误解是，供应商提供的加密措施可以解决企业的合规性要求。其实无论是由存储厂商还是云服务提供商所提供的基于驱动器的加密都不适用于任何数据标准，如HIPAA，SOX或GDPR。企业作为数据所有者必须拥有密钥。幸运的是，云端有加密支持，但更好的选择是将其构建到服务器或虚拟机中的工作流中。

　　（5）SSD固态硬盘

　　SSD固态硬盘正在改变存储系统中的所有规则。作为处于DRAM和硬盘存储器之间的具有高速缓存的大容量存储设备，SSD硬盘在随机IO中的存储性能提高了约1000倍，带宽从10倍增加到100倍。对于大量数据来说，这是非常重要的，特别是在使用Hadoop或GPU加速等并行处理时。

　　容量为100TB的固态硬盘将会推出市场，并具有优异的性能，一些小型存储设备可以创造奇迹。规模最小的Ceph对象存储阵列为四个节点，即使使用标准的1U服务器格式，当前也可以容纳1.2PB的SSD硬盘容量。这样做成本高昂，但在计算性能时比较经济。一些供应商已经宣布了1UPB级设备的计划，其中包括使用32个英特尔公司推出的Ruler硬盘，这是一款狭长的的SSD硬盘。

　　固态存储领域得到快速发展，这也是企业不应该在短期内在存储方面投入太多费用的原因。因为硬盘价格点和所有其他指标在未来两年内都会发生变化。企业需要确保将来购买的任何设备和驱动器都适合集群，以便其他有用的设备不会被废弃。

　　（6）数据压缩

　　如今，存储1PB数据的设备可以存储5PB数据，而这是使用压缩软件的好处。固态硬盘支持大带宽，以至于使用其中的一些将压缩数据写入设备是有意义的。不过，最好是在数据创建时进行压缩。这减少了整个数据流量的网络流量，节省了存储空间，并减少了传输时间。但源数据压缩需要硬件支持，而这些硬盘开始出现在市场上。

　　"Rehydrating"（重新水化）数据是一个使用少量资源的简单过程，因此通过提高压缩率来增加存储容量可以节省成本。全闪存阵列通常包括压缩，而这种技术也作为用于家电的软件提供。

　　（7）选择云存储服务

　　在讨论硬件之后，采用云存储提供商提供的服务可能是一个具有吸引力的选择。事实上，云服务提供商三大巨头亚马逊、谷歌和微软公司在实施新架构和软件编排方面都处于行业领先地位。云计算的应用很经济，并且可以随时需要的规模支付费用。云服务可以处理存储负载峰值，这在一些数据类中很常见，例如零售传感器数据。这减少或至少延迟了仓储设备的内部购买。

　　然而，获得与内部运营相媲美的性能水平是一个挑战。并不是具有相同CPU和内存组合的实例都是相同的。一个高度调优的内部集群可能会做得更好。

　　如今，存储技术的发展并不会停止，人们将看到增值数据存储服务迅速发展，如加密和压缩、索引、标签服务以及其他功能。大型云提供商（尤其是AWS）甚至将数据库结构（如Hadoop文件系统）构建到工具包中。这使他们能够部署类似希捷和华为设备的关键/数据存储驱动器等设备中，以加速构建特定的数据结构。

（编辑：焦作站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!