如今产生数据的设备多多种多样,造成了数据类型大大增加,数据背后是一些稍纵即逝的机会。需要快速捕捉,最终从数据中获取价值。大数据4个“V”中,前三个“V”是对大数据进行处理和分析,最后一个“V”是大数据最终要实现的目的。随着大数据时代的来临,人们需要通过技术的创新来实现对大数据的分析,利用存储和文件系统的存储技术,来设计实现大规模设备上的应用。
大数据时代,全球应用数量从几年前的以十万为单位计算,到了以百万为单位计算。企业应用部署效率、业务稳定服务性能,以及动态有效满足OLTP和OLAP性能要求,直接决定着企业核心竞争力。企业要求存储更灵活、更动态、性能更稳定,以支撑大量用户对各种IT服务交付的能力。此外,大数据时代还需要集中、统一和自动化管理的功能。大数据存储将是目前重点发展的对像。
数据存储的首要需求存储容量可扩展。大数据对存储容量的需求已经超出目前用户现有的存储能力。我们现在正处于PB级时代,而EB级时代即将到来。过去,许多企业通常以五年作为IT系统规划的一个周期。现在,企业则需要制定存储数据量级的增长计划,只有这样才能确保业务不受干扰地持续增长。这就要求实现存储虚拟化。
存储虚拟化是目前为止提高存储效率最重要、最有效的技术手段。它为现有存储系统提供了自动分层和精简配置等提高存储效率的工具。拥有了虚拟化存储,用户可以将来自内部和外部存储系统中的结构化和非结构化数据全部整合到一个单一的存储平台上。当所有存储资产变成一个单一的存储资源池时,自动分层和精简配置功能就可以扩展到整个存储基础设施层面。
国内市场针对大数据的需求所面临的典型的存储挑战:
存储利用率:大数据时代数据量快速增加。如何通过存储容量优化,降低存储容量和网络资源需求,降低数据保护过程对生产环境的性能影响,是控制大数据存储新增开支的关键。
在大数据时代如何利用各种已有存储资源,为大数据时代的业务发展提供高可扩展和业务连续性是关键。传统存储下,不同厂商的存储之间无法实现快照、复制、备份和恢复,由此带来数据保护的大量开支。同时,带来存储资源浪费。
容量优化系统性能:为了提高存储资源利用率和业务连续性,存储厂商近年纷纷推出各种企业级功能。为了降低存储管理强度,中端以上存储具有多种工作负载性能监控、动态资源配置和自动化端对端管理功能。然而,传统存储控制器处理能力有限,启动这些企业级功能需要消耗存储控制器资源。用户往往要在存储资源优化和生产性能之间做取舍。
业务关键型性能:就“存储是否能满足目前业务关键应用性能”的调查结果显示,接受调查人员中28.1%表示在未来12个月考虑部署新型存储。36.5%用户在未来12-24个月考虑部署新存储。大数据时代,应用使用者的快速增加,对存储并行处理能力提出了更高要求。此外,生产应用虚拟化产生大量随机读取,这就对传统IOPs和时间延迟提出了挑战。