谈到私有云，相信大家已经不陌生了，在最近的两年，越来越多的听到我身边的朋友、同仁的企业开始了私有云建设，希望通过数据中心技术的升级改造，为企业带来更大的业务灵活性及更短的IT响应时间。和绝大多数虚拟化技术厂商在产品宣传方面提到的差不多，虚拟化技术和云计算确实具有非常多、非常好的特性，能够在帮助企业的IT部门更快速、更从容的面对各种业务需求变化的同时，实现诸如降低IT总体拥有成本以及节能环保等目标，但是，作为云计算系统建设者和管理者的我们，必须同时意识到，企业数据中心的核心运行方式的转变，绝不仅仅是搭建一套私有云系统，并将业务逐步迁移上去那么简单。建设一套能够完整承载企业全部IT系统运转的私有云系统，是包含了计算、通讯、存储系统建设及建立相应的管理模型、监控模型、应急处置模型、状态评估模型等一系列工作的复杂系统工程，这些工作，应该随着私有云建设及应用的不断深入，逐步的建立和完善，最终，建立起一套真正可靠、高效、能够应对快速业务变化及需求的私有云基础架构体系。

人教社对虚拟化技术的研究启动于2005年，2008年开始小规模应用，2010年完成了约80%业务系统的虚拟化工作。截止到上个月，位于北京魏公村业务楼的人教社主数据中心已经装备了总计1008颗CPU核心、5.3TB内存、1.2PB储存能力的私有云系统，承载着包括人教社在内的6个上下属企业共300余台虚拟服务器的运转，覆盖了ERP、CRM、ECM、OA、VDI、WCM、网站及数字出版产品等业务类型。存储系统方面，我们主要装备了IBM DS8870、V7000、V3700磁盘阵列系统及IBM TS3310磁带库系统，通过SAN网络，为虚拟化计算节点提供存储服务。

大体的铺垫我做到这里，下面，我们就进入今天的正题。请大家和我一起回顾和总结一下，一个出版企业在私有云建设中的存储系统架构是如何规划和建设起来的。

第一个问题，构建企业私有云，对存储系统有什么要求?

对虚拟化技术不陌生的朋友一定知道，私有云架构的核心技术是服务器虚拟化，说白了，就是对单体服务器计算资源的细颗粒划分和利用。在实际的应用场景中，主要体现为在一台虚拟化宿主服务器上运行多个具有独立操作系统环境的虚拟服务器，从而实现CPU资源的最大化利用。在一台物理服务器承载了更多计算需求后，相应的存储需求也就产生了，主要体现在存储能力和IO能力两方面;除此之外，要想实现虚拟服务器在多台物理服务器间的快速移动，还要求我们的存储系统具备同时为多台服务器提供同一内容数据的能力，即共享能力，便于虚拟机在进行宿主服务器迁移时，能够直接将存储数据从源宿主指向到目标宿主，并快速激活，而不是通过缓慢的数据拷贝方式;再者，由于要为多台宿主服务器提供存储服务，也就意味着虚拟服务器的正常运行依赖于存储系统的可靠性，所以，在私有云系统中，对存储系统的可靠性要求是有明显提供的，作为管理者，相信谁都不愿意看到因为存储系统故障，而导致所以业务系统停顿的情况;最后，为了确保整套系统的连续性，存储系统要具备良好的冗余和维护能力，在常见的诸如更换磁盘、更换电池、存储网络维护的过程中，无需停止存储服务。

那么，总的来看，构建企业级的私有云系统，对存储系统的要求就主要包括了存储能力、IO性能、连接能力、可靠性及可维护性几个方面，另外，作为补充，还包括可扩展性、升级性等方面。

第二个问题，私有云系统中的存储系统关键指标需求如何估算?

前面说到的，大家可能会觉得没有意义，因为目前市面上销售的几乎所有的存储系统都能满足这些要求。但如果我们正在面对构建这样一套系统，我们该从哪些方面进行评估，就要参考前面提到的几个关键能力指标了。

首先，我们先来看看关于设备的存储容量，我们该如何去计算呢。和传统运维模式一样，私有云系统的存储系统也需要满足业务存储和数据备份的空间需求，同时，作为虚拟化系统的特性之一，根据管理需要，我们可能还需要为快照准备额外的存储空间，方便我们的测试、更新和快速备份工作。那么，在存储容量需求方面，我们的经验是，存储系统的总容量需求，分为四个部分，即业务需求、备份需求、快照需求及增量需求。其中，业务需求就是我们私有云系统需要承载的业务负载所需的真实存储需求，主要由操作系统、平台软件及用户数据组成，把所有业务系统的这三个方面的数据加起来，就是我们的业务需求容量了。特别需要注意的是，因为我们将数据增量单独考虑了，所以业务需求容量是不包含数据增量需求的;接下来我们来看看备份需求，在传统运帷模式时代，我们的备份内容主要是数据，操作系统、平台、配置等内容往往不在我们的备份范围之内，原因很简单，在传统运帷方式下，受到硬件配置差异及裸系统恢复不便等限制的影响，全系统备份的实际价值和恢复难度都不理想，在基于虚拟化技术的私有云平台中，这一情况得到了根本的改变。

由于虚拟机的硬件是被虚拟中间层软件定义的，这就意味着所有虚拟机的硬件环境是可以方便创建和变更，而不再受到物理硬件的影响，使全系统备份和裸系统恢复变得异常简单，所以，在私有云环境下，全系统部分将成为备份的主体，其存储资源的需求也就可以基于业务服务器实际的存储需求来估算了。在人教社，我们的常规业务服务器的数据备份存留时长为7天，关键业务服务器的数据备份则会超过半年，总体来看，数据备份所需要的存储空间，大约使业务需求容量的1.5倍左右，即1TB业务数据，需要1.5TB的备份空间;快照空间需求包含备份用途的快照开销和运帷用途的快照开销，其中，备份快照开销主要用于备份过程中的快速数据准备，而运帷用途快照则用于补丁部署和应用更新阶段的系统快速回滚。备份开销以全平台中存储容量最大的系统的存储需求为界限，加上未来一段时间的数据增量即可，例如数据密集型的ECM系统的存储使用为35TB，未来两年的数据增量约在10TB左右，则准备45T的备份快照空间即可。这里需要注意的是，快照空间受到单一磁盘阵列边界的限制，即如果你有多个磁盘阵列系统，则需要在每个磁盘阵列上单独规划备份快照空间。运帷快照的磁盘需求不大，预留全部业务数据2%存储空间即可;最后，对于数据增量的存储需求，每个企业根据自身业务特点的不同有所区别。人教社的数据增量存储空间保持在业务需求、备份需求及快照需求综合的15%-30%区间。

说完了存储空间需求，我们再来看看IO需求。说到IO性能，几乎所有的技术控们都会无休止的追求更高、更快、更强的目标，但在当下企业成本控制越来越严格的形势下，提出合理的IO需求估算，有利于突出选型方案的科学性。由于各种业务系统的IO性能需求存在差异，即使是同一种业务系统，在不同企业的IO消耗也由差别，所以IO性能需求很难用一个计算公式去简单的核算，但我们依然可以根据一些经验来宏观的估计一套私有云系统的IO需求。以人教社各类型的业务为例，其IO需求大体情况为：

应用 50IOPS 5MB/S 吞吐

数据库 140IOPS 15MB/S

邮件系统320IOPS 20MB/S

VDI桌面 15IOPS 4MB/S

网站 1400IOPS 18MB/S

文件服务器 80IOPS 9MB/S

根据这些参考，我们可以粗旷的估计出私有云系统的存储IO需求。除了估算实际IO需求外，我们还要为IO需求变化及未来新增IO需求留出空间。当估算出总体IO需求后，选择存储设备时，新设备的满配情况下最大IO能力应至少高于总体IO需求估值的1.5倍以上，以便在IO性能不足时，能够进行性能扩充。在这里特别需要注意的是，磁盘阵列系统的IO性能与装备的磁盘数量有直接关系，即装备的磁盘数量越多，则IO性能越强。对于IT系统对IO性能需求比较大的企业，SSD加磁盘的混合模式可以在装备较少磁盘数量的情况下，得到几倍于传统磁盘的IO性能，是平衡磁盘数量和IO性能的很好手段。

容量需求和IO性能需求是两个最关键的指标，完成了这两项需求的估算，基本上就可以开始寻找相应的阵列产品了。

第三个问题，iSCSI、FC、FCoE如何选?

这是一个历史悠久的话题了，大家在度娘上随便就能找出上千篇相关文章，在这，我就不做更多的阐述了。在当下SAN网络的构建成本和FCoE系统差距越来越小的情况下，人教社选择了SAN，它提供了足够的性能、可靠性和可管理性，而更重要的是，使用了SAN网络，存储工程师再也不用和网络工程师去讨论性能分配的问题了。

最后一个问题，也是最重要的一个问题，企业私有云系统的存储系统架构该如何规划?

其实每个企业的IT都有自己的特点，任何一种存储架构都有它的优势和劣势，在这和大家分享几个我这几年做私有云存储系统建设的小心得，希望能对大家的存储系统规划有所帮助：

1.部署的阵列系统越少越好，管理更多的陈列，只会增加工作量。如果已经在使用大量小型磁盘阵列，用一个大型的代替它们是值得的。

2.尽可能保证架构简单，能不用FC交换机就不用。

3.对于虚拟化系统，快照功能是必须的。

4.阵列的可靠性高于一切，不怕慢，就怕站。

5.如果IO很大，上SSD吧，2%的容量就行。

6.私有云的备份，磁盘是必选的。

7.对于私有云，现阶段的存储虚拟化水平是在用人力投入换硬件投入，趋势很清楚，人力成本在涨，硬件成本在降，除非你存储管理经验丰富，否则慎用。

8.RemoteMirro是好东西，本地可以做阵列间冗余，远程可以做灾备。

9.不要完全信任集成商，对于私有云，他们多数仍在学习期，让自己强大起来是正道，另外就是相信高手在民间。

10.私有云系统中，存储系统最重要，搞好了一切就都好了。