【编者Peter Ye按】
本文作者陈辰（Intel End User Solution Marketing – NSG部门的解决方案架构师），原标题本是《用Optane搭建vSAN全闪存架构》，标题的答案其实很简单，就是除了vSAN的一些调优手段之外，更重要的是，选择牛逼的SSD做为vSAN的缓存层。
我和我的同事曾经参加过vSAN+Optane+D-Uni的测试，见证了新一代SSD的威力。详见：颠覆你的想象 | 复制10个14TB数据库只花20多分钟？！
而且我也对Intel在不远的将来，计划推出的NVDIMM SSD（闪存盘插在内存槽插槽上）寄以厚望。因为vSAN这种灵活的软件方式部署的HCI，总是能够相对的，以更快的速度，将新的硬件技术纳入进来，使得一些有超低延时，超高性能需求的场景能够在vSAN上表现得更好。
另外，做为软件定义存储不遗余力的倡导者，我们乐见硬件的迅猛发展。在微信公众号"乐生活与爱IT"上，曾发表过文章《遇见未来 | 人类文明运行在软件之上》，提到了“正是因为硬件技术的突飞猛进地发展，才使得软件定义有了腾挪的空间”，"硬件发展越快，软件定义的发展才会更有潜力" 。
《遇见未来》这篇文章的主旨内容其实来源于2015年的SDS系列的6篇文章，尤其是2015年7月19日发表的文章《软件定义存储之未来 - 十年后的存储排行榜会怎样？》。今天我很高兴收到一条来自武汉的朋友-任鑫平发的私信："北京格瑞趋势公司出了针对SQL Server的一体机onedata"，应验了我曾经在《软件定义存储之未来》里提到的：
“
个人觉得，近几年可能出现的SDS，可大致分为如下六类：
1）与Hypervisor融为一体的SDS厂商，也即前述的VMware、Microsoft和RedHat；
2）与应用融为一体的超融合厂商，通常俗称一体机。由于针对某一类特定业务，其工作负载相对固定，也比较容易在存储层针对这一特点进行优化，例如针对数据库的有：天玑数据、云和恩墨、沃趣（已被华胜收购）、成都文武信息等；针对VDI的一体机；针对SAP的一体机；并行数据库一体机（如MonDb）, 数据分析一体机（Greeplum），也许未来还会有针对Exchange的、针对SQL Server的一体机；从业务应用来看，也许还会有针对视频监控，针对媒资管理等，针对某一行业的某一类应用。
......
”北京格瑞趋势SQL Server一体机onedata的质量如何，我并不清楚，但这是一个有意义的尝试。
下面转载陈辰的文章《用Optane搭建vSAN全闪存架构》。
---Begin---
让数据更靠近计算
在数据爆炸式增长的今天，世界每时每刻都产生着大量的数据，诸如：个人电脑、物联网设备、汽车、工业设备等等产生的数据。有人预计，2020年以前，全世界的数据总量每两年就会翻一番。在下图描绘的数据半球中，CPU和DRAM总是代表数据中心中最快的元素，但这些低延迟的设备同时也是非常昂贵的；硬盘（HDD）给人的印象则总是便宜但慢速的设备，在数据处理性能方面无法企及CPU和DRAM；2D NAND 的数据处理速度介于HDD和DRAM之间，其处理速度远远超过HDD，成本又远远低于DRAM。但这样的数据处理速度仍然不能很好地填充HDD与DRAM之间的空缺，DRAM与2D NAND、2D NAND与HDD之间存在一定的技术鸿沟。
数据半球
目前，Intel着力于投资和研发3D NAND和 3D X-Point技术，来引发一轮革新以填补这样的鸿沟，让数据（Storage）更“靠近”计算（CPU）。
数据更“靠近”CPU
3DNAND和3D X-Point技术为数据处理带来了巨大的性能提升，如今3D NAND已经提供了与HDD相当甚至更便宜的TCO，同时Optane SSD（3D X-Point SSD）的延迟甚至接近于DRAM并具有更高的耐用度，高达17 DWPD，即在质保期内，可保证每天全盘随机写入17倍的单盘容量。
3DNAND SSD相对于HDD而言，可通过PCIe 通道传输数据，相较于SATA / SAS总线，有明显的高吞吐量和IOPS性能，且延迟可低至100us左右（HDD通常为10,000us左右），年度故障率AFR比传统HDD低约25倍，可低于0.44%，大大降低了总体TCO。
3DNAND SSD相对于2D NAND SSD而言，其位密度有所提高， 64 层的 3D NAND的位密度可超过16nm 的 2D NAND 的三倍[1]，带来了更大的数据容量效率。与其他厂商3D NAND 技术不同，Intel采用浮栅门技术，无需电荷陷阱互连“沟槽”，还使用了CMOS-Under 技术，一些次要的 CMOS 构建在存储阵列之下。64-stacked 3D NAND SSD的位密度能提升20%，并且生产效率，即每片晶体能够容纳的GB数也有所提高。
64-stacked 3D NAND 技术比较
更进一步地，Optane SSD相对于3D NAND SSD而言，其IOPS性能还可提升5~8倍（在4k block的70/30写/读测试下），且在低队列深度工况下就能达到饱和。而基于NAND的SSD通常会在队列深度达到128的情况下取得最优的性能，而Optane在队列深度未达到16时，性能便可以达到最优然后饱和。大多数企业级应用所需要的队列深度往往仅有16或者更少，所以Optane更适用于当前的企业级应用。
Optane在低队列深度时性能达到饱和
并且，Optane响应时间极低，平均延迟小于10微秒。与此同时，Optane在负载下的QoS稳定性高，99.999th的读写延迟都不超过200us。
Optane的极低延迟和高稳定性
所以，3D NAND和 3D X-Point技术使得全闪存中的数据存储越来越接近计算。
vSAN+Optane
超融合架构HCI（Hyper Converged Infrastructure）的概念早在2012年时被提出。与传统的独立架构不同，HCI同时具备计算、网络、存储和服务器虚拟化等资源和技术的架构，Hypervisor(虚拟化软件)能够抽象并池化计算、网络和存储资源，并拥有强大的控制平面的功能。而且Hypervisor能整合软件定义的数据中心内运维管理的经验，使管理更简单。VMware为了给HCI提供操作简单、闪存优化、高性能的存储方案，发布了一种可嵌入在Hypervisor中的企业级软件定义存储应用vSAN(Virtual Storage Area Networking)。新的硬件趋势将为vSAN带来新的契机，而构建全闪存vSAN会拥有最好的$/IOP 和 $/Gig。
Intel全闪存vSAN架构
Optane SSD作为一种延迟几乎可以接近于DRAM并具有超高耐用度的SSD，可作为vSAN架构中的缓存层Cache，将实现所有的写操作缓冲，数据读取则可以交给容量更大、传输性能优良、耐用度不错但价格更便宜的3D NAND SSD，如Intel® SSD DC P4500/P4510 SSD，更多的方案选择还可参考产品及其性能分析表。
Intel SSD产品及其性能
在P4800X与P4500搭建的全闪存vSAN架构中，Optane SSD P4800X可实现来自应用的高速率的大容量写入，可以承受更高的事务型负载。通过IO-mark测试（一种块级别存储系统性能测试工具）能精确模拟运行环境的真实负载变化，实现对存储系统的性能测试。在TPC-C-like负载测试中，模拟复杂的数据库事务交易操作，可测试系统进行事务处理的能力，用每分钟交易次数(transactions perminute, TPM)，作为指标来评价存储系统性能。P4800X相比于3D NAND SSD P4600能使得TPM提高89%。
3DNAND与Intel Optane作缓存层的TPM
在追求高性能的同时，Optane并不是以巨大的TCO成本为代价的。相反的，它带来了更低的交易成本，即：每分钟内处理事务量所需的花销，Optane SSD比P4600低44%。
3DNAND与Intel Optane作缓存层的交易成本
正是因为Optane的高IOPS和低延迟性能，使得该方案也降低了系统的缓存与存储容量比，大大提高了存储容量的有效利用率。
Optane高效的扩展性能实现大容量存储
全闪存vSAN架构的性能分析
据VMware官网数据：从vSAN 6.6开始，标准版就已经支持全闪存了。其高级版比标准版多了去重压缩和纠删码两个功能，但前提是vSAN必需是全闪存架构。
任何存储平台上的重复数据删除和压缩过程都会产生开销，并可能影响延迟和最大IOPS的性能。但去重、压缩所带来的存储空间效率提高则降低了全闪存配置中可用的每GB存储容量的成本。所以，用户若搭建全闪存vSAN架构，不仅能获得更优化的存储效率，还能获得更高的存储质量。
接下来，我们将用不同产品组合，在Intel® Xeon扩展型处理器的服务器上构建4节点的HCI vSAN架构，包括混合型和全闪存架构，并对其性能及成本进行分析，以制定最合适的vSAN全闪存架构解决方案。组合分别为：2D NAND SSD+ HDD构成的混合型存储vSAN6.5、全2D NAND SSD构成的全闪存vSAN6.5、全3D NAND SSD构成的全闪存vSAN6.6以及Optane+ 3D NAND SSD构成的全闪存vSAN6.6四种方案。
混合型与全闪存vSAN架构的对比分析
四种方案的IO性能依次递增。在全闪存架构中，当SSD从2D NAND介质升级为3D NAND，且缓存层SSD的数据传输标准从SATA升级到NVMe时，使得性能提高了一倍以上，单位性能的价格下降了将近一半。一方面，通过NVMe标准传输数据提高了其性能；另一方面Intel® 3D NAND SSDP4500在读操作上也有所优化，以更大限度地提高数据效率。
更进一步地，当缓存层SSD从3D NAND介质升级为3D-X Point时，在容量层均为3D NAND PCIe/NVMe盘的前提下，Optane SSD 作为缓存层，能最大限度地提高CPU的利用率，并且避免了存储资源的浪费。当使用NVMe 3D NAND SSD作为缓存时，因其性能和耐用度与容量正相关，必须使用TB级别的容量，而在成本差不多甚至稍低一些的前提下，选择Optane最小容量级别375GB作为缓存层，还能获得更好的性能，具有更好的性价比。
Optane + vSAN的TCO
---End---
关于作者：
作者陈辰，Intel End User Solution Marketing – NSG部门的解决方案架构师。
关于“Linux宝库”微信公众号：
欢迎关注"Linux宝库"微信公众号，这里每天发布最新的开源人物和开源事件。谨以此号记录Linux和开源业界的点点滴滴，为开源爱好者和从业者点亮人生。
- 责任编辑：-王鹏-- END -
Linux宝库
长按扫码，关注我们
为开源爱好者和从业者点亮人生！
