C2-1 NCS7000G2F产品白皮书-V1.0

NCS7000G2F 产品白皮书
V1.0
2017-6-22
公司声明
 北京同有飞骥科技股份有限公司（简称“同有科技”）2017 年版权所有。
 如未事先得到北京同有飞骥科技股份有限公司的任何书面许可，本文档中任何部分都
不得进行复制，或以任何形式、任何手段进行转载。
 北京同有飞骥科技股份有限公司对本文档未作任何形式的担保，包括对具体用途的商
品性和适用性的隐含担保。
 北京同有飞骥科技股份有限公司对本文档中的全部内容有最终解释权，如有变更，恕
不另行通知。
 本文档中涉及第三方的品牌和名称是他们相应的拥有者的产权。
 NetStor®为北京同有飞骥科技股份有限公司的注册商标。
版权声明
北京同有飞骥科技股份有限公司版权所有，并保留对本文档及本声明的最终解释权和
修改权。本文档中出现的任何文字叙述、格式、插图、图片、方法等内容，除另有特别注
明外，其著作版权均属于北京同有飞骥科技有限公司。未经本公司书名许可，任何单位和
个人不得擅自摘抄、复制本文档内容的部分或全部，并不得以任何形式传播。
产品声明
本文档是针对北京同有飞骥科技股份有限公司 NetStor® NCS7000G2F 产品的使用指导说
明手册，除非另有约定，本文档仅作为使用指导。北京同有飞骥科技股份有限公司确信本
文档在发布之日内容准确无误，由于产品版本升级或其他原因，本文档中的内容可随时更
改而不另行通知。
公司联系方式
 北京总部
地址：北京市海淀区中关村环保科技园地锦
路 9 号院 2 号楼
电话：86-10-62491999
传真：86-10-62491998
网站：http://www.toyou.com.cn
 广州分公司
 上海分公司
地址：广州市天河区科韵路 16 号广州信息
地址：上海市延平路 121 号三和大厦 12B1
港 C1 座 8 楼 801-802 室
电话：021-62462886
电话：020-22032180
传真：021-62462800
传真：020-22032190
 西安分公司  成都分公司
地址：西安市高新区高新三路 9 号信息港大地址：成都市武侯区长华路 19 号万科汇智
厦 3A19 室中心 25 楼 2506 室
电话：029-88332758 电话：028-85266276
传真：029-88338016 传真：028-85266270
 重庆办事处  黑龙江办事处
地址：重庆市科园一路 73 号渝高大厦 F 座地址：哈尔滨市南岗区一曼街 80 号国际合
20-5 号作大厦 5 层
电话：023-88113993 电话：0451-82547927
传真：023-88113993 传真：0451-82547927
 新疆办事处  济南办事处
地址：乌鲁木齐市天山区光明路北 1-9 号时地址：济南市市中区经四路万达写字楼 A
代广场 B 座 24-S 室座 1083
电话：0991-6999455 电话：0531-86997266
传真：0991-6999455 传真：0531-86997266
 河南办事处  湖南办事处
地址：郑州市金水区经三路 66 号金城国际广地址：湖南省长沙市芙蓉区人民路 9 号百
场 6 号东单元 1103 室脑汇 B721 室
电话：0371-55070058 电话：0731-82771001
传真：0371-55070058 传真：0731-82771002
目录
1 概述........................................................................................................................................ 1
2 全闪存架构............................................................................................................................ 1
2.1 Scale out 与 Scale up............................................................................................. 1
2.1.1 Scale up 纵向扩展................................................................................................ 3
2.1.2 Scale out 横向扩展.............................................................................................. 4
2.2 IO 读写流程............................................................................................................... 5
2.2.1 全局自适应块大小................................................................................................. 5
2.2.2 全条带写入............................................................................................................ 5
2.2.3 分布式元数据........................................................................................................ 6
2.2.4 写 IO 过程............................................................................................................... 7
2.2.5 读 IO 过程............................................................................................................... 8
3 全闪存特性............................................................................................................................ 8
3.1 智能磨损均衡............................................................................................................ 8
3.1.1 动态磨损均衡........................................................................................................ 8
3.1.2 静态磨损均衡........................................................................................................ 9
3.2 SSD 寿命预警.............................................................................................................. 9
3.3 多核多队列 IO 处理................................................................................................. 10
3.4 无锁队列处理.......................................................................................................... 10
3.5 Merge write transfer 写入处理机制...................................................................11
4 基础功能.............................................................................................................................. 13
4.1 传统 RAID................................................................................................................. 13
4.2 TRAID........................................................................................................................ 14
4.3 内部存储器池化....................................................................................................... 16
4.4 数据自动分层.......................................................................................................... 16
4.5 虚拟逻辑资源.......................................................................................................... 17
4.5.1 卷.......................................................................................................................... 18
4.5.2 卷扩容.................................................................................................................. 26
4.5.3 卷拷贝.................................................................................................................. 26
4.5.4 卷迁移.................................................................................................................. 26
4.5.5 主机映射.............................................................................................................. 27
4.6 压缩.......................................................................................................................... 27
4.7 系统维护.................................................................................................................. 28
4.7.1 性能监控.............................................................................................................. 28
4.7.2 系统配置.............................................................................................................. 28
4.7.3 通知功能.............................................................................................................. 28
4.7.4 日志功能.............................................................................................................. 28
4.8 物理资源整合.......................................................................................................... 29
4.8.1 透传...................................................................................................................... 30
4.8.2 外部存储池化....................................................................................................... 31
4.8.3 下联存储多路径................................................................................................... 31
4.9 数据迁移.................................................................................................................. 32
5 高级功能.............................................................................................................................. 33
5.1 集群内故障转移....................................................................................................... 33
5.2 集群间双活.............................................................................................................. 33
5.2.1 跨集群数据同步................................................................................................... 34
5.2.2 集群间故障转移................................................................................................... 35
5.3 仲裁机制.................................................................................................................. 35
5.4 快照.......................................................................................................................... 35
5.4.1 快照功能概述....................................................................................................... 37
5.4.2 快照原理.............................................................................................................. 38
5.4.3 一对多快照.......................................................................................................... 39
5.4.4 层级快照.............................................................................................................. 40
5.4.5 快照可读写.......................................................................................................... 40
5.4.6 快照拷贝.............................................................................................................. 40
5.4.7 快照一致性组....................................................................................................... 41
5.5 克隆.......................................................................................................................... 41
5.6 备份.......................................................................................................................... 41
5.7 远程复制.................................................................................................................. 42
5.7.1 高速镜像.............................................................................................................. 45
5.7.2 全局镜像.............................................................................................................. 45
5.7.3 带有变更卷的全局镜像....................................................................................... 46
5.7.4 远程复制断点续传................................................................................................... 47
5.7.5 复制角色反转.......................................................................................................... 47
5.7.6 窄带传输.................................................................................................................. 48
5.7.7 远程复制一致性组................................................................................................... 48
6 专有名词说明...................................................................................................................... 48
中国唯一上市存储企业股票代码：SZ300302 北京市海淀区中关村环保科技示范

园地锦路 9 号院 2 号楼同有科技大厦（100095）电话：86-10-6249 1999 传真：86-10-6249 1998 www.toyou.com.cn
[5]
版本更新说明
本版本为初始版本。
1 概述
本手册主要面向希望了解 NCS7000G2F 产品工作原理的产品经理、售前技术人员、售
后技术人员、销售人员以及具备一定存储基础知识的客户。
本手册偏向功能原理的说明，不会涉及详细的操作步骤，不可当做产品操作指南使用。
2 全闪存架构
2.1 Scale out 与 Scale up
NetStor NCS7000G2F 全闪存存储系统（以下简称 NCS7000G2F）采用区别于传统磁盘阵
列的硬件架构设计，其内置的专用数据传输处理电路能够最大限度的发挥出闪存介质的性
能，突破了传统磁盘阵列对于闪存介质的性能限制。NCS7000G2F 总体上由计算模块和全闪
存存储模块两部分组成，支持 Scale out 横向扩展模式和 scale up 纵向扩展模式，在实际
业务应用场景中，可根据客观需求灵活选择。NCS7000G2F 总体架构如图 1 所示。
图 1：NCS7000G2F 总体架构

[1]
NCS7000G2F 使用同有科技自主研发的 NCSOS 操作系统，该系统能够实现存储容量和性
能的同步线性增长，同时保持整个系统的低 IO 延迟，基于此实现 scale out 横向扩展模式
和 scale up 纵向扩展模式。NCS7000G2F 系统通过横向扩展模式和纵向扩展模式的结合，
以最具成本效益的方式满足满足存储基础架构的关键需求。无论采用哪种扩展模式，当存
储系统中有容量的增加时，NCS7000G2F 会自动平衡分布现有数据，无需人工操作干预。
在最基本的 NCS7000G2F 全闪存集群中，一组计算模块与一组全闪存存储模块通过
SAS3.0 高速通道连接。此时计算模块的处理能力并没有得到完全发挥，且此时 NCS7000G2F
系统的存储容量也不大。此时可以采用增加闪存存储模块的方式，补充系统的存储容量，
同时增加系统 IO 读写速度，这种方式即为 scale up 纵向扩展模式，即只扩展闪存存储模
块而不扩展计算模块。随着闪存模块的不断扩展，单一一组计算模块的处理能力逐渐接近
瓶颈，此时需要为 NCS7000G2F 集群扩展计算模块从而增加计算处理能力，这种方式即为
scale out 横向扩展模式。多组计算模块之间通过 SAN 高速网络互联，在专用的高速 SAN 网
络中进行 IO 传输和交互。
1 套 NCS7000G2F 集群系统最大支持 8 组计算模块，整个集群对多组计算模块进行统一
管理和维护，集群内资源可实现共享和故障切换。
在多计算模块集群内部， NCS7000G2F 通过专用高速 SAN 网络进行通信。多个
NCS7000G2F 计算模块在高速 SAN 网络上进行信息同步和共享。多个计算模块通过专用高速
SAN 网络虚拟出统一资源调度层，控制信号和状态信号会通过专用高速 SAN 网络进行同步
广播，从而实现对 NCS7000G2F 集群的统一管理和维护。
在 NCS7000G2F 集群内部通过专用 SAN 网络创建了统一的计算资源池和闪存存储资源
池，计算层和闪存存储层之间以池的级别进行数据互通，打破了各个物理组件独自运作的
数据孤岛效应，实现了集群内部的资源共享。
当一组 NCS7000G2F 计算模块发生了物理故障后，前端应用不会受到影响，此计算模
块提供的功能不会丢失，而会漂移到集群内剩余的正常计算模块上，此即为 NCS7000G2F
集群的高可用特性。

[2]
2.1.1 Scale up 纵向扩展
在 NCS7000G2F 中，全闪存存储模块对应的物理部件是闪存柜，计算模块对应的物理
件是计算柜，计算柜和闪存柜之间通过 SAS 3.0 链路进行互联。
在纵向扩展模式中，计算柜的数量不会增加，闪存柜的数量会增加，新增的闪存柜仍
然通过 SAS 3.0 链路连接到上一级闪存柜中，由最高级的闪存柜与计算柜进行直接的物理连
接，其余闪存柜中的数据通过 SAS 链路依次传递到计算柜中进行运算处理。
Scale up 纵向扩展模式如图 2 所示。
图 2：scale up 纵向扩展模式
NCS7000G2F scale up 纵向扩展模式具有以下特点：
（1）容量增大，IOPS 读写能力增强
（2）使用 SAS 链路进行冗余连接
（3）扩展在线完成，无需停机操作
（4）现有卷自动向新增的闪存柜中重新分布
（5）任何主机连接和映射定义均不需要改动

[3]
2.1.2 Scale out 横向扩展
Scale out 横向扩展模式意味着计算柜数量的增加，增加计算柜的同时可以同步增加闪
柜。
多个计算柜之间通过高速 SAN 网络进行 IO 交互传输。Scale out 横向扩展模式如图 3 所示。
图 3：scale out 横向扩展模式
NCS7000G2F scale out 横向扩展模式具有以下特点：
（1）容量和性能线性增长，在 IOPS 和吞吐率提升的情况下，保持较低的 IO 延迟
（2）扩展在线进行，无需停机操作
（3）现有卷自动在所有 SSD 之间进行重新分布，所有 SSD 均可以被所有计算模块访
（4）元数据也在所有的计算模块中进行重新分布，以为整个系统提供全局数据服务
（5）任何主机和映射定义均不需要被改动
2.2 IO 读写流程
NCS7000G2F 使用的 NCSOS 的核心功能是 IO 读写流程控制，简单来说就是如何将数据写

[4]
入 NCS7000G2F AFA 以及数据如何被读取。
从用户的角度来看，NCS7000G2F 能够有效、可靠、快速的完成这些任务，从 IO 读写
流程的角度来看，NCS7000G2F 封装了全局自适应数据块大小、全条带写入、分布式元数据
等真正适合横向扩展架构的技术。本部分会详细介绍这些技术。
2.2.1 全局自适应块大小
由不同应用程序的工作负载生成的 IO 数据块大小是不同的，传统的存储系统倾向于使
用固定长度的数据块进行 IO 处理，尤其对于压缩、重复数据删除这些数据缩减的功能特性。
但是这样存在一些问题，当应用程序工作负载生成的数据块大小大于存储系统的固定处理
数据块大小时，存储系统需要将应用端的大 IO 进行切分，以使其符合自身能够处理的数据
块大小，而这一过程对于前端应用程序来说显然是多余的；当应用程序工作负载生成的数
据块大小小于存储系统的固定处理数据块大小时，存储系统会消耗多余的空间来处理这些
小 IO。这些显然都降低了存储系统的响应能力和利用率。
NCS7000G2F 采用全局自适应块大小技术，这主要得益于 NCSOS 的元数据对于真实数
据的管理是可变长度的，对于实际工作负载产生的 IO 请求，NCSOS 使用与其一一对应的数
据块大小进行读写处理，从而增加 IOPS 和吞吐量并降低延迟时间。
2.2.2 全条带写入
NCS7000G2F 对于底层 SSD 存储介质的管理依然采用条带的概念，这一点与传统的磁盘
阵列存储系统相同。区别于传统条带管理的是，NCS7000G2F 使用全条带写入技术来保证存
储系统的利用率并提高 SSD 闪存介质的寿命。
在传统的条带管理中，存在着条带不完整写入的现象，例如对于 128KB 的条带，缓存
中的数据若只有 80KB，则传统存储系统为了保证 IO 响应效率及降低缓存中的 IO 滞留率会
直接将 80KB 的数据写入到 128KB 的条带中，这样就产生了 48KB 的存储空间浪费。
NCS7000G2F 采用基于日志型的全条带写入算法，多个写 IO 请求会在缓存中被合并为一个
完整的条带写入到底层 SSD 闪存介质中，待全条带数据真实写入到 SSD 中后，缓存中的 IO
日志才会被清空；若某次全条带写入没有成功完成，则由缓存中的 IO 日志重新确认全条带
数据内容，再次写入到 SSD 闪存介质中，确保数据一致性。
采用全条带写入技术，NCS7000G2F 能够最大限度发挥出全闪存系统的利用率，充分保
护用户投资，并在很大程度上降低了对 SSD 闪存介质的真实写入次数，大大提升了 SSD 闪

[5]
存介质的使用寿命。
2.2.3 分布式元数据
元数据管理在任何存储系统中都是至关重要的，尤其当使用快照、压缩、远程复制等
高级数据功能时，元数据管理的重要性往往成倍增加。NCS7000G2F 对于元数据的管理采用
分布式方式进行，所有的元数据信息的基本存储位置都位于底层的 SSD 闪存介质中，在系
统内存中会存放元数据信息的镜像副本，在 IO 读写流程中的元数据信息改变采用异步的方
式在系统内存中完成，系统内存中元数据信息与底层 SSD 闪存中元数据信息的同步在后台
完成，从而最大限度提升系统的 IO 响应能力。由于底层的 SSD 闪存介质中的数据可被所有
的计算模块访问，故而整个系统中的元数据可在所有的计算模块缓存中动态分布，多组计
算模块根据高效动态算法从特定的 SSD 闪存介质中读取元数据信息用于高速 IO 处理运算；
在 IO 读写运算过程中，多组计算模块会根据整体计算负载的分布情况进行元数据释放、元
数据读取等动作以重新在所有计算模块中均衡分布元数据信息。
下面我们具体分析分布式元数据对于整个 NCS7000G2F 集群计算能力的平衡作用。由于
某些原因，例如卷的新建和删除、新增计算模块、前端业务负载的动态变化等，导致不同
计算模块中进行处理的元数据承载量出现了失衡现象，如图 4 所示。图 4 中每一个圆圈不
仅仅代表元数据量，而是元数据量和元数据计算负载的综合体。此时计算柜 1 中需要处理
的元数据量和计算负载要远远大于计算柜 2 和计算柜 3，计算柜 1 出现了过载，而计算柜 2
和计算柜 3 的计算能力并没有得到充分发挥。当系统的自我监测模块定期状态监测发现这
一现象后，会启动元数据负载的全局重新分布。图 4 中的 4 号元数据会通过高速 SAN 网络
镜像到计算柜 3 中，同时计算柜 1 将其计算任务移交到计算柜 3 中，计算任务的移交以控
制信号交互的形式在高速 SAN 网络中进行。在计算柜 3 实现了对 4 号元数据的完全接管后，
计算柜 1 会在缓存中释放 4 号元数据的内容。同理 5 号元数据会被转移到计算柜 2 中进行
计算处理，如此实现了元数据负载在整个 NCS7000G2F 系统中的重新均衡分布。

[6]
图 4：分布式元数据示意图
2.2.4 写 IO 过程
NCS7000G2F 对于卷的管理采用更细粒度的数据块来进行，对于同一个卷中的不同数据
块，其属主的计算模块是不同的，也就是说同一个卷拥有多组属主计算模块。需要注意的
是，统一个数据块其属主计算模块并非永久固定的，而是根据系统各个计算模块之间的业
务负载情况而动态变化的。
传统存储系统中对于属主的划分其基本粒度为卷，同一个卷的属主是固定的，不会像
NCS7000G2F 一样同一个卷根据不同数据块拥有不同属主。通过更细力度的属主划分，
NCS7000G2F 能够实现计算能力充分的负载均衡，从而最大限度发挥出全闪存系统的性能。
对于写 IO，NCS7000G2F 大体上采用如下的流程进行：
（1）写 IO 经过协议层进入某一组计算模块的缓存中后，判断该 IO 是否属于此计算
模块，如果不是则将其转发到相应的计算模块中
（2）如果 IO 归属本计算模块，则系统根据负载均衡算法将其镜像到其余某一个计
算模块中
（3） IO 成功返回主机，主机得到写完成信号
（4）在 IO 属主计算模块缓存中，必要的处理计算开始进行，例如数据压缩、全条
带写入计算等
（5）计算模块将 IO 处理计算结果写入底层 SSD 闪存介质中

[7]
2.2.5 读 IO 过程
对于读 IO，NCS7000G2F 大体上采用如下的流程进行：
（1）读 IO 请求进入某一计算模块后，判断该 IO 是否属于此计算模块，如果不是则
转发到对应的计算模块进行处理
（2） IO 归属的计算模块在缓存中查找对应数据，若果缓存中存在读请求数据，则获
取数据返回主机，如果读缓存未命中，则交由 SSD 存储池进一步处理
（3）根据 LBA 地址，在 SSD 存储池中获取到对应数据，将其返回主机，完成读取过
3 全闪存特性
3.1 智能磨损均衡
NCS7000G2F 内置的 SSD 硬盘使用专用微码，充分实现 SSD 与存储系统的高度契合。基
于此，NCS7000G2F 内置的 SSD 硬盘支持动态磨损均衡和静态磨损均衡两种延长寿命的方式，
并可根据实际业务模型动态智能调整动态磨损均衡和静态磨损均衡的比例，针对不同的写
IO 模型采用不同的磨损均衡算法。
3.1.1 动态磨损均衡
动态磨损均衡的核心思路是确保新的写入 IO 能够落到 SSD 中擦写次数较少的区块中，
从而均衡利用 SSD 的全盘擦写寿命。若是没有动态磨损均衡技术，则 SSD 中大量的数据区
块会呈现出严重失衡的数据擦写分布情况，例如对于某些被频繁修改的文件，若其存储位
置始终不变，则该部分存储区域的寿命损耗会远远大于其他存储区域而率先失效，从而导
致整个 SSD 的失效，但是此时 SSD 的寿命并没有得到充分发挥。
NCS7000G2F 的动态磨损均衡技术使用 LBA 地址和 PBA 地址的动态映射转换来实现。当
前端应用向下写入数据时，会产生一个写入数据的 LBA 地址，这是一个逻辑地址，每一个
LBA 逻辑地址对应一个物理地址，也就是具体对应到了 SSD 中的相应存储区块中。若是没
有动态磨损均衡技术，则 LBA 地址和 SSD 中的存储区块是固定的一一对应关系，也就是说
前端应用主机的写 IO 操作若是持续性的对某部分数据进行频繁修改，则该部分数据对应的
SSD 中存储区域会被频繁擦写而率先损坏。当使用动态磨损均衡技术之后，下一个写 IO 的
存放位置并非是 SSD 上的固定区块，而会在写入过程前事先进行判断，根据 SSD 中每一个

[8]
存储区块已经消耗的擦写寿命，优先将写 IO 存放到擦写次数少的存储区块中，同时更新
LBA 地址和 PBA 地址的映射关系表。NCS7000G2F 通过动态磨损均衡算法避免了 SSD 局部擦
写次数过量而造成的寿命提前耗尽风险，最大限度的保护用户数据安全。
3.1.2 静态磨损均衡
静态磨损均衡算法是为了补充动态磨损均衡算法的某些不足而产生的。动态磨损均衡
算法主要针对 SSD 中未使用的空间来进行计算，将写 IO 投放到擦写次数较低的存储区块中。
但是对于已有数据空间，若其中存放的数据是长期未修改数据，则即使这一部分存储区块
的擦写次数很低，单纯使用动态磨损均衡也不能将写 IO 落到这一部分存储区块中，此时会
造成 SSD 整体寿命的浪费。静态磨损均衡技术充分考虑了这一现象，当某些存储区块中存
放的数据更改频率小于阈值且这些存储区块的擦写次数同样小于阈值时，NCS7000G2F 会将
这一部分数据迁移到其他的存储区块中，以释放这一部分擦写次数剩余很多的存储区域。
这样一来，再有写 IO 进入，NCS7000G2F 可以将这些写 IO 存放到新释放的存储区块内，充
分利用 SSD 的整体寿命。
3.2 SSD 寿命预警

对于全闪存阵列而言，SSD 的使用寿命是用户比较关心的问题，尤其是在使用过程中
若突然出现 SSD 寿命耗尽的情况，则会造成数据丢失。NCS7000G2F 为了合理解决这一问题，
开发了 SSD 寿命预警功能，在系统管理界面中，用户能够清晰的查看每一块 SSD 当前已经
消耗的寿命情况，方便用户在 SSD 寿命耗尽之前及时做出响应对策。
NCS7000G2F 的 SSD 寿命预警功能依托于其内置 SSD 专用微码实现。其内置的 SSD 专用
微码能够精准的对自身的各个存储区块的擦写情况进行监控，并将统计结果上传到
NCS7000G2F 系统中，由系统进行分析处理，最终在管理界面中呈现。
值得注意的是，当 NCS7000G2F 系统判定 SSD 的使用寿命已经达到了 100%，且用户没有
进行任何处置措施，则 NCS7000G2F 会自动将 SSD 进行下线处理，此时硬盘处于脱机状态，
这是 NCS7000G2F 系统对于 SSD 的一种保护措施，用户可以人工使用命令对 SSD 进行上线处
理，但是此后不能再向 SSD 中写入数据，需要开始进行数据迁移，从 SSD 中读取数据迁移
到其他存储空间中，这是一种数据保护措施。
3.3 多核多队列 IO 处理
CPU 硬件本身的处理能力非常可观，传统软件架构并没有完全发挥出 CPU 的处理能力。

[9]
在 IO 处理过程中，若是硬件资源的计算能力足够，则增加 IO 处理队列数量能够大幅度提
升系统 IO 响应能力。传统软件架构中的 IO 处理队列数比较少，主要原因是 IO 处理队列数
量越多，则保障多队列间的数据一致性难度越大。NCS7000G2F 采用独有的多队列数据一致
性算法，能够确保在 IO 队列数量增大的情况下保障数据一致性。根据 IO 负载压力的变化
情况，NCS7000G2F 智能调节 IO 队列数量，以远大于传统软件架构的队列数充分发挥出 CPU
的硬件处理能力。
综上所述，NCS7000G2F 采用多核多队列技术能够实现如下优势特性：
 基础 IO 处理队列数远高于传统架构
 智能根据 IO 负载压力调节 IO 队列数
 专有算法保障高队列下的数据一致性
3.4 无锁队列处理
在传统软件设计中，通常会采用锁机制来处理多个线程之间的同步。在多核处理器平
台上，大量采用锁机制将会极大的影响系统整体性能。一方面锁之间的竞争会影响 CPU 本
身的性能，使得处理器本身的执行效率降低，缓存被不断刷新；另一方面大量的锁竞争会
导致处理器之间无法并发运行。因此，传统存储软件设计方法会导致系统整体性能降低，
同时 CPU 利用率极高，无法充分利用 CPU 多核化带来的价值。NCS7000G2F 在软件架构上采
用无锁生产者消费者模型，将计算资源、存储资源等系统资源划分为更细的粒度，通过资
源调度处理层向不同的 IO 处理队列分配计算和存储资源而不会造成资源抢占和冲突。相比
于传统软件架构中的并发锁，NCS7000G2F 无锁处理机制通过增加一层资源调度分配层来优
化资源分配，最大限度的发挥出硬件资源的处理能力。相比于有锁架构，无锁架构增加了
一个类似于“裁判”的角色，在多队列的情况下，资源分配由裁判来完成，而不是靠各个
队列本身通过大量的锁去争抢。
NCS7000G2F 采用无锁队列处理技术能够实现如下优势特性：
 整个数据链路上不存在竞争锁
 避免了大量竞争锁对 CPU 处理性能和执行效率的影响
 无锁机制增加了 CPU 并发处理能力
3.5 Merge write transfer 写入处理机制

在 HDD 上，数据可以直接覆盖，所以逻辑地址和物理地址是一一对应的，不会变更。
但 SSD 硬盘受限于 Flash NAND 的读写特性，数据不能像在机械硬盘里那样被直接覆盖，必

[10]
须先擦除才能改写(编程)，而且数据写入和擦除的最小单位不同。读写以 Page (页)为单位，
擦除以 Block（块）为单位，通常的 Page Size(页大小)为 4KB。而擦除最小单位是 Block (块)
一般一个 Block 包含 128 个 Page，即 512KB。读写单位和擦除单位的不统一使得在执行写入
和改写操作时，需要将原有不需改写的若干 Page 数据加以移动(或重写)，以满足擦除的最
小单位 Block，这些多余的对无关 Page 的读写操作增加了数据的访问量，即写入放大现象。
写入放大现象减少了闪存盘的使用寿命，极大的影响了闪存盘的性能。
传统存储系统的初衷往往是针对 HDD 设计的，那么如果直接在传统磁盘阵列上配置
SSD 时，又会造成什么样的影响呢？当一个 Block 中一个 4KB 的数据更新（D1→D1'）和一
个 4KB 的数据块删除(D3)时，系统要将整个可擦除块的数据读到缓存，在缓存里更新整个
数据块，擦除块，再把更新后的数据写入新擦除过的块。整个数据操作流程带来的实际后
果是，虽然只需要读 4K 的数据、删 4K 的数据，但这两个简单的更新操作，实际却造成了
整个块（512KB）的读出和写入操作，读写操作一共放大 128 倍，从而形成写放大，影响
SSD 寿命。并且写放大现象会产生额外的数据读取、缓存更新、擦除、写入等多个操作步
骤才能完成，造成延时大大增加，影响 SSD 性能。
Merge Write Transfer 是在 Cache 中合并多个小事务的写, 对随机不同大小的应用数据进
行顺序化整理，转换成一个顺序的条带，当该条带达到最优尺寸（即每块 SSD 写入一个可
擦除块 512KB 数据），就将数据顺序、完整地写入后端 SSD 盘中。NCS7000G2F 采用 Merge
Write Transfer 技术消除了写放大现象对于 SSD 寿命和性能的不利影响，充分释放全闪存阵
列的可用性和性能。
在 NCS7000G2F 管理中会用到的一些概念如下。
 节点
节点几乎是 NCS7000G2F 集群的最基本组成部分。通俗来讲一个 NCS7000G2F 节点就是

[11]
一个控制器。
节点负责提供最基本的存储服务，同一个笼子内的节点通过背板总线来进行通信，不
同笼子内的节点通过 FC SAN 网络来进行通信。因此，为了创建 NCS7000G2F 集群，一个健
全的 FC SAN 网络是必不可少的。
 主机
主机是实际的文件和应用程序服务器。有时，它们被称为客户端，因为它们使用
NCS7000G2F 存储设备的存储资源。
存储网络上可以有 iSCSI 或光纤通道主机。主机通过 iSCSI 启动器（针对 iSCSI）或 FC
HBA （针对光纤通道）访问其存储资源。存储资源在主机操作系统
（ Windows 、 Linux 、 Solaris 等）中显示为本地连接设备，即使 SCSI 设备实际上是由
NCS7000G2F 存储设备提供，也是如此。
 GUI 集群管理界面
GUI 集群管理界面是一种图形管理工具，它允许 NCS7000G2F 存储设备管理员创建、配
置、管理和监控存储网络中的存储资源和服务。GUI 集群管理界面是 NCS7000G2F 存储设备
集群处于正常提供存储服务时的管理界面，区别于下面的服务模式管理界面。
 服务模式管理界面
服务模式管理界面区别于 GUI 集群管理界面。当需要维护 NCS7000G2F 存储设备时，
需要将集群中的各个节点置于服务模式，置于服务模式的集群节点处于锁定状态，不再为
前端应用提供存储服务。此时的集群节点处于待维护状态，可以进行系统重装、机柜标识
重置、集群销毁等动作，而这些功能只能在服务模式管理界面中进行， GUI 集群管理界面
不提供这些功能。服务模式管理界面需要慎用，若是没有相关使用知识和经验，建议联系
同有技术支持进行系统维护工作。
 CLI 管理界面
CLI 管理界面是 NCS7000G2F 存储设备的全命令行界面，通过 CLI 管理界面能够实现 GUI
界面无法实现的某些功能，具体内容在下文中会有提及。 CLI 管理界面能够实现

[12]
NCS7000G2F 存储设备的全部功能，是管理 NCS7000G2F 存储设备最强大的工具，但是其用
户友好性不如 GUI 管理界面。对于您的日常维护，建议使用 GUI 管理界面进行。若是您没
有使用 CLI 管理界面的相关知识和经验，请联系同有技术支持进行 CLI 管理界面的操作，您
最好不要独自使用，以免出现问题。
 Mdisk
Mdisk 即 RAID 组，NCS7000G2F 存储设备支持的 RAID 级别有 0、1、5、6、10 以及
TRAID5 和 TRAID6。
 存储池
存储池是 NCS7000G2F 存储设备中的物理资源的合集，一个存储池中可以包含多个
RAID 组，也就是多个 Mdisk。卷也是创建在存储池上的。
 卷
卷是 NCS7000G2F 存储设备对外提供的物理容量单元，也即是 SAN 中的 LUN 概念。每
一个 NCS7000G2F 存储设备中的卷可以分配给前端应用主机，被前端应用识别为一个个的
磁盘。卷也是快照、远程复制等高级功能的基本单元，这些功能都是在每一个具体的卷上
配置的。
4 基础功能
4.1 传统 RAID
NCS7000G2F 支持常用的传统 RAID 级别，可根据用户实际环境需求灵活调整 RAID 组中成
员磁盘的数量及条带宽度，以满足用户多样化的需求。NCS7000G2F 支持的 RAID 类型如下
所示。
 RAID0
 RAID1
 RAID5
 RAID6
 RAID10
4.2 TRAID
[13]
NCS7000G2F 的 TRAID 将硬盘划分成更细粒度的空间进行管理，每一个硬盘都被分成了
很多个 Strip，Strip 是 NCS7000G2F TRAID 中最基本的容量管理单元，可以达到 KB 级别的细
粒度。传统的 RAID 模式是以整颗硬盘为单元创建 RAID5、RAID6 或者其他的 RAID 级别，而
NCS7000G2F 的 TRAID 是以 Strip 为单元创建 RAID5、RAID6 或者其他 RAID 级别的。可以将
NCS7000G2F 中的 Strip 理解为传统 RAID 中的硬盘，每一个 Strip 就是一个“小硬盘”
NCS7000G2F TRAID 中的所有磁盘划分 Strip 时，相同编号的 Strip 在不同硬盘上位于同
样的物理位置，这样不同磁盘上相同编号的 Strip 就组成了一个“带”，但是这里的带并不
是条带，比如 16 块磁盘组成的 TRAID，其“带”的长度是 16，此 16 块磁盘可以创建条带
宽度为 8 的 TRAID5，则其条带宽度为 8，也就是说一个“带”中可能含有两个条带，也可
能两个“带”中含有三个条带。再比如采用 3+P+Q 模式的 TRAID6。其中的 3 指的是 3 位数
据位校验出 P 和 Q，也就是说一个条带中含有 5 个 strip，其中三个 strip 用来存放数据，另
外两个 strip 用来存放 TRAID6 的校验数据。通俗来讲 3+P+Q 模式的 TRAID 就好比在传统存
储中使用 5 块盘创建一个 RAID6。那么在 TRAID6 中，以 strip 为基本单元，组成 3+P+Q，即
D1 D2 D3 P Q，当 3+P+Q 没有使用完全部的“带”中的空间时，会继续在此“带”中写入
下一个 3+P+Q，这样不存在空间浪费。每一个 3+P+Q 在 TRAID 中叫做一个条带。若是将
TRAID6 配置为 8+P+Q，则一个条带由 D1 D2 D3 D4 D5 D6 D7 D8 P Q 等 10 个 strip 组成。
从上文中我们可以知道，一个条带可能不会占满一个“带”，也可能占用两个“带”，
即上一个“带”的末尾和下一个“带”的开头。那么在 TRAID 条带内部，每个 strip 进行数
据校验的方式，对于 TRAID6 来说与传统 RAID6 完全相同，只不过 TRAID6 的粒度更加细化，
从硬盘级校验到 Strip 级校验。
NCS7000G2F 进行数据重建的基本单元就是 strip ，当某块硬盘出现损坏之后，
NCS7000G2F 只会将有数据内容的 strip 进行重建，没有数据内容的 strip 不会进行重建。数
据重建到哪里呢？在 TRAID 中没有单独的热备盘的概念，只有热备空间的概念，热备空间
打散分布到所有 TRAID 的成员盘上，当需要进行数据重建时，NCS7000G2F 使用所有磁盘进
行数据重建，大大加快了数据重建速度，消除了传统 RAID 进行数据重建时单块热备盘的性
能瓶颈。
为什么说 TRAID 进行数据重建速度快呢？因为 TRAID 数据重建是以 strip 为基本单元的，
没有数据的 strip 不会进行重建，这是第一点；二是因为热备空间被打散了，热备空间存在
于所有硬盘上，因此进行数据重建时是所有硬盘一起进行数据重建。如图 2 所示。

[14]
NCS7000G2F 的 TRAID 特性除了具有重建速度快的特点之外，还具有数据读写速度快的
优点。传统的 RAID 算法对于闪存的性能发挥存在多种制约，为了提升数据存取速率
NCS7000G2F 采用增强型的 RAID 算法——TRAID 来优化数据存储效率。通过对闪存介质地址
空间更为精细化的管理，NCS7000G2F 的 TRAID 算法能够更加细致准确的感知当前系统中闪
存介质的负载压力分布情况，从而对于计算队列中的 IO 进行精准投放，充分发挥出闪存介
质中每一块地址空间的性能，将整个系统的性能发挥到极致。通过多种性能优化手段，
NCS7000G2F 能够轻松达到百万级的 IOPS 处理能力，同时将 IO 延时控制在 1ms 以下。
图 2 TRAID 示意图
4.3 内部存储器池化
NCS7000G2F 可以将内部磁盘进行池化，从而高效的为用户提供所需的全部空间。
NCS7000G2F 在创建存储池时有一个通用的原则——将属性相同或相近的磁盘或者物理设备
（外部存储池）划分在一个存储池中。例如，在硬盘混插的场景中可以将多个高性能磁盘
创建为一个存储池，但是不建议一个存储池中既有高性能磁盘又有低性能磁盘。
NCS7000G2F 在创建卷时，可以设置其创建在某个存储池上。当卷创建在存储池
上时， NCS7000G2F 在存储池中自动为此卷分配空间。无论创建卷的容量多大，
NCS7000G2F 会将此卷均匀分布在存储池中的所有硬盘上，从而使该卷享受存储池中所有硬
盘的性能。

[15]
NCS7000G2F 不仅可以将内部存储器池化，而且能够将接管的外部存储设备池化，详见
3.8。
4.4 数据自动分层
如今的存储市场中，相对于机械硬盘（HDD）来说，SSD 极具吸引力，因为它们具备
响应时间短、吞吐量大及 IOPS 高效等特点。SSD 可以大大节省基础存储设施的运营成本，
但是，目前每 GB SSD 的购买成本远远高于机械硬盘，而且，SSD 的性能很大程度上取决于
工作负载，因此，SSD 配合机械硬盘一起使用以实现其最佳性能才是一个正确的选择。
NCS7000G2F 的数据自动分层是针对存储性能优化而推出的一个功能，它自动将数据在
存储池内部迁移（从 SSD 到机械硬盘或从机械硬盘到 SSD），以实现数据智能动态调节的
目的。在存储池中，NCS7000G2F 以特定大小的数据块容量单元对数据进行管理，对每一个
基本的容量单元进行性能监控。当某一个基本容量单元中数据访问热度的加权分数达到所
有容量单元的前列时，数据自动分层功能会将该部分数据迁移到存储池中的 SSD 硬盘中。
反之，当某个基本容量单元中的数据访问热度加权分数落后到所有容量单元的末尾时，数
据自动分层功能会将该部分数据迁移到存储池中的低速机械硬盘中。如图 3 所示。
图 3 数据自动分层示意图
NCS7000G2F 数据自动分层功能算法智能，效率极高。在对基本容量单元进行数据迁移
之前，NCS7000G2F 会预先计算评估出此次数据迁移的收益，并对比本次数据迁移对现有性
能的开销，结合当前用户应用对存储的性能压力，综合评估是否需要进行数据迁移。强大
的硬件计算能力和智能的数据自动分层算法，保证 NCS7000G2F 带给用户最大的收益。

[16]
4.5 虚拟逻辑资源
NCS7000G2F 采用存储虚拟化技术为前端应用提供数据访问。对于硬盘级别，
NCS7000G2F 采用虚拟化技术创建存储池；对于 LUN 级别，NCS7000G2F 采用虚拟化技术创
建卷；对于前端应用主机， NCS7000G2F 采用虚拟化技术为其创建对应的客户端。在
NCS7000G2F 中，通过将卷分配给客户端，完成 LUN 到前端应用主机的映射过程。
NCS7000G2F 的所有高级数据服务均是基于虚拟逻辑资源存在的，正是因为采用了存储
虚拟化技术，NCS7000G2F 的各种高级数据服务可以高效稳定的运行。NCS7000G2F 的虚拟
逻辑资源包含上文中介绍的存储池，包含下面要介绍的内容“卷”和“主机映射”。
NCS7000G2F 虚拟逻辑资源的层次关系为：由多个物理磁盘按照相应的 RAID 级别组成
RAID——由多个 RAID 组成存储池，每个存储池中可以包含不同级别、不同存储介质的 RAID
——在存储池上划分卷——将卷映射给主机，具体如图 4 所示。
图 4 NCS7000G2F 虚拟逻辑资源架构
4.5.1 卷
卷是 NCS7000G2F 中直接为前端应用主机提供数据访问的存储单元。NCS7000G2F 的所
有高级数据保护功能都是基于卷级别实现的，例如快照、备份、克隆、远程复制等等。

[17]
NCS7000G2F 中的卷分为很多中，具体如下所示。
 基本卷
基本卷是 NCS7000G2F 中最普通的卷，也是应用数量最多的卷。
 镜像卷
镜像卷是具有冗余数据的卷。镜像卷可以分布在两个存储池上，每个存储池中镜像
写入相同的数据内容。当任何一个存储池出现了物理故障时，剩余的存储池可以继续
无缝为前端应用主机提供数据访问服务，从而提高业务连续性和数据安全性。镜像卷
如图 5 所示。
图 5 镜像卷示意图
 自动精简配置卷
自动精简配置卷是 NCS7000G2F 为用户提供的一种灵活使用的卷模式。尤其是在前期
户应用数据不多，数据潜在增长量较大，自动精简配置卷可以为用户带来最大的收益和简
便的操作。自动精简配置卷的实际容量大小随着用户数据的增长而增大，用户不必在项目
前期就直接配置所有的硬盘，只需要在不断的使用过程中向存储池中添加新硬盘即可，最
大程度提高了投资回报率。
NCS7000G2F 针对自动精简配置功能提供存储空间预警机制，用户可以根据需求自行设
置存储空间报警阈值。当存储使用量达到预设阈值时 NCS7000G2F 将为存储管理员发送报

[18]
警信息，防止因实际存储空间不足，导致的业务系统宕机（传统存储方式是将实际的存储
空间映射给主机，空间的使用情况，可以在业务系统中体现出来。而使用了精简调配功能
后，主机端仅能检测到虚拟存储空间，实际存储使用情况仅记录在 NCS7000G2F 中）。下
面通过实际的例子，加深对自动精简配置功能的理解：例如，在某个环境中，每名用户核
准最高使用 20 GB 的容量，但多数用户使用的实际容量不到 3GB。在这个环境中，存储管
理员可以决定通过精简调配卷的方式给每名用户分配 20GB 的虚拟容量，每名用户分配到
的实容量仅为 3GB。如果有 100 名用户，则虚拟容量总计 2TB，而存储子系统中的实际容量
仅为 300GB。如果管理员根据以往经验知道并非所有的用户都在同一时间使用全部物理容
量的话，则这种做法是有效的。有些用户只使用 3 GB 或更少的容量，有些用户则可能使用
全部的 20 GB 容量。存储管理员仍有责任监控实际容量的分配情况，以免出现存储容量不
够用的问题，当容量达到阈值时，存储系统将会发出警报并且进行跟踪监控，自动精简配
置如图 6 所示。
图 6 自动精简配置示意图
NCS7000G2F 针对自动精简配置功能提供存储空间预警机制，用户可以根据需求自行设
置存储空间报警阈值。当存储使用量达到预设阈值时 NCS7000G2F 将为存储管理员发送报
警信息，防止因实际存储空间不足，导致的业务系统宕机（传统存储方式是将实际的存储
空间映射给主机，空间的使用情况，可以在业务系统中体现出来。而使用了精简调配功能
后，主机端仅能检测到虚拟存储空间，实际存储使用情况仅记录在 NCS7000G2F 中）。下

[19]
面通过实际的例子，加深对自动精简配置功能的理解：例如，在某个环境中，每名用户核
准最高使用 20 GB 的容量，但多数用户使用的实际容量不到 4GB。在这个环境中，存储管
理员可以决定通过精简调配卷的方式给每名用户分配 20GB 的虚拟容量，每名用户分配到
的实容量仅为 4GB。如果有 100 名用户，则虚拟容量总计 2TB，而存储子系统中的实际使用
的容量仅为 400GB，此时 500GB 的空间就足以满足用户需求。如图 7 所示。
图 7 自动精简配置对比图
 压缩卷
实时在线压缩技术内置于 NCS7000G2F 控制器，并借助专用压缩协议处理器协助计算
集型的压缩解压运算。NCS7000G2F 采用 LZH 压缩算法，利用独有的随机访问技术提供高性
能和高压缩比，在对已压缩数据少量更改时，随机访问技术仅需读取 /更改单个变更数据块
而非所有数据,大幅降低了压缩解压过程对后端磁盘 I/O 的要求。传统压缩方式通过恒定的
区块大小对数据进行压缩，最终压缩文件的大小取决于源文件的大小和压缩率。传统的压
缩算法将文件数据作为其输入，并通过滑动窗口技术解析数据。滑动窗口最常见的大小是
32KB。滑动窗口中检测到的重复数据将进行压缩。下图显示了使用滑动窗口的压缩机制，
其中字符串“ABCD”的前两次重复位于相同的压缩窗口内，因此可以通过使用相同的字典
进行压缩。字符串的第三次重复落在该窗口之外，因此不能通过使用与前两次重复相同的
压缩字典来压缩，从而导致总体的压缩比并不高。
[20]
图 8 滑动窗口压缩机制
传统的数据压缩机制用在存储系统中，也是将数据分解成固定的块，然后每个块独立
地压缩和提取。这种方法需要读取数据块然后再将数据块重新压缩。这种传统的压缩机制
对于区块大的文件，IOPS 低，性能差；对于区块小的文件，压缩率低。随着时间的增加，
传统压缩算法的压缩率越来越低，碎片越来越多且碎片无法回收。图 9 显示了数据如何分
解成固定大小的块（图左），还显示了每个块如何独立压缩成可变长度的压缩块（图中）
生成的压缩块顺序存储在压缩输出中（图右）。这种方法限于低性能用例，因为这种方法
不能提供对数据的实时随机访问。

[21]
图 9 存储系统中的传统数据压缩
NCS7000G2F 采用可变长度的区块的压缩算法，最终压缩文件的压缩率接近一致。与传
统的压缩算法相比，这种压缩算法是一种倒置的算法。NCS7000G2F 的 LZH 压缩算法使用可
变大小的数据块作为输入，并为输出生成固定大小的数据块。该方法能够有效的索引压缩
数据，因为数据块存储在固定大小的容器中。

[22]
图 10 可变长度区块压缩算法
LHZ 压缩算法和传统压缩算法都是通过在被压缩的数据块内找到重复的字节来压缩数
据。该数据块的压缩率取决于数据块内可以检测到的重复字节次。重复字节数受到存储在
块中的字节彼此之间的相互影响。字节之间的关系由它们的格式决定。例如，一个文档可
能包含文本信息和嵌入式图形。因为文件中的数据分块是随机的，没有关于如何在文档中
布置数据的概念。因此，压缩的块可以是文本信息和图形的一部分的混合。该过程会导致
压缩比比较低，因为不同的数据类型混合在一起导致压缩字典不是最优的。也就是说，一
个数据块内检测到重复会更少，因为在图形中不太可能发现文本对象中的字节重复。这种
传统的数据压缩方法也被称为基于位置的压缩。
实际生产过程中，NCS7000G2F 接收到的数据块压缩比例都是不一样的，有些数据块经
[23]
过压缩只能节省很少的空间，但仍然需要资源，如 CPU 和内存资源。为了避免在不可压缩
数据上花费资源，并提供不同的，更有效的（在这种特殊情况下）压缩算法，NCS7000G2F
中引入了预决定机制。基于这种机制，低于一定压缩比的块被压缩引擎跳过，决定不对其
使用主压缩算法压缩，因此节省了 CPU 和内存资源。但仍然可以使用另一种算法进行压缩，
标记和处理。
NCS7000G2F 的 LZH 压缩算法是一种基于时间的压缩算法，应用在存储中要大大优于传
统的基于位置的压缩。当主机写入的 IO 到达 NCS7000G2F 中时，它们被压缩并填充成固定
大小的块，也称为压缩块，多个压缩写入可以聚合成单个压缩块。用于检测重复的字典存
储在压缩块内。当应用程序写入新数据或更新现有数据时，数据通常是作为一系列写入 IO
从主机发送到存储系统。因为这些写入很可能来自相同的应用程序并且来自相同的数据类
型，所以压缩算法通常会检测到更多的重复。因为数据重复检测是基于将数据写入相同压
缩块的时间，所以这种类型的数据压缩被称为时间压缩。时间压缩增加了其他压缩算法不
可用的时间维度。时间压缩可以提供更高的压缩比，因为块中的压缩数据来自于更均匀的
输入数据集。而基于位置的压缩，是等到主机 IO 写入到磁盘后再进行压缩，因为这些 IO
在卷中的位置很可能不相邻，所以它们会被压缩成不同的块，并且重复的数据必须通过使
用三个单独的压缩字典来压缩，因此这种方法的压缩比较低。
正是借助专用压缩协处理器以及独有的 LZH 压缩算法，NCS7000G2F 的压缩方式为在线
处理方式，压缩率可高达 80%。启用此功能后，不仅对 NCS7000G2F 性能无影响，对于 I/O
密集型的应用如 Exchange，SQL Server 等，由于后端只需要处理更少的数据，其控制器的
CPU 处理的数据更少、负荷大大降低，磁盘上存取的数据更少，磁盘的 IO 次数、磁头的移
动次数要求都大大减少，性能反而较压缩前有一定提升。在传统的压缩技术中，为了降低
数据压缩对阵列性能的影响，往往采用后处理压缩方式，即先写入原始数据，在后台根据
策略触发对写入数据的压缩，比如数据变化量达到 10%或 10GB 的增量即启动对这些数据的
压缩过程。但这种间断的处理方式也导致了需要的存储空间更大，在进行后台压缩处理时
占用存储控制器处理器与缓存，对性能的影响较大并且持续时间较长。卷压缩功能如图 11
所示。

[24]
图 11 卷压缩示意图
4.5.2 卷扩容
NCS7000G2F 对于已经创建好的卷支持扩容功能。新的扩容入此卷的空间来自于创建此
卷的存储池。在实际项目维护中，NCS7000G2F 卷扩容比较灵活，只需要在 NCS7000G2F 接
管的底层存储设备中或者内部磁盘组成的存储池中为该卷分配更多的物理空间，之后将此
物理空间用于卷扩容即可。
当 NCS7000G2F 完成卷扩容之后，还需要在应用主机端对卷上的文件系统做出调整，
以使新扩展的容量能够为前端文件系统提供服务。
4.5.3 卷拷贝
卷拷贝即将卷在某个时间点时的数据完整的拷贝到另一个卷中。卷拷贝可以在后台进
行，
而不影响此卷的业务连续性。当发起卷拷贝后，NCS7000G2F 首先为此卷创建一个快照，然
后从此快照中读取数据拷贝到新的卷中。当卷拷贝过程完成之后，新卷中的数据可以用于
测试、开发、容灾演练等用途。
4.5.4 卷迁移

[25]
NCS7000G2F 的卷可以跨存储池进行迁移，也可以跨集群内的多个物理节点进行迁移。
当 NCS7000G2F 进行卷迁移时，会事先在目标存储池或者目标物理节点中创建一个目标卷。
当卷迁移的数据同步过程开始之后，NCS7000G2F 从迁移源卷将数据拷贝到迁移目标卷。卷
迁移时不影响前端应用主机的业务连续性，当卷迁移数据同步过程完成之后， NCS7000G2F
将迁移源卷的卷标和映射关系等复制到迁移目标卷。当整个卷迁移过程完毕之后，由迁移
目标卷为前端应用主机提供数据访问服务，同时 NCS7000G2F 将迁移源卷从其原有的存储
池或者物理节点中删除，从而释放空间。整个卷迁移过程是完全自动化的过程，全部动作
由 NCS7000G2F 系统自主完成，无需任何人工干预。
4.5.5 主机映射
对于每一个前端应用主机， NCS7000G2F 可以为其创建相应的主机映射。每一个
NCS7000G2F 中的主机映射都是前端应用主机在 NCS7000G2F 中的一个投影。主机映射分为
三种形式，一种是 FC 接口形式主机映射，另一种是 iSCSI 接口形式主机映射，还有一种是
SAS 接口形式的主机映射。FC 形式的主机映射代表此应用主机通过 FC 链路与 NCS7000G2F
相连接，不同的 FC 主机映射通过前端应用主机 FC HBA 卡的 WWPN 号进行特异性标记。
ISCSI 形式的主机映射代表此应用主机通过 iSCSI 链路与 NCS7000G2F 相连接，不同的 iSCSI
SAN 客户端通过前端应用主机的 IP 地址和 iSCSI 发起名进行特异性标记。SAS 形式的主机映
射代表此应用主机通过 SAS 链路与 NCS7000G2F 相连接，不同的 SAS 主机映射通过前端应用
主机 SAS HBA 卡的 WWPN 号进行特异性标记。
当卷分配给一个主机之后，相应的前端应用主机会识别到此 SAN 资源，表现为增加了
一块新磁盘。此增加的磁盘即为 NCS7000G2F 新分配的卷。一个卷可以单独分配给一个主
机，也可以同时分配给多个主机，此种情况往往前端应用为集群模式。
4.6 压缩
在上文介绍卷时就已经介绍过压缩卷的概念。NCS7000G2F 采用独特的可变长度的区块
压缩算法，最大程度提高了数据压缩率。在硬件架构上，NCS7000G2F 控制器中有一块独立
的压缩加速卡，专门负责数据压缩的计算工作。此压缩加速卡独立于进行一般 IO 处理的
CPU，保证了 NCS7000G2F 在进行数据压缩的时候，不会对前端应用主机的性能产生影响。
4.7 系统维护
[26]
NCS7000G2F 提供多种系统维护功能，本手册选取其中比较常用的功能进行介绍。
4.7.1 性能监控
NCS7000G2F 可以监控整个系统级别、控制器级别、RAID 组级别的实时 IOPS 情况和实
带宽情况。性能监控能够做到对相应监控对象的 IOPS 性能、带宽性能、延迟时间等信息进
行实时采集，以实时图表的形式反馈给客户。
4.7.2 系统配置
NCS7000G2F 提供多项系统配置功能，其中比较常用的有系统关机、系统重启、重新配
置网络、修改 IP 地址、系统补丁更新、修改 NCS7000G2F 系统名称等。
采用这些常用的系统配置功能，用户可以方便的对 NCS7000G2F 进行维护管理。
4.7.3 通知功能
NCS7000G2F 支持多种方式的通知功能，包括 SNMP、电子邮件提醒等。NCS7000G2F
可以
通过 SNMP 协议将系统告警信息发送给用户预先设置好的 SNMP 服务器，方便用户第一时
间获取 NCS7000G2F 系统运行状态，并且及时做出响应。通过电子邮件提醒功能，
NCS7000G2F 可以向用户预先设置好的邮件服务器中发送系统运行状态电子邮件，可以设置
多种策略的触发条件，当满足设置好的触发条件时，用户便能够及时收到相应的电子邮件
提醒。
对于设置好的 SNMP 服务器和邮件接收服务器，NCS7000G2F 支持在线对其进行编辑修
改。当用户现有生产环境发生变化时，可以方便的对 NCS7000G2F 做出相应调整。
4.7.4 日志功能
NCS7000G2F 支持非常全面的日志维护功能。当系统运行状态出现异常、警告、报警、
故障等状况时，NCS7000G2F 会将这些信息通过系统日志的方式呈现给用户。
对于某一条具体的日志信息，用户可以对其进行点击以查看详情。对于错误或故障信
息，用户可以对其进行点击从而开始该条信息对应的错误修复过程。NCS7000G2F 会提供错
误修复向导，提示用户一步一步完成错误修正过程。

[27]
若是用户需要将日志收集以便完成技术支持工作，可以采用 NCS7000G2F 的日志收集
功能，将系统内多种不同形式的日志文件打包收集。NCS7000G2F 支持四种模式的日志收集
工作，由简到全可以适应用户不同的需求。收集的日志信息越全面，从 NCS7000G2F 中下
载的时间就越长。
NCS7000G2F 日志体系中包含审计日志功能。审计日志自 NCS7000G2F 集群创建起就一直
存在，并且无法删除。审计日志会记录管理员对 NCS7000G2F 集群进行的每一项操作，为
后续的可能的问题追溯需求提供关键信息支撑。
4.8 物理资源整合
NCS7000G2F 带有存储网关功能，能够整合数据中心中的异构存储资源。NCS7000G2F
接管存储资源的方式有两种——虚拟化和透传。无论采用哪种方式，NCS7000G2F 均能够实
现对存储资源的管理，为存储资源附加各种数据保护的高级功能。NCS7000G2F 在整合的物
理资源之上创建虚拟逻辑资源，从而为前端业务提供服务。NCS7000G2F 的逻辑资源可以创
建在任何其接管的物理设备上，也可以跨异构存储创建逻辑资源，从而方便灵活的管理存
储资源。NCS7000G2F 整合数据中心物理资源如图 12 所示。
图 12 NCS7000G2F 整合物理资源示意图
4.8.1 透传

[28]
对于数据中心内现有的数据，NCS7000G2F 提供透传方式进行接管。采用透传模式后，
存储设备内的现有数据不会被破坏，经过 NCS7000G2F 接管后被前端应用识别为与之前完
全相同的数据内容。其主要原理为 NCS7000G2F 在创建透传设备时，不会向此物理设备本
身写入任何与地址分布信息有关的数据，而会把记录地址分布信息的文件头写入其他虚拟
化的物理设备中。这样，此透传模式的物理设备内的任何数据均没有被更改，所以能够实
现数据不被破坏的无缝迁移。
图 13 透传功能示意图
当一个存储设备中的 LUN 被 NCS7000G2F 以透传模式接管之后，同样也可以享受
NCS7000G2F 提供的各种数据保护的高级功能，比如快照、克隆、备份以及远程复制等；也
可以享受 NCS7000G2F 提供的加速功能，比如 NCS7000G2F 内存加速。这样，被接管的物理
设备无论采用哪种方式受管，都可以享受到 NCS7000G2F 提供的高级功能。
4.8.2 外部存储池化
NCS7000G2F 通过存储虚拟化技术将后端存储设备的存储格式变为 NCS7000G2F 可以灵
活管理的格式，从而对后端存储设备进行统一管理。当一个存储设备将自身创建好的 LUN
[29]
分配给 NCS7000G2F 进行接管时，NCS7000G2F 识别到的物理设备即为此 LUN 本身，而识别
不到此 LUN 最底层的 RAID 配置或者是存储设备底层的物理硬盘。当 NCS7000G2F 接管数据
中心存储设备的多个 LUN 之后，可以通过两种手段对 LUN 进行管理，其中一种手段为存储
虚拟化。
当一个存储设备上的 LUN 被 NCS7000G2F 虚拟化之后，此 LUN 上的数据会全部丢失。
NCS7000G2F 会在每个虚拟化的物理设备上创建特定大小的头部信息，用以管理此物理设备
的地址信息、状态信息等。被虚拟化了的物理设备并不能直接为前端应用提供存储服务，
还需要 NCS7000G2F 在其上创建逻辑存储单元，即卷。卷是 NCS7000G2F 为前端应用提供服
务的最小存储单元。一个被虚拟化了的物理设备上可以创建多个卷，即 NCS7000G2F 对物
理设备的拆分用法；一个卷也可以创建在多个被虚拟化了的物理设备上，即 NCS7000G2F
对物理设备的合并用法。通过存储虚拟化技术，NCS7000G2F 能够非常灵活的管理数据中心
中的存储资源。
外部存储池是包含一个或多个物理设备的组。通过创建存储池，可以高效为客户应用
提供所需的全部空间。存储池可以是多种方式的，也可以是多种标准的，其中包括
 层级—性能级别、成本或冗余
 设备类别及用途—虚拟化、透传、主存储空间、镜像存储空间、快照空间、缓存
空间等
 特定应用程序使用—客户端的各种不同应用程序专用
NCS7000G2F 在创建存储池时有一个通用的原则——将属性相同或相近的物理设备划分
在一个存储池中。例如，可以将多个高性能物理设备创建为一个存储池，但是不建议一个
存储池中既有高性能物理设备又有低性能物理设备。
4.8.3 下联存储多路径
NCS7000G2F 具有广泛的存储设备兼容性，能够整合绝大部分主流存储设备。在整合存
储设备时， NCS7000G2F 可以通过多路径的方式连接存储设备，以规避链路故障造成
NCS7000G2F 与存储设备的连接丢失。下联存储的多路径允许 NCS7000G2F 通过多个路径端
口智能分配 IO 流量，最大限度的提高整个系统的性能。
当多路径组中的一条路径处于断开状态时，NCS7000G2F 与存储设备之间的连接不会丢

[30]
失，但是会损失一条路径的 IO 性能。当此断开的路径被修复之后，NCS7000G2F 通过定时
路径扫描能够发现其已处于可用状态，会将此路径重新纳入多路径组的可使用范围内，此
时系统的 IO 性能恢复到路径断开之前的状态。
4.9 数据迁移
对于用户数据中心现有的生产数据，若是其存在于 NCS7000G2F 的磁盘阵列兼容列表
之中的磁盘阵列上，可以使用 NCS7000G2F 系统自带的数据迁移功能将数据无缝迁移到
NCS7000G2F 中，而不必采用应用端复杂的数据迁移方法。
利用 NCS7000G2F 整合物理资源的功能，将用户现有的存储设备中的 LUN 映射到
NCS7000G2F 中，利用透传功能，NCS7000G2F 可以保留该存储设备中的数据而对该存储设
备进行接管。当 NCS7000G2F 接管该存储设备时，可以在其上创建透传模式的卷，此卷中
的数据与用户原有数据完全一致，并将此透传卷分配给用户应用主机使用。
对于此透传卷， NCS7000G2F 可以为其开启数据迁移功能，将其中的数据迁移到
NCS7000G2F 内部存储器组成的存储池中。开启数据迁移后，NCS7000G2F 为此透传卷创建
一个镜像卷，镜像卷的位置即位于数据迁移的目标存储池上。当数据同步过程完毕之后，
NCS7000G2F 自动同步透传卷和数据迁移目标卷的卷标，并解除透传卷和应用主机端的映射
关系，同时创建数据迁移目标卷和应用主机端的映射关系，并断开透传卷和数据迁移目标
卷之间的镜像关系。上述整个过程完全自动化完成，无需用户人为干预，只需要开始数据
迁移过程即可。在整个数据迁移过程中，用户应用端业务不会发生中断或者宕机，
NCS7000G2F 的数据迁移过程是无缝透明完成的。

[31]
图 14 数据迁移示意图
5 高级功能
5.1 集群内故障转移
在集群处于正常状态时，NCS7000G2F 会同步各个物理节点的状态信息。NCS7000G2F
采用 FC 心跳链路互相通知本物理节点的状态。通过 FC 心跳网络，多个物理节点互相同步
每个物理节点的健康状态信息。当某个 NCS7000G2F 物理节点处于不健康状态时，此物理
节点提供的服务会故障转移到集群中的其余物理节点中。
除了进行心跳信息同步，NCS7000G2F 各个物理节点之间还通过专用网络同步一些控制
信息和状态信息，比如远程复制的进度、快照策略、镜像同步进度等等，以便此物理节点
故障切换之后其余物理节点能够继续提供高级功能。
5.2 集群间双活
NCS7000G2F 为了保护用户数据处于最大程度的安全，为用户数据中心打造抵抗物理故
障的高可用架构，同时提供抵抗逻辑故障的各种数据保护功能。对于物理保护，
NCS7000G2F 会创建存储镜像和高可用保护关系，即阵列级的双活。对于 NCS7000G2F 16 控
制器集群，当任何一个控制器出现问题，NCS7000G2F 集群会将此控制器负责提供的存储服

[32]
务智能切换到剩余的控制器上；当任何一个主柜出现问题，NCS7000G2F 集群会将此主柜负
责提供的存储服务智能切换到剩余的主柜上。这些切换过程对前端应用透明，应用无感知
也不会发生停机故障。
NCS7000G2F 除了能够实现集群内部的高可用性之外，还可以实现集群间双活。
NCS7000G2F 创建集群间双活架构，使用的技术类似于同步复制，前端应用主机写入的每一
个写 IO 均会同步传输到两个 NCS7000G2F 集群之中。这样，当任何一个 NCS7000G2F 集群
出现了故障时，业务可以无缝切换到剩余完好的 NCS7000G2F 集群上，从而为用户实现最
大程度的业务连续性。
NCS7000G2F 配置集群间双活，需要主机端的多路径软件配置，以完成集群间的故障切
换。多路径软件可以采用操作系统原生的多路径软件，也可以采用 NCS7000G2F 专用的多
路径软件。
5.2.1 跨集群数据同步
跨集群数据同步是 NCS7000G2F 实现集群间双活的基础。NCS7000G2F 进行跨集群数据
同步使用的技术类似于同步复制。对于 A 集群的每一个实体卷，NCS7000G2F 会在 B 集群中
为其创建对应的实体影像卷。在这两个实体卷之上，NCS7000G2F 为其创建虚拟的逻辑卷，
也就是双活卷，用户应用主机最终使用的卷就是此虚拟双活卷。此虚拟双活卷的使用需要
用户操作系统端具有相应的多路径配置。前端应用主机不能感知到自身正在使用的卷是虚
拟双活卷，其会像使用普通卷一样使用虚拟双活卷，所有 IO 的分发以及 IO 流向控制均由
NCS7000G2F 完成。
当前端应用主机向虚拟双活卷中写入数据时，写 IO 请求会首先在组成集群间双活架构
的两套 NCS7000G2F 集群的缓存中进行同步。当两套集群的缓存同步完毕之后，会同时将
缓存中的写 IO 数据刷新写入两套集群内的磁盘中。当两套集群中写 IO 数据全部刷入磁盘
中时，NCS7000G2F 会返回前端应用主机写完成信号。若是任何一套集群没有完成缓存数据
向磁盘的刷入过程，NCS7000G2F 则不会返回写完成信号，以此来保证用户数据的高安全性
和严格的一致性。基于此原理，在配置集群间双活时，两套 NCS7000G2F 的集群性能最好
相近乃至相同，否则性能比较慢的集群会成为集群间双活解决方案的性能瓶颈。
在集群间双活架构中，NCS7000G2F 引入了“站点”的概念。两套 NCS7000G2F 集群各
自属于站点 1 或者站点 2。对于前端应用主机来说，在 NCS7000G2F 中为其创建 SAN 客户端
时也需要为其指定所属站点是站点 1 或者是站点 2。对于站点 1 的应用主机，其写 IO 会预

[33]
先写入站点 1 的 NCS7000G2F 集群缓存中，再由站点 1 的集群将缓存中的写 IO 同步到站点 2
集群的缓存中；对于站点 2 的应用主机，其写 IO 会预先写入站点 2 的 NCS7000G2F 集群缓
存中，再由站点 2 的集群将缓存中的写 IO 同步到站点 1 集群的缓存中。
当前端应用主机发出一个读请求命令时，若此应用主机在 NCS7000G2F 中设置在站点
1，则其只会从站点 1 的 NCS7000G2F 集群中读取数据；若此应用主机在 NCS7000G2F 中设
置在站点 2，则其只会从站点 2 的 NCS7000G2F 集群中读取数据。如此设计，保证了在集群
间双活架构中，应用主机的读 IO 路径最短，从而提高了读 IO 响应能力。
5.2.2 集群间故障转移
NCS7000G2F 构建了集群间双活之后便能够实现集群间的故障转移。 NCS7000G2F 的虚
拟双活卷是建立在跨集群的两个物理实体卷之上的，当任何一个物理实体卷出现了故障时
虚拟双活卷在多路径软件的配合下会自动进行 IO 路径的重定位工作。当集群间双活成员中
的一个 NCS7000G2F 集群出现故障后，相当于此集群上的所有物理实体卷都出现了故障，
则所有虚拟双活卷均可以将 IO 重定位到正常工作的集群上，从而保障前端应用主机的业务
连续性。
5.3 仲裁机制
NCS7000G2F 仲裁机制采用独立的物理设备。如果 NCS7000G2F 集群各个物理节点间的
信丢失，并且各方都互相承担故障保护的功能，则该仲裁组件可以防止故障保护配置中的
脑裂 (split-brain) 现象。在出现脑裂的情况下，多个 NCS7000G2F 物理节点都会尝试写入同
一存储区域，这会导致数据不一致，而 NCS7000G2F 的仲裁机制可以预防此类现象的发生。
仲裁组件监控各个 NCS7000G2F 物理节点状态，并尝试释放无响应物理节点的服务，以便
其余物理节点能够安全接管。
5.4 快照
NCS7000G2F 为防范逻辑故障提供快照功能。每一个快照都是卷在某个时间点的数据映
像，使您能够能从先前的时间点恢复数据。快照可以跟踪同一卷由“时间”标记的多个虚
拟映像。如果需要找回已删除的文件或“撤销”数据损坏，则可以根据任何现有的快照立

[34]
即重新创建/复原文件。
快照可以防止出现逻辑错误，即非灾难性数据丢失，包括意外删除文件以及软件 /病毒
问题所导致的数据损坏。快照可以在高可用性配置无法提供逻辑保护的情况下提供逻辑保
护，因为在创建冗余数据集时，高可用性配置在默认情况下也会创建逻辑错误的副本集。
快照可以保护数据免受疏忽、管理员操作不慎、备份期间出现无法预料的小故障，以及恶
意病毒的侵害。
快照功能同时具有撤销功能，用于数据处理。传统上，在对数据集执行操作时，管理
员需要在执行每个“危险”步骤之前进行完全备份，作为一种安全措施。如果执行的步骤
导致意外结果，管理员需要恢复数据集并重新执行整个过程。通过 NCS7000G2F 的快照功
能，可以轻松的将数据回滚（复原）到其原始状态。
NCS7000G2F 中的快照采用 COFW（COPY ON FIRST WRITE）技术实现，每一个快照中
只存放此快照时间点后每一个地址位中第一次被覆盖写的数据。结合每一个快照自身的头
部信息中的数据地址位变化情况，NCS7000G2F 能够轻松恢复每一个快照时间点对应的数据。
因为每一个快照中只存放被改变的数据，而不存放所有完整数据，因此快照占用的空间是
比较小的。
对于逻辑故障， NCS7000G2F 提供快照保护功能。通过对历史数据照片式的记录，
NCS7000G2F 能够记录特定时间点的数据状态。当存储数据出现了逻辑故障，例如中病毒、
误删除等，可以将快照卷分配给前端应用使用，因为 NCS7000G2F 的快照卷是可读写的卷；
也可以从某个快照中进行数据回滚，将历史时间点的数据回滚到原卷中。除了针对原卷创
建快照， NCS7000G2F 还可以为快照继续创建快照，以满足特定应用场景的需求。
NCS7000G2F 逻辑故障保护如图 15 所示。

[35]
图 15：NCS7000G2F 逻辑故障保护
5.4.1 快照功能概述
快照功能发生在源卷和目标卷之间，源卷和目标卷的大小必须相同。可以定义多个快
照关系（源卷到目标卷），并且可以通过使用一致性组维持多个快照关系时间点的一致性
对于快照，NCS7000G2F 存储系统支持的最小粒度是整个卷;无法使用快照功能仅复制卷的
一部分。另外，源卷和目标卷必须属于同一套 NCS7000G2F 存储系统，但它们不必在同一
个存储池中，可以在内部存储池，也可以在外部存储池。
快照启动后，将创建源卷到目标卷的有效副本。源卷的内容立即显示在目标卷上，并
且目标卷的原始内容丢失。这个操作也称为时间零拷贝（T0）。之后，源和目标卷可以使
用。快照启动操作创建一个可引用和维护的位图，以便在源和目标关系中引导 I / O 请求。
当数据块在后台从源卷复制到目标卷时，位图被更新以反映数据块当前的位置。
数据在源卷和目标卷之间复制时，将以被称为“ grain”的地址空间为单位进行复
制。”grain”是数据分组的单元，用于优化位图的使用，位图则用来跟踪源和目标卷之间的
数据的更改。您可以选择使用 64 KB 或 256 KB 的 grain sizes（256 KB 是默认值）。64 KB 粒
度使用位图空间，默认速率是 256 KB 的四倍。快照的位图用 1bit 的空间来对应 1 个
grain，用于跟踪源粒度是否被复制到目标。如下图所示，T0 时刻创建快照关系，等过了 t
时间间隔时，源卷中有一数据块 1 被新写入的数据块 1’覆盖（假设该数据块正好是一个

[36]
grain 的大小），基于 COFW 机制，系统会将数据块 1 拷贝到快照卷中，再让新数据块 1’覆
盖源卷中的数据块 1，与此同时，位图空间中数据块 1 对应的位置数据会发生改变，表明
数据块 1 这一 grain 已被拷贝，之后源卷的这个位置再发生数据改变就不会再把数据拷贝到
快照卷。
图 16 位图空间工作机制
5.4.2 快照原理
NCS7000G2F 的 COFW 快照原理如图 9 所示。图 9 表示的是一个每隔一小时自动创建快
照的过程。在快照资源区中存放的是初次被改变的数据。当 10am 发起一个快照之后，数
据块 2、6、7 因为写操作被覆盖更改了，NCS7000G2F 将这三个数据块移入快照资源区中。
此后无论 2、6、7 对应的三个数据块中的数据发生何种更改，NCS7000G2F 均不会将对应数
据块中的数据移入快照资源区。那么在 10am 这一时间点的数据状态可以由逻辑 SAN 资源
本身没有发生变化的数据区块+快照资源中变化的数据区块一起拼凑而出。当 11am 发起一
个快照之后数据块 9、 10 因为写操作被覆盖更改了，NCS7000G2F 将这两个数据块移入快
照资源区中。此后无论 9、10 对应的数据块发生何种更改，NCS7000G2F 均不会将对应数据
块中的数据移入快照资源区。因为在 11am 时逻辑 SAN 资源 9 和 10 所在的数据块被修改了，
因此 10am 的快照位图指向不会仍然指向原来的 SAN 资源 9 和 10 所在的数据块的位置，而

[37]
会重新调整指向到 11am 快照资源区中 9、10 数据块的位置，以保证 10am 的快照影像不会
发生变化。也就是说，NCS7000G2F 中的多个快照，时间比较靠前的快照是依托于时间比较
靠后的快照而智能存在的，并非每个快照都是独立快照，从而为用户节省了大量空间。
图 17：NCS7000G2F 快照原理示意图
5.4.3 一对多快照
NCS7000G2F 支持一对多的快照创建方式，即一个数据源卷可以创建多个目标快照（图
18），用户可以根据系统设置，设计规划存储创建的周期和快照创建的数量
图 18：一对多快照示意图
利用多副本快照技术的优势，在于用户可以创建多个不同的时间点快照，当源数据卷
出现问题时，用户可以自行选择不同的时间点的快照进行恢复。当利用快照恢复数据源卷
时，如果源数据卷不可用还可以选择其他快照多次尝试恢复，直至恢复出用户所需数据。
[38]
5.4.4 层级快照
NCS7000G2F 还支持一种快照方式称为层级快照，因为 NCS7000G2F 的快照是可读写快
照，可对快照进行写操作，为了将快照恢复到写操作之前，需要在对此快照中的数据进行
写入修改前对此快照卷再做一次快照，称之为层级快照，也就是“快照的快照”，如图 19
所示。
图 19：层级快照示意图
5.4.5 快照可读写
NCS7000G2F 中的每一个快照均可以看做成一个独立的逻辑单元，每一个快照均可以分
配给前端应用服务器进行数据读写访问。
NCS7000G2F 的快照可读写功能提供了快速容灾演练的能力，当客户需要验证某一个快
照中的内容时，可以将此快照分配给前端应用主机，验证其中的数据内容，检查快照中的
数据是否是理想数据。同时快照可读写功能提供了局部数据快速恢复的能力，当客户需要
恢复某些局部性的数据内容时，不必将整个快照进行回滚，只需将该快照分配到前端应用
主机上，之后在前端应用主机从该快照中读取出局部数据拷贝到生产卷中即可。
5.4.6 快照拷贝
NCS7000G2F 中的快照可以在线拷贝成一个独立的卷，而不影响前端应用对于此快照本
体卷的数据读写。在快照拷贝的过程中，快照的本体卷可以不间断的为前端应用提供存储
服务，此时快照拷贝动作可以同步进行。快照拷贝需要一定的物理空间容量，容量大小与

[39]
此快照的本体卷大小相同。
5.4.7 快照一致性组
对于使用多个磁盘的前端应用类型，NCS7000G2F 提供快照一致性组的功能来保证组内
多个卷之间快照数据的一致性。通过对多个快照映射关系创建一致性组，NCS7000G2F 可以
严格保障在同一时间点对组内的所有映射关系开始快照发起动作，从而保证组内的所有快
照中的数据处于一致可用状态。
当对前端应用进行逻辑故障恢复时，需要使用此应用多个磁盘即多个 NCS7000G2F 的卷
的快照将这些卷的状态都恢复到一个时间点上，NCS7000G2F 的快照一致性组完美解决了这
个问题。
5.5 克隆
克隆是 NCS7000G2F 针对卷的一个实用功能，前面提到的快照如果是对源卷在某一个时

间的映像的话，那么克隆即是源卷在某一时间点的完整拷贝。如果需要对源卷在某一时间
点做数据挖掘或分析，克隆将是最好的选择。在与源卷同步的过程中，会对源卷的写 IO 有
一定影响，根据前台业务的实际情况对卷同步的后台拷贝速率进行调整。在业务高峰期，
保证前端的访问流畅，将拷贝速率调整到最低；在前端业务压力小的时候，调整后台拷贝
速度到最快。当源卷与目标卷的数据拷贝完成后，目标源与源卷的映射关系立即断开，仅
从自动生成的卷名称上可分辨之前的映射关系。目标卷的名称在源卷的后面加上了一组数
字，比如源卷为 volume1,那么目标卷的名称为 Volume1_01。此后源卷的数据变化不会再同
步到克隆卷中。
5.6 备份
备份与克隆类似，是 NCS7000G2F 针对卷的一个实用功能，也是将源卷在某一个时间点

的完整数据状态拷贝到备份卷中，此过程在 NCS7000G2F 的备份技术中叫做首次同步。与克
隆卷不同的是，当备份卷完成了首次同步之后，并不会断开和源卷的映射关系。当源卷有
了新的数据变化之后，再次启动备份数据同步过程，可以将自上次数据同步之后的增量数
据拷贝到备份卷之中，如图 20 所示。

[40]
图 20 备份机制示意图
5.7 远程复制
接下来我们将开始介绍 NCS7000G2F 远程复制的工作原理。远程复制由三种复制方式组
成：高速镜像、全局镜像、具有变更卷的全局镜像。高速镜像专门为具有同步复制要求的
同城容灾而设计。全局镜像用于更长的距离，不需要主机等待信号在长距离链路中完全往
返，全局镜像是异步复制。具有变更卷的全局镜像是全局镜像的一个附加功能，旨在实现
在低质量网络链路保持数据的一致性。
在做远程复制之前，需要先建立伙伴关系。建立伙伴关系时，需要先通过物理链路连
接两个或多个独立的 NCS7000G2F 存储系统。在两个或多个系统上配置好伙伴关系之后，
每个存储系统中的节点控制器之间的进一步通信由 SAN 建立和维护。所有群集间通信都
通过 FC 链路或 iSCSI 链路。
NCS7000G2F 存储系统之间典型的伙伴关系拓扑结构如下：
网状拓扑结构，如下图所示。

[41]
图 21 网状拓扑
星型拓扑结构，如下图所示。
图 22 星形拓扑
线型拓扑结构，如下图所示。
图 23 线型拓扑
三角形拓扑结构，如下图所示。

[42]
图 24 三角形拓扑
远程复制是卷在远程站点保存自身副本的过程。该过程中会复制、分配再同步数据，
确保冗余资源间的数据一致性。在正常运行的情况下，客户端无法向副本磁盘中写入数据
如果发生灾难并且需要使用远程复制副本，NCS7000G2F 可以将复制副本提升为独立的卷，
以使客户端能够对其进行读写访问。
远程复制关系是两个相同大小的单独卷之间的关系。这些卷通常称为主（源）卷和辅
助（目标）卷，主卷是包含数据的生产副本，并且可以被应用程序正常访问。辅助卷通常
包含数据的备份副本，用于灾难恢复。在创建关系时定义主卷和辅助卷，并且这些属性不
会发生改变。但是，如果有需要，主卷和辅助卷也可以进行切换。主卷包含应用程序数据
的有效副本，并从主机应用程序接收类似于源卷的更新。辅助卷可以接收到来自主卷的任
何更新的副本，因为这些更新都是通过远程复制链路传输的。因此，辅助卷类似于连续更
新的目标卷。当创建关系时，将为主卷分配主卷的角色，并为辅助卷分配辅助卷的角色。
初始复制方向为主卷到辅助卷。当关系处于一致状态时，可以反转复制方向。远程复制关
系中的两个卷必须具有相同的大小。远程复制关系也可以在一台 NCS7000G2F 存储系统中
建立，称为集群内关系。这种关系也可以在不同的 NCS7000G2F 存储系统中建立。
NCS7000G2F 远程复制分为同步模式和异步模式两种。同步模式远程复制支持 FC 和
iSCSI 两种链路，异步模式远程复制同样支持 FC 和 iSCSI 链路。用户可以依据自身系统的
性能和容灾要求灵活选取远程复制模式。
5.7.1 高速镜像
高速镜像用于创建从主卷到辅助卷的数据同步副本。高速镜像采用同步复制模式，数
据只有被同步到了远端站点才会返回本地应用主机写完成信号，因此对本地应用主机的性
能会有一定影响。
下图显示了高速镜像的 IO 流向。此机制可以确保主卷与辅助卷之间数据的实时同步。

[43]
图 25 高速镜像 IO 流向
同步复制模式必须在链路状况良好的情况才能使用，否则将会造成较大的数据延迟。
NCS7000G2F 系统对于同步复制的 IO 延迟没有限定，能否使用同步复制主要取决于用户应
用对于 IO 延迟的接受程度。
高速镜像功能支持在距离达 300 公里的卷之间进行复制操作。同时高速镜像提供了在
主卷和辅助卷上维护相同副本的最简单方法用于进行灾难恢复。然而，高速镜像会对主机
应用程序可能会产生性能影响，影响的程度主要由复制链路决定，用户应该评估链路延迟
对于应用程序性能的影响，再根据实际情况，对站点之间的距离进行限制。
5.7.2 全局镜像
NCS7000G2F 的全局镜像功能采用异步复制模式，主机端先将数据写入主卷，主卷给主
机返回写完成信号，之后主卷在后台将数据同步到辅助卷，辅助卷返回主卷同步完成信号
IO 流向如图 26 所示。

[44]
图 26 全局镜像 IO 流向图
全局镜像消除了远程站点对主机端性能的影响，因此使用全局镜像能够支持更远的远
程复制距离。全局镜像的距离主要受限于所提供的 WAN 链路的延迟。全局镜像要求发送
到远程位置的数据的往返时间为 80 ms。光纤通道连接的传播延迟大约为每英里 8.2μs 或
每公里 5μs。路径中的每个设备增加了大约 25μs 的延迟，使用软件的设备（如一些压缩设
备）增加更多的时间。
5.7.3 带有变更卷的全局镜像
具有变更卷的全局镜像功能也是采用异步复制模式，与全局镜像不同的是它是基于变
更卷的异步复制，而全局镜像是不间断的异步复制。
不间断复制可以将主卷中的数据不间断地复制到辅助卷中，除非系统确定这项操作不
可行或做不到，比如当带宽不足时。在这类情况下，系统会自动切换为基于快照的复制。
下一次定期基于快照的复制发生后，系统会自动切换回不间断复制。
基于变更卷的复制将根据用户设置的条件（日程计划），按预定的时间间隔对主磁盘
执行复制。为确保数据一致性，基于快照的复制功能会在 NCS7000G2F 复制发起端创建快
照，到了预定的时间后使用此快照映像中的数据进行复制。默认情况下，此快照会在复制
后删除，除非另行设置保留此快照。在成功完成复制后，复制功能也会在 NCS7000G2F 复
制目标端上创建快照，以用于回滚目的。
基于变更卷的复制属于间隔性的异步复制方式，能够降低远程复制时对生产端的 IO 压
力，将远程复制任务调整到应用系统性能压力不忙的时候进行。变更卷实际上使用了快照

[45]
功能，但无法对它进行快照卷的操作，因为它们仅适用于特殊目的。主卷的变更卷复制循
环周期内时间点的图像（循环周期在 60 秒到 1 天内可调，默认值为 300 秒），然后，将主
变更卷复制到目标站点的辅助卷。这种情况意味着变更卷仅记录一个时间点的数据条件，
而不是循环周期内的所有更新。这种情况可以显著降低复制的数据量。如果复制在循环周
期内未完成，下一个循环会在前一个周期完成后再开始。
图 27 具有变更卷的全局镜像
5.7.4 远程复制断点续传
对于创建好的 NCS7000G2F 远程复制关系，若是在数据传输过程中传输链路出现了问
题，则远程复制数据同步过程会被暂时破坏。此时在远程复制源端站点的 NCS7000G2F 中
会产生记录数据变化的位图，即脏数据位图。脏数据位图平时存在于内存之中，当系统关
机时，NCS7000G2F 会将其刷新写入控制器内置闪存芯片中。当下次开机时， NCS7000G2F
系统将脏数据位图从控制器缓存芯片中读入内存中，再次开始记录脏数据的变化。若是远
程复制链路得以修复，则远程复制源端站点的 NCS7000G2F 系统会根据脏数据位图中记录
的信息，将链路断开时的增量数据传输到远程复制目标端。
5.7.5 复制角色反转
通过远程复制角色反转，可以切换副本磁盘和主磁盘的角色。副本磁盘变为新的主磁
盘，而原先的主磁盘则变为新的副本磁盘。现有的复制配置将被重设为默认设置。反转之

[46]
后，客户端会与以前的主磁盘断开。反转功能常用于本地站点故障不可用时，将远端站点
的副本磁盘转换为主磁盘，从而在远端站点开展业务。
5.7.6 窄带传输
传统的远程复制解决方案会将本地主磁盘上的所有数据通过传输链路复制到远端站点
的副本磁盘上，在数据量比较大的情况下会对传输链路产生非常大的压力，也会对生产端
主磁盘的性能产生比较大的影响。
NCS7000G2F 采用窄带传输技术，在远程复制数据传输发起之前，事先对需要传输的数
据进行压缩，其数据压缩算法与 NCS7000G2F 内部压缩卷采用的压缩算法相同，并且可以享
受专用的硬件压缩芯片提供的功能支持。数据压缩计算工作完毕之后，NCS7000G2F 将压缩
后的数据通过传输链路传递到远端站点的副本磁盘中，由远端站点的 NCS7000G2F 完成数据
的解压工作。最终写入到远端站点副本磁盘中的数据是解压后的完整数据。相对于其他复
制方法，采用 NCS7000G2F 窄带传输功能可以大幅度减少带宽需求。
5.7.7 远程复制一致性组
对于使用多个磁盘的前端应用类型，NCS7000G2F 提供远程复制一致性组的功能来保证
数据一致性。通过对多个卷的远程复制对创建一致性组，NCS7000G2F 可以保障严格在同一
时间点对一致性组内的多个远程复制对同时发起数据同步。通过远程复制一致性组
NCS7000G2F 远程复制目标站点的多个卷之间的数据会保证处于同一个时间点状态上。
6 专有名词说明
名称描述名称描述
SAN 集中式管理存储网络异构不同架构、不同厂家、
不同接口协议等
FC 光纤通道协议宕机服务终止或电源断开
ISCSI 基于 IP 网络运行 SCSI IO 读写请求
协议
SAS 串行 SCSI 协议 TRAID TRAID
LUN 存储逻辑单元 HBA 主机总线适配器

[47]
NPIV 虚拟光纤通道协议双活跨集群高可用架构
RAID 独立冗余磁盘阵列 SSD 固态硬盘
内部存储器 NCS7000G2F 内部磁自动分层数据根据冷热程度在不
同存储介质层动态迁移
盘
窄带传输远程复制需求带宽精断电续传复制链路修复后复制关

简技术系继续
LBA
逻辑单元地址 PBA 物理单元地址
Scale out
横向扩展 Scale up 纵向扩展
高速镜像
同步复制全局镜像异步复制
变更卷带有变更卷的全
快照带有快照的异步复制
局镜像

[48]

C2-1 NCS7000G2F产品白皮书-V1.0

Uploaded by

Document Information

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

C2-1 NCS7000G2F产品白皮书-V1.0

Uploaded by

Copyright:

Available Formats

NCS7000G2F 产品白皮书

本文档是针对北京同有飞骥科技股份有限公司 NetStor® NCS7000G2F 产品的使用指导说

中国唯一上市存储企业 股票代码：SZ300302 北京市海淀区中关村环保科技示范

本手册主要面向希望了解 NCS7000G2F 产品工作原理的产品经理、售前技术人员、售

存存储模块两部分组成，支持 Scale out 横向扩展模式和 scale up 纵向扩展模式，在实际

业务应用场景中，可根据客观需求灵活选择。NCS7000G2F 总体架构如图 1 所示。

中国唯一上市存储企业 股票代码：SZ300302 北京市海淀区中关村环保科技示范

能的同步线性增长，同时保持整个系统的低 IO 延迟，基于此实现 scale out 横向扩展模式

和 scale up 纵向扩展模式。NCS7000G2F 系统通过横向扩展模式和纵向扩展模式的结合，

在最基本的 NCS7000G2F 全闪存集群中，一组计算模块与一组全闪存存储模块通过

SAS3.0 高速通道连接。此时计算模块的处理能力并没有得到完全发挥，且此时 NCS7000G2F

同时增加系统 IO 读写速度，这种方式即为 scale up 纵向扩展模式，即只扩展闪存存储模

瓶颈，此时需要为 NCS7000G2F 集群扩展计算模块从而增加计算处理能力，这种方式即为

scale out 横向扩展模式。多组计算模块之间通过 SAN 高速网络互联，在专用的高速 SAN 网

1 套 NCS7000G2F 集群系统最大支持 8 组计算模块，整个集群对多组计算模块进行统一

NCS7000G2F 计算模块在高速 SAN 网络上进行信息同步和共享。多个计算模块通过专用高速

SAN 网络虚拟出统一资源调度层，控制信号和状态信号会通过专用高速 SAN 网络进行同步

广播，从而实现对 NCS7000G2F 集群的统一管理和维护。

在 NCS7000G2F 集群内部通过专用 SAN 网络创建了统一的计算资源池和闪存存储资源

当一组 NCS7000G2F 计算模块发生了物理故障后，前端应用不会受到影响，此计算模

中国唯一上市存储企业 股票代码：SZ300302 北京市海淀区中关村环保科技示范

件是计算柜，计算柜和闪存柜之间通过 SAS 3.0 链路进行互联。

然通过 SAS 3.0 链路连接到上一级闪存柜中，由最高级的闪存柜与计算柜进行直接的物理连

接，其余闪存柜中的数据通过 SAS 链路依次传递到计算柜中进行运算处理。

Scale up 纵向扩展模式如图 2 所示。

NCS7000G2F scale up 纵向扩展模式具有以下特点：

（1） 容量增大，IOPS 读写能力增强

（2） 使用 SAS 链路进行冗余连接

中国唯一上市存储企业 股票代码：SZ300302 北京市海淀区中关村环保科技示范

Scale out 横向扩展模式意味着计算柜数量的增加，增加计算柜的同时可以同步增加闪

多个计算柜之间通过高速 SAN 网络进行 IO 交互传输。Scale out 横向扩展模式如图 3 所示。

图 3：scale out 横向扩展模式

NCS7000G2F scale out 横向扩展模式具有以下特点：

（1） 容量和性能线性增长，在 IOPS 和吞吐率提升的情况下，保持较低的 IO 延迟

（3） 现有卷自动在所有 SSD 之间进行重新分布，所有 SSD 均可以被所有计算模块访

中国唯一上市存储企业 股票代码：SZ300302 北京市海淀区中关村环保科技示范

NCS7000G2F 采用全局自适应块大小技术，这主要得益于 NCSOS 的元数据对于真实数

据的管理是可变长度的，对于实际工作负载产生的 IO 请求，NCSOS 使用与其一一对应的数

据块大小进行读写处理，从而增加 IOPS 和吞吐量并降低延迟时间。

储系统的利用率并提高 SSD 闪存介质的寿命。

在传统的条带管理中，存在着条带不完整写入的现象，例如对于 128KB 的条带，缓存

中的数据若只有 80KB，则传统存储系统为了保证 IO 响应效率及降低缓存中的 IO 滞留率会

直 接 将 80KB 的 数 据 写 入 到 128KB 的 条 带 中 ， 这 样 就 产 生 了 48KB 的 存 储 空 间 浪 费 。

NCS7000G2F 采用基于日志型的全条带写入算法，多个写 IO 请求会在缓存中被合并为一个

完整的条带写入到底层 SSD 闪存介质中，待全条带数据真实写入到 SSD 中后，缓存中的 IO

数据内容，再次写入到 SSD 闪存介质中，确保数据一致性。

护用户投资，并在很大程度上降低了对 SSD 闪存介质的真实写入次数，大大提升了 SSD 闪

中国唯一上市存储企业 股票代码：SZ300302 北京市海淀区中关村环保科技示范

分布式方式进行，所有的元数据信息的基本存储位置都位于底层的 SSD 闪存介质中，在系

式在系统内存中完成，系统内存中元数据信息与底层 SSD 闪存中元数据信息的同步在后台

完成，从而最大限度提升系统的 IO 响应能力。由于底层的 SSD 闪存介质中的数据可被所有

算模块根据高效动态算法从特定的 SSD 闪存介质中读取元数据信息用于高速 IO 处理运算；

下面我们具体分析分布式元数据对于整个 NCS7000G2F 集群计算能力的平衡作用。由于

计算模块中进行处理的元数据承载量出现了失衡现象，如图 4 所示。图 4 中每一个圆圈不

的元数据量和计算负载要远远大于计算柜 2 和计算柜 3，计算柜 1 出现了过载，而计算柜 2

一现象后，会启动元数据负载的全局重新分布。图 4 中的 4 号元数据会通过高速 SAN 网络

镜像到计算柜 3 中，同时计算柜 1 将其计算任务移交到计算柜 3 中，计算任务的移交以控

制信号交互的形式在高速 SAN 网络中进行。在计算柜 3 实现了对 4 号元数据的完全接管后，

计算柜 1 会在缓存中释放 4 号元数据的内容。同理 5 号元数据会被转移到计算柜 2 中进行

计算处理，如此实现了元数据负载在整个 NCS7000G2F 系统中的重新均衡分布。

中国唯一上市存储企业 股票代码：SZ300302 北京市海淀区中关村环保科技示范

NCS7000G2F 一样同一个卷根据不同数据块拥有不同属 主。通过更细力度的属主划分 ，

对于写 IO，NCS7000G2F 大体上采用如下的流程进行：

（1） 写 IO 经过协议层进入某一组计算模块的缓存中后，判断该 IO 是否属于此计算

中国唯一上市存储企业股票代码：SZ300302 北京市海淀区中关村环保科技示范

中国唯一上市存储企业股票代码：SZ300302 北京市海淀区中关村环保科技示范

中国唯一上市存储企业股票代码：SZ300302 北京市海淀区中关村环保科技示范

（1）容量增大，IOPS 读写能力增强

（2）使用 SAS 链路进行冗余连接

中国唯一上市存储企业股票代码：SZ300302 北京市海淀区中关村环保科技示范

（1）容量和性能线性增长，在 IOPS 和吞吐率提升的情况下，保持较低的 IO 延迟

（3）现有卷自动在所有 SSD 之间进行重新分布，所有 SSD 均可以被所有计算模块访

中国唯一上市存储企业股票代码：SZ300302 北京市海淀区中关村环保科技示范

直接将 80KB 的数据写入到 128KB 的条带中，这样就产生了 48KB 的存储空间浪费。

中国唯一上市存储企业股票代码：SZ300302 北京市海淀区中关村环保科技示范

中国唯一上市存储企业股票代码：SZ300302 北京市海淀区中关村环保科技示范

NCS7000G2F 一样同一个卷根据不同数据块拥有不同属主。通过更细力度的属主划分，

（1）写 IO 经过协议层进入某一组计算模块的缓存中后，判断该 IO 是否属于此计算

（5）计算模块将 IO 处理计算结果写入底层 SSD 闪存介质中

（1）读 IO 请求进入某一计算模块后，判断该 IO 是否属于此计算模块，如果不是则

（3）根据 LBA 地址，在 SSD 存储池中获取到对应数据，将其返回主机，完成读取过

于此，NCS7000G2F 内置的 SSD 硬盘支持动态磨损均衡和静态磨损均衡两种延长寿命的方式，

中国唯一上市存储企业股票代码：SZ300302 北京市海淀区中关村环保科技示范

中国唯一上市存储企业股票代码：SZ300302 北京市海淀区中关村环保科技示范

中国唯一上市存储企业股票代码：SZ300302 北京市海淀区中关村环保科技示范

小单位 Block，这些多余的对无关 Page 的读写操作增加了数据的访问量，即写入放大现象。

SSD 寿命。并且写放大现象会产生额外的数据读取、缓存更新、擦除、写入等多个操作步

中国唯一上市存储企业股票代码：SZ300302 北京市海淀区中关村环保科技示范

（ Windows 、 Linux 、 Solaris 等）中显示为本地连接设备，即使 SCSI 设备实际上是由

中国唯一上市存储企业股票代码：SZ300302 北京市海淀区中关村环保科技示范