青云科技分布式存储全线升级 向云而生，100% 自研

近几年，企业级存储市场上，正在经历着重大的变化。一方面，分布式存储正在经历快速的增长时期。IDC 2019 年市场预测报告显示，无论是对象存储、文件存储还是块存储，在未来几年里都会保持两位数高速增长。另一方面，IDC 市场报告显示，全闪存储在所有采用存储的企业里，几乎已经占 80% 的使用率。全闪存储逐渐成为主流。

面对存储市场的变化，各家云厂商都在积极应对。青云 QingCloud ( qingcloud.com ) 从 12 年推出云产品开始在底层存储上就以自研的方式进行，经过 8 年磨砺，积累了大量云环境下的存储的需求和技术实践，由此推出的 QingStor 产品家族，目前包含 QingStor NeonSAN（分布式块存储）、QingStor 对象存储、QingStor 文件存储、QingStor 融合存储等四款产品。

向云而生的存储

目前，QingStor 四款家族产品是青云 QingCloud 最基础存储支撑，包括公有云和私有云。此外，作为底层存储引擎，QingStor 能够与多种平台对接，包括 VMware 虚拟化平台、OpenStack 云平台，还包括 Kubernetes 容器平台。由此可见，QingStor 就是向云而生的产品。

目前，QingStor 的产品家族已经积累了数万家企业客户，同时部署在公有云和私有云。公有云方面，QingStor 全线产品已经上线和部署在青云 QingCloud 的 8 个公有云区。在私有云部分，QingStor 几乎覆盖了全部主流的行业，拥有非常多的行业客户案例，包括银行、保险、证券、制造、能源、医疗等。

特别值得一提的是，QingStor 无论是在公有云，还是在私有云的部署上都是采用同一套架构，以及同一套代码实现，保证产品的一致性，更有利于用户产品的打通。可以看出，作为青云 QingCloud 存储的基础，QingStor 全线产品经过了公有云和私有云共同的检验，并且在大规模生产环境中得到了使用。

QingStor 从产生之初，就走上了自主设计、自主研发的道路。特别是在架构设计上，完全采用自主设计，放弃了大多数厂商选择的开源之路，在我看来，这也是 QingStor 能够在公有云和私有云实现统一架构的最主要原因。

据 QingStor 存储产品线研发负责人王煜介绍，QingStor 四款产品在考虑实际的使用基础上，都采用了独立的架构设计方法。他特别强调表示，企业存储场景的多样性和复杂性，就代表着不能通过一套架构满足所有需求，而 " 银弹架构 " 的模式，必然会对某些应用场景做出妥协，最终造成存储性能缺失，所以 QingStor 也因场景需求分为为热数据、冷数据、温数据以及混合场景。

而最近，QingStor 正在进行新一轮的版本迭代，笔者有幸获得其中一些消息分享给读者。

QingStor NeonSAN 3.0

QingStor NeonSAN 在设计之初，就希望打造成一款拥有极致性能的分布式存储产品。而在设计上，采用缩短 I/O 路径栈，去掉本地文件系统，提高协议转换效率等方法，使其拥有了更为优秀的性能。目前，QingStor NeonSAN 已经迭代到 3.0 版本。而 QingStor NeonSAN 产品线的迭代，完全围绕着核心场景来打造产品能力，具体表现在云平台 / 虚拟化场景、大数据场景、业务连续性场景以及最近这两年非常火的容器 / 云原生场景四个核心场景。

第一，QingStor NeonSAN 除了可以与 QingCloud 云平台形成完美的对接、实现云平台层面的统一管理和性能的最大优化之外，还能很好地对接目前大家在业界使用比较多的虚拟化平台、云计算平台，如 VMware 平台、OpenStack 平台、Hyper-V 平台。

第二，针对大数据应用常用处理框架 Hadoop 和 Spark，以及一些常用大数据系统所采用的底层 HDFS 文件系统。QingStor NeonSAN 专门做了一些设计，比如提供互斥卷组的策略，即在 QingStor NeonSAN 层面提供多个单副本的卷。另外，在和 HDFS 文件系统的对接上，QingStor NeonSAN 在性能方面也做了优化。

第三，针对业务连续的问题，青云 QingCloud 还提供了一整套基于 QingStor NeonSAN 的、以存储为核心能力的业务连续性解决方案。特别在简化管理方面，QingStor NeonSAN 能够跟青云 QingCloud 云平台一起，统一管理云平台上的计算资源、网络资源、存储资源，提供一整套完整的业务连续性管理的解决方案，满足业务对不同 RPO/RTO 的要求，大大地简化业务连续性的管理，提高业务连续性的效率。

第四，在功能层面，QingStor NeonSAN 提供标准 CSI 插件，支持与容器卷粒度的管理，以及快照、克隆、在线扩容、QoS 等存储高级特性。在性能层面，QingStor NeonSAN 可以在整条链路支持端到端 RDMA 的访问。基于高效率协议的支持，QingStor NeonSAN 可以保证容器端应用访问存储的时延控制在微秒级别，基本是 0.1-0.3 毫秒访问时延的水平。整体上，QingStor NeonSAN 可以为 K8s、KubeSphere 容器平台提供高性能、可靠性、企业级分布式存储的能力。

QingStor 对象存储 3.0

对象存储是主要解决非结构化数据存储的问题，如海量图片、音视频、日志、归档备份等。这些数据读取的频率并不是特别高，通常是一次写入、多次读取的模型。但是其数据容量、数据数量都是非常大的。因此 QingStor 对象存储设计的核心是承载海量的数据。在整个架构设计时，采用了完全 Share-Nothing 的架构，没有任何单点，每一个组件都是可以无限水平扩展，并且保证性能不会下降。特别是新推出的 QingStor 对象存储 3.0 更是一款鱼和熊掌兼得的存储服务，兼得海量数据存储和数据存储的超高性能。

QingStor 对象存储 3.0，在对象版本控制、数据追加写入、数据跨区域复制，以及生态工具四个功能上有所提升。此外新版本还具有新的能力的变化，一方面 QingStor 对象存储 3.0 具有更强的、更具优势的存储性能。另一方面 QingStor 对象存储 3.0 可以服务于更多的数据应用场景，如数据迁移、数据保护、数据备份、AI 视频监控。

具体而言，首先，QingStor 对象存储 3.0 中带来了数据跨区域复制，和全新重构的官方工具 qsctl 和 qscamel。通过这些新功能和工具组合的方案，能够做到数据迁移中，对跨平台及复杂场景的全覆盖，这套解决方案是可视化的操作和服务，让用户可以非常简单快捷的进行操作。

其次，QingStor 对象存储 3.0 所拥有的版本控制功能，实现了存储桶（Bucket）内数据的历史版本存储和管理，解决了企业级用户对数据保护的新需求，例如意外删除、意外覆盖、恶意篡改等极端情况。

另外，QingStor 对象存储基于通用的 X86 硬件，以及标准的 API 接口，可以友好地对接 SaaS 备份应用，对存储采购成本和运维管理更有利。QingStor 对象存储 3.0 实现了与更多主流厂商做深度兼容，使得数据备份更加简单和易用。

最后，QingStor 对象存储 3.0 带来的新特性有数据追加写入的接口、为智能终端定制的 SDK，以及混合云存储的解决方案，在 QingStor 对象存储里，彻底打通视频影像数据的生命周期，从海量数据存储到数据分析处理，到数据归档。通过 SDK 让智能终端直接写数据到对象存储，简化了端到存储的流程。平滑对接外部数据 AI 分析引擎，如数据深度分析、图像识别、机器学习等应用。

QingStor 文件存储 2.0

青云 QingCloud 力求打造云计算架构下的，通用的文件存储产品，由此必须在产品上实现拥有通用的标准文件接口，拥有多层次的扩展性，可以同时适配差异化的文件存储需求，这三个重要的能力。为此，QingStor 文件存储系统就以此为出发点。

通用的文件接口（posix），是操作系统原生的接口，不需要另行改造就可以使用的接口，而 QingStor 文件存储 2.0 使用 posix 接口，可以有效的降低企业因存储接口兼容性出现的问题。譬如，以 HDFS 为代表的专用文件系统，这些文件系统仅支持部分标准接口，比如仅支持顺序写，不支持随机修改等等。

QingStor 文件存储研发负责人黄蒙介绍表示，QingStor 文件存储的设计目标就是要在支持通用文件接口和通用的网络文件协议的前提下，提供一个可扩展高可用的分布式文件存储系统，这就直接扩大了产品的使用场景。

QingStor 文件存储的架构中，青云 QingCloud 自研了整个文件系统栈，不依赖本地文件系统，搭建了一个真正意义上的统一命名空间。由于允许多个逻辑接入节点 , 可以同时访问和操作相同的数据，天然具有高可用的能力。在这一架构下， 每一个目录可以承载的容量和文件数量都没有限制。此外，由于每个目录下的内容可以通过多个接入节点同时访问，也使处理能力有了水平扩展性。

另外，为更好的同时支撑不同的业务，QingStor 文件存储支持为每一个创建的租户文件系统提供差异化的设置，比如选择副本数，甚至选择文件数据块大小。

值得一提的是，QingStor 文件存储 2.0 采用了 Rust 语言作为存储系统开发语言，这也给 QingStor 文件存储带来极大的性能提升。譬如，单个 nfs client 的 fio 性能测试数据，其中 4k 随机读写 IOPS 提高了 200% 以上，64k 的顺序读写也有大约 1 倍的提升，效果非常显著。

黄蒙表示，QingStor 文件存储旨在打造一款在云计算基础架构下更加通用的文件存储产品，我们希望能通过这款产品帮助更多类型的应用更平滑上云，享受到更好的云计算基础设施带来的便利。