AI浪潮袭来，百代OSS国产可信存储为何堪当大任

2023-06-19 16:44:21 来源：实况网

AIGC浪潮的袭来，人们真正意识到AI给生产力带来的巨大飞跃，AI大模型成为行业用户重点关注的对象。

配图11.png

但ChatGPT的成功，除了整合Transformer等多种人工智能技术之外，基础设施的高效支撑也功不可没：如何高效存储与处理海量多元数据，如何实现数据全生命周期的高效管理，如何为AI大模型选取合适的数据精度…

AI工作的负载不同于以往任何处理过的IT负载，具有全新的特点，它面对的是海量的非结构化数据集，需要极高的随机访问性能，极低延时以及大规模存储容量。

尽管AI时刻在推动存储发展，但是想要进一步激活存储潜力，仍需要解决AI场景下，存储容易面临的挑战。

那么AI对存储提出了怎样的挑战？

海量非结构化数据存储

AI业务中除了个别业务场景主要针对结构化数据进行分析外（例如消费记录、交易记录等风险控制、趋势预测场景），大多数场景需要处理的是非结构化数据，例如图像识别、语音识别、自动驾驶等，这些场景通常使用的是深度学习的算法，必须依赖海量图片、语音、视频的输入。

数据共享访问，对数据访问接口有一定要求

多个AI计算节点需要共享访问数据。由于AI架构需要使用到大规模的计算集群（GPU服务器），集群中的服务器访问的数据来自一个统一的数据源，即一个共享的存储空间。能实现共享访问的通常有对象存储和文件存储。从AI应用框架的角度看，文件接口是最友好的存储访问方式。

读多写少

AI数据特点是读多写少，要求高吞吐、低延时。深度学习过程训练中，需要对数据进行训练，以视觉识别为例，它需要加载数千万张，甚至上亿张图片，针对图片使用卷积神经网络、ResNet等算法，生成识别的模型。

完成一轮训练后，为了减少图片输入顺序的相关性对训练结果带来的影响，会将文件次序打乱之后，重新加载，训练多个轮次（每个轮次称之为epoch）。这就意味着每个epoch都需要根据新的顺序加载数千万、上亿张图片。图片的读取速度，即延时，对完成训练过程的时间长短会造成很大影响。

“工欲善其事，必先利其器”，要想发挥出AI人工智能技术的最大威力，解决存储挑战就成为企业构建强有力的IT基础设施的重要一环。

有哪些数据存储解决方案，能满足以上AI大规模应用的需求呢？

百代OSS国产新一代可信存储系统——AI浪潮下的国产自主数据存储解决方案

配图22.png

百代公司的OSS可信存储系统是一款具备完整知识产权且自主可控的国产数据存储系统，实现存储+应用的生态体系，包含存储OS、移动端、客户端及服务。

百代OSS所具备的几大特性非常契合AI应用的综合需求。

首先百代OSS采用大型系统小型化搭建思路，支持分布式融合存储，且具备高扩展能力、高可靠性等优势，可以完美应对AI海量数据带来的种种挑战。

第一大特征多元融合

百代OSS分布式融合存储第一个重要的特征就是多元融合，融入大数据协议，利用协议融合免去数据复制，让数据处理的效率大幅提升，满足AI应用的处理需求。

第二大特征智能敏捷

虽然当前数据量爆炸性的增长，但是被用来分析的数据量依然很小。相关数据显示，已获取数据的平均留存率仅为2%，大量数据从未被分析和利用，百代OSS分布式融合存储能够实时、智能地处理数据，满足各种AI应用带来的性能需求。

第三大特征数据安全

随着AI应用走向普及，各种安全问题也随之暴露，作为数据最后一道防线，百代OSS数据保护能力强大，多个备份目的地包括本地或异地NAS、服务器、公有云、私有云等。

灵活排程，将备份任务计划为每天或每周自动启动；适用云存储，选择云存储或云对象存储作为备份目的地。

支持多系统平台的备份尤其针对Windows；不仅支持文件备份及一键恢复，还支持操作系统的备份与恢复，且可灵活对每个备份节点进行恢复；私有云数据保护平台通过连续主动的数据备份，将重要数据备份至存储。

第四大特征高性能、高规格、高性价比

采用更好的硬件配置和工业设计，保证系统拥有良好抗震动、散热和设备稳定性。从小核CPU到大核到分布式，为用户不同的业务提供多样化的硬件选择。

合理的价格，高端的用料和做工，保证产品的高性价比。

完善、易用的虚拟化工具，既有轻量的容器化应用，也有完整的虚拟机体系，极大节约了用户的硬件成本。充分利用百代OSS完善的存储和网络体系，存储系统虚拟化轻松实现容器、host、本地网络里设备和外网对内网的访问和互联互通。

写在最后

或许很难预测未来的存储技术究竟是怎么样的，但是我们可以肯定的是，未来AI将持续驱动存储发展。

我们希望百代OSS能够提供关于AI业务对存储实际需求的观察和洞见，帮助客户落地AI业务，提供AI存储产品的优化方案。

标签：

财富更多》