狮子金融

招*秀的人才，打最硬的仗，出手即打破传统。

这便是华为最新揭秘的大模型范畴最新动作，剑指AI存储，一口气发布两产品：

OceanStor A310深度学习数据湖存储与FusionCube A3000训/推超交融一体机，功能密度改写业界纪录。

它们由华为数据存储团队推出，华为“天才少年”张霁正是其间一员。

2020年，博士结业于华中科技大学的张霁，以“天才少年”身份入职华为、参加数据存储产品线。现在是华为苏黎世研讨所数据存储首席科学家。

在发布会上，他还进一步揭开华为天才少年的奥秘面纱，泄漏了自己正在推进的作业：

环绕以数据为中心的未来存储架构关键技能，包含向量存储、数据方舱、近存核算、新运用场景下的数据存储新格局、硬件加快等。

明显，不仅仅大模型自身，在大模型相关的数据、存储等范畴，华为也早已开端活跃布局，启用最*人才。

而面对大模型年代的数据存储问题，华为作为存储商场头部厂商，终究怎么看待？

从最新发布的两款产品中，就能窥见答案。

面向大模型的存储应该长啥样？

此次发布的新品有两款，分别是：

OceanStor A310深度学习数据湖存储

FusionCube A3000训/推超交融一体机

尽管都是面向AI大模型，可是两款新品对应的详细场景有所不同。

首要来看OceanStor A310，它面向根底/职业大模型数据湖场景，能够贯穿AI全流程，一同也具有面向HPC（高功能核算）、大数据的同源数据剖析才干。

它不但功能强壮，而且支撑混合负载、多协议无损交融互通、近存核算等，可极大程度上进步功率。

详细功能方面，OceanStor A310支撑单框5U 96闪存盘，带宽可达400GB/s。浅显了解，便是每秒钟能传200多部高清电影。

IOPS（每秒进行读写操作的次数）能到达1200万。

由此OceanStor A310的功能密度也到达了现在全球最高：

每U带宽功能到达80GB/s及每U的IOPS到达240万，均到达业界标杆1.6倍；

每U容量密度为19盘位，到达业界标杆1.5倍。

而且OceanStor A310具有*水平扩展才干，*支撑4096节点扩展。

能够完结对AI全流程海量数据办理（从数据归集、预处理到模型练习、推理运用）；完结数据0复制，全流程功率进步60%。

除此之外，OceanStor A310还经过存储内置算力，削减无效数据传输。完结数据织造，也便是经过大局文件体系GFS来支撑AI大模型涣散在遍地的原始数据，完结跨体系、跨地域、跨多云的大局一致数据调度，简化数据归集流程。

根据近存核算，OceanStor A310还能经过内嵌算力完结数据预处理，防止数据在传统的体系傍边存储、服务器、GPU之间的无效搬移，下降服务器等候时刻，预处理功率进步至少30%。

别的，OceanStor A310能直接运用到当下的HPC中，假如之后企业需求将体系升级到面向大模型时，就不再需求数据搬家。

再来看FusionCube A3000训/推超交融一体机。

相对而言，它面向的场景是职业大模型练习、推理一体化，主打下降企业运用AI大模型的门槛。

它首要针对百亿级模型的运用，当然也能够水平扩展后支撑更大规划模型。

内置的存储节点是华为的OceanStor A300高功能存储节点。它双控支撑180万IOPS、50GB/s带宽。

结合训/推节点、沟通设备、AI渠道软件与办理运维软件一同，FusionCube A3000能够完结一站式交给、开箱即用。2个小时内可完结布置、5秒毛病检测、5分钟毛病康复。

在完结边际布置多场景的练习/推理运用事务的一同，它也能定时对模型进行调优。

经过高功能容器完结多个模型练习推理使命同享GPU，FusionCube A3000将资源使用率从40%进步至70%以上，能够很好支撑多运用交融调度和办理、不同巨细模型交融调度。

商业模式方面，FusionCube A3000有两种挑选。

其一是根据华为自研的OceanStor A300高功能存储节点、网络、昇腾核算与办理运维软件，即华为昇腾一站式计划；别的也支撑第三方一站式计划，能够集成第三方的GPU服务器、网络节点以及AI的渠道软件。

以上便是华为最新面向AI存储发布的新品。

此外在模型层，他们还联合了讯飞星火、ChatGLM、紫东·太初等大模型同伴共建生态。

但华为的大志不止于此，在发布会现场，华为数据存储产品线总裁周跃峰特意和华为天才少年张霁，聊了聊华为存储未来的事。

据张霁介绍，为了应对当下大模型提出的数据归集新应战，他及地点团队正在研讨一种名为“数据方舱”的技能。

这种技能完结了让数据和它的相关凭据、隐私、权限等信息一同流通，当数据到达数据归集地后，进入方舱履行和维护，然后保证数据的安全。

周跃峰博士泄漏，这一技能现在正在和中信银行、云上贵州等客户做联合的技能立异和实践。

此外，为了应对AI大模型快速接入数据的需求，张霁等也在根据“万物皆可向量”的理念，研讨向量存储技能。

他表明现在这种技能还处于前期萌发阶段，可是开展迅速，华为已做了十分前沿的布局。比方他们联合华为海思硬件团队一同，在近存核算方面做了许多攻关，使用软硬协同的方法加快向量检索。一同华为也在和苏黎世联邦理工大学等*高校协作。

现在，张霁与其团队正在瑞士苏黎世研讨所与苏黎世联邦理工大学Onur Mutlu教授等*科学家们展开研讨与协作。

Onur Mutlu教授曾带领团队荣获2022年奥林帕斯奖，这一奖项颁给全球在数据存储范畴获得突破性奉献的科研作业者。

正如张霁所说，他们的方针是期望在以数据为中心的体系结构革新布景下，使用算法和架构协同的方法，开释数据的真实价值，卸载部分GPU、CPU的算力，节约无效数据搬移发生的能耗，然后终究推进数据新范式的快速开展。

所以，为什么是以数据为中心？华为存储看到了哪些职业趋势？以及在大模型趋势下，华为为何如此注重存储问题？

存储：大模型生态的重要一环

在大模型年代下，有这样一句话广为流传：数据以及数据质量的高度，决议着人工智能智力的高度。

确实，大模型所谓的“大”，中心表现就在数据方面。

当下企业开发及施行大模型面对的几大应战也都与数据有关：

数据预备时刻长

练习集加载功率低

练习易中止

企业施行门槛高

首要在数据预备阶段，往往需求从跨地域的多个数据源复制PB级原始数据。原始数据经常是多种格局、协议，导致这一流程一般十分复杂。

接着，爬取好的数据在练习前需求进行清洗、去重、过滤、加工。

相较于传统单模态小模型，多模态大模型所需的练习数据量是其1000倍以上。一个百TB级大模型数据集，预处理时刻将超越10天。

其次在练习阶段，大模型练习参数、练习数据集呈指数级添加，其间包含海量小文件。而其时小文件加载速度缺乏100MB/s，功率不高。

别的大模型频频的参数调优、网络不稳定、服务器毛病等多种要素，导致练习进程均匀约2天就会呈现一次中止，需求Checkpoints机制来保证练习退回到某一点，而不是初始点。

但这种康复往往也需求1天以上时刻，直接导致大模型练习周期拉长。而面对单次10TB的数据量和未来小时级的频度要求，削减Checkpoints康复时刻也是一个需求处理的问题。

最终一方面应战来自大模型运用。

在运用门槛上，体系建立难、资源调度等关于许多企业来说仍是太难了，企业传统的IT体系GPU资源使用率一般不到40%。

更何况现在趋势还要求企业尽可能快速更新大模型常识数据，快速完结推理。

那么该怎么处理这些问题？

华为现已给出了一种答案，从存储下手。

华为数据存储产品线总裁周跃峰博士表明，数据中心三大件“核算、存储和网络”，密不可分、能够互补。

华为分布式存储范畴副总裁韩复兴更是给出了清晰观念：加强存力建造能够加快AI练习。

得出这样的定论，华为表明首要看到了技能、职业等多方面趋势。

首要在技能方面，大模型年代下，冯·诺依曼架构难以满意当下需求。

它要求数据在核算、练习或推理进程中发生十分多搬移动作。在数据量十分巨大的状况下，这样操作不合适。

周跃峰博士表明，比尔·盖茨在很久以前说给一台电脑128k的内存，它能做所有事。

可是当下状况明显不是如此，数据量还在不断添加，存储与核算的增配需求差异随之扩展，这时存储资源和核算资源就需求拆分红独立模块建造，以完结灵敏扩展并进步资源使用率，因而核算架构需求发生改动。

这也便是近年比较炽热的“存算别离”概念，在存和算之间做出更好的区分，这样才干完结更高效的核算、匹配海量数据下的大架构立异。

大模型年代下数据量*添加，假如构建足够的存力让数据能快速在各个环节流通，能够充分使用算力、进步练习功率。比方华为在AI存储新品中着重的近存核算，正是这样来互补算力。

再来看职业方面。

海量数据预处理是当下面对的一大应战。

周跃峰观察到，有人提出用练习的GPU资源去处理这部分使命，“但这样会给GPU提出更高要求，更何况现在还面对供给问题。”

现在国内的存算根底设备建造中，算力中心建造相对完善，但在存力建造方面依然缺少。这就导致在数据预处理等阶段中，为了等候数据处理，算力搁置的状况，构成资源糟蹋。

所以当下需求去注重存力，以在职业界构成一个*的存算比。

此外，华为还观察到关于一些中小企业、科研院所、大学对练习AI大模型有着很大的需求，他们对存力设备建立，还提出了愈加简易、灵敏的要求。

由此也就不难了解，为什么华为在大模型趋势下会锚定存储方向发力，而且首先推出OceanStor A310和FusionCube A3000。

而且关于AI大模型的存力需求，华为看到的时刻也愈加早。

据泄漏，两款产品的准备研制都是在2、3年前就现已发动的，其时千亿级参数大模型才刚刚面世不久。

而且除了推出自家新存储产品外，华为分外着重了生态建造。

正所谓：独行快，众行远。

华为表明，在供给AI存储的进程中，坚持硬件及软件生态的敞开。

硬件方面，华为未来会全面支撑业界干流CPU/GPU厂商设备，做好功能适配与调优，并供给不同形状硬件的一致办理才干，兼容用户现有硬件生态。

软件方面，广泛与业界优异软件同伴协作，提前完结计划适配调优；模型层支撑业界干流的通用大模型软件，一同支撑面向详细运用场景的笔直职业模型入驻；渠道服务层支撑干流AI敞开渠道软件和AI服务链软件，包含昇思MindSpore、PyTorch等；IAAS层敞开支撑第三方容器软件和开源K8S。

一言以蔽之，当下的最新动作，是华为存储在大模型年代下掀开的*页。

所以，现在现已站在起跑线上的华为，终究怎么看待大模型年代下的存储？

我国不注重存力，AI会被限制

大模型趋势演进到当下，“百模大战”、算力焦虑先后成为业界的热议论题。

还有一大柱石，则是数据，现在也已被逐步推至台前。

周跃峰博士共享到，关于ChatGPT来说，英文数据练习的功率要比中文高。

原因不在于中文不适合科学语言表达，而是数字化年代下，被记载下来的中文材料远远少于英文材料。

所以周跃峰提出：假如我国不注重存力，将会对未来咱们发掘人工智能潜力、开展人工智能工业，构成巨大限制。

假如更进一步解说的话，他以为机器和人相同，它需求有脑力，即算力；还要知道方法论，即算法。

回忆人类从猿猴开展到才智人类的进程中，文字的发生让人类文明飞速开展。

假如对应来看，机器的数据能够堪比人类开展史中的文字。

由于有了文字后，信息得以被记载、沟通和传承，人类开端能够自我学习和进化。机器也是相同的，假如国际没有被数据记载下来、让机器去读，它也仅仅一个严寒的机器罢了。

总归，大模型趋势下，关于数据、核算、存储都正在阅历一轮新革新。

高功能核算的“木桶效应”，使得用上了先进的芯片，并不代表具有先进算力，核算、存储、网络三个环节缺一不可。

由此也就不难了解，华为为什么要在进军大模型范畴后，首先在存储范畴布局。

只要从根底下手，才干走得更稳，走得更远。