狮子金融

本周，全球IT业*的新闻非OpenAI团结首创人山姆·奥特曼（Sam Altman）脱离原公司、加入微软莫属。固然，这并不是终点。

Sam Altman被OpenAI董事会驱逐，被以为是手艺派的胜利，由于另一名团结首创人萨斯克维尔以为Altman商业化行动过于激进，存在许多平安隐患，因此，团结其他三名外部董事驱逐了Altman。

本文不关注OpenAI的“宫斗”大戏，无论Altman最终留在微软，照样回归OpenAI，都不会影响他开创AI软硬件新手艺和市场的意愿，区别只是在那里做而已。

据悉，在被解职之前，Altman就在探寻新营业，曾试图在中东筹集数十亿美元用于人工智能（AI）芯片项目Tigris，还想确立一家专注于AI芯片研发的公司，或许，这一项目已经被微软拿下了。另外，Altman还一直在追求为一款AI硬件装备筹集资金，该装备是他与前苹果设计总监Jony Ive 配合开发的。

近些年，在AI生长如日中天的大靠山下，不甘于已经取得的“绚烂成就”，选择开创新营业（重新创业或加盟一家富有活力的大公司）的行业大牛不止Altman一人，另有多位业界着名业界人士，稀奇是手艺大牛，都选择了再创业，由于他们无法抵抗AI生长的伟大潜力，要趁当下还处于“野蛮发展”的产业生长低级阶段，争取用先进的手艺和产物，掌控未来竞争的自动权。在这些人当中，典型代表是CPU架构大神Jim Keller和GPU架构大神Raja Koduri。

2020年6月，Jim Keller脱离了事情两年的英特尔，2021年头，AI芯片初创公司Tenstorrent宣布任命Jim Keller为公司总裁兼首席手艺官，以及董事会成员。Tenstorrent确立于2016年，旨在通过一种新方式和系统结构，研发新型AI处置器，以推动AI和机械学习的生长。近两年，Tenstorrent十分看重RISC-V的应用远景，以为其异常适合未来低功耗AI应用市场需求。

2023年3月，Raja Koduri脱离了事情五年的英特尔，选择创业。据Koduri透露，他的新创公司Mihira AI要打造新的天生式人工智能工具，这些工具可以在英特尔、AMD、苹果等公司的芯片上运行，也可以在未来的RISC-V架构芯片上运行。

01 AI系统和芯片需要改善

当下的AI服务器，多接纳异构形式搭建，也就是在盘算系统中，使用多种差异类型的处置器（CPU、GPU、FPGA、NPU等），这样可以增添盘算速率和效率，以知足差异事情负载的需求，由于AI事情负载通常需要大量的数值盘算和并行运算。

传统CPU在通用盘算方面显示精彩，但对于深度学习等需要大量矩阵盘算的义务，效能就会不足，这时，将GPU、TPU等处置器组合其中，可以更好地知足AI义务的需求，提供更高效的运算能力。

对于AI系统的这种异构需求，差异处置器厂商，稀奇是像AMD和英伟达这样的传统大厂，以及自研AI芯片的互联网大厂，都有各自的解决方案，但差异方案虽然有各自优势，但也存在这样或那样的瑕玷。

AMD公司推出了APU看法和产物，它就是CPU GPU的组合，其优点是可以充实行展两种处置器各自的优势，相互填补短板，也能在一定水平上削减功耗。不外，其AI训练性能并不比自力的GPU好。

为了知足自家系统的需求，Google自研了张量处置器TPU（Tensor Processing Unit），它是一种ASIC处置器，与 CPU、GPU和APU等通用处置器有很大区别，TPU的专用性很强，针对机械学习和深度学习等AI应用举行了优化，专门用于加速AI的盘算义务。不外，在Google的整个网络系统当中，依然需要用到大量的通用CPU和GPU，TPU虽然很好用，但可用规模照样有限的。

可见，要不停改善AI服务器系统性能，单一的通用或专用处置器都无法独自解决问题，需要多种处置器配合事情才行，这就给新的AI芯片手艺和产物生长提供了时机。

AI系统的训练和推理平衡水平需要改善。

现在，英伟达的GPU是AI训练芯片市场的*，但这只占整个AI芯片需求的20%左右，推理芯片市场相当大，当下的GPU善于AI训练，而CPU善于推理，二者在对方领域的局限性都很大。

在AI推理市场，除了数据中央和云盘算，用户对边缘侧（如手机、PC，以及机械人、工业系统和汽车等）的推理需求在快速增进。因此，AI推理市场不仅很大，而且相当涣散。在这种情形下，边缘侧AI推理芯片的市场规模异常大，而且具有极大的生长潜力。

苹果公司的iPhone 就是一个典型的例子，它在A系列处置器中集成了AI内核，现在，AI功效已经占有了A系列处置器整体功效的20%。近些年，多家公司也在接纳类似于苹果的SoC AI战略。

大略盘算，AI芯片市场包罗约15%的训练，45%的数据中央推理，以及40%的边缘侧推理。在这样的市场靠山下，一方面，各大处置器厂商正在提升AI训练和推理能力的融合水平，另一方面，边缘侧推理市场的伟大生长空间给许多移动处置器厂商提供了拓展时机。

AI系统和芯片的功耗也需要改善。

为了收割新中产，MPV们卷起来了

如上文所述，边缘侧推理市场伟大，而这些应用对低功耗要求很高。同时，数据中央和云盘算系统的功耗高的吓人，不能能无止田地增添下去，解决这一大应用领域的功耗问题也被越来越多的芯片和系统厂商所重视。

02 问题若何解决？

从上文先容中可以看出，AI系统和相关芯片还处于成耐久，有许多问题需要解决，稀奇是AI训练和推理芯片的功效融合、边缘侧AI推理，以及功耗问题，是各大厂商，以及初创企业配合关注的。

最近，英伟达推出的新GPU在AI训练和推理融合能力方面就有很大提高，该公司示意，H100芯片的升级产物H200集成了141GB的HBM3e内存，加倍善于推理，在用于推理或天生问题谜底时，性能较H100提高了60%-90%。英伟达示意，与H100相比，H200在Llama 2这样拥有700亿参数大语言模子上的推理速率提升了近一倍。

在边缘侧推理方面，以苹果为学习工具，传统手机处置器厂商也在增添新产物的AI推理能力。以联发科为例，该公司推出的天玑8300可支持天生式AI，最高支持100亿参数AI大语言模子。该芯片集成了天生式AI引擎，整数运算和浮点运算的性能是上一代的两倍，支持Transformer算子加速和夹杂精度INT4量化手艺，AI综合性能是上一代的3.3倍，可流通运行终端侧天生式AI的种种新应用。

在降低AI服务器功耗方面，初创企业和各大着名厂商投入的力度更大。

以上文提到的Jim Keller加入的Tenstorrent为例，该公司正在开发数据中央解决方案，焦点产物是基于RISC-V架构的AI/ML加速器和通用处置器。之以是接纳RISC-V指令集，很主要的一个缘故原由就是其功耗低。

据悉，Tenstorrent正在与日本新创晶圆厂Rapidus互助，开发基于2nm制程工艺的边缘侧AI处置器及相关IP。从现在的AI系统市场需求，以及未来该领域对低功耗（数据中央、云和边缘侧都要求降低功耗）的要求来看，先进制程的未来生长远景依然值得期待，由于3nm、2nm，甚至是1nm这样的先进制程手艺，就是要在不停提升性能的同时，连续降低功耗。未来，先进制程工艺险些就是为AI芯片而生的。

对于开发RISC-V芯片和系统，半导体大国政府都很重视。美国政府已经下达了使用RISC-V处置器来模拟下一代希罕性超级盘算机的指示，欧盟也确立了一个基于RISC-V架构的本土加速器项目，称为EPAC。

除了新创企业，传统大厂也在生长低功耗AI芯片方面竭尽全力。

以微软为例，该公司于近期推出了用于云端软件服务的处置器Cobalt，该芯片是基于Arm架构的通用处置器，同时，微软还推出了另一款专用AI加速器Maia 100，用于云端训练和推理。这两款芯片将于2024年导入该公司的Azure数据中央。微软基于Arm架构研发芯片，很主要的一个缘故原由就是其功耗对照低。

除了将AI训练和推理融合，以及低功耗之外，现有架构芯片，稀奇是CPU、GPU，在AI盘算方面都存在局限性，因此，一些初创公司，以及传统着名厂商还在探索新型架构的AI芯片，稀奇是在打破处置单元与内存之间的“通讯墙“方面，下了许多功夫。

近些年，以Groq、Cerebras、SambaNova、NextSilicon等为代表的创业公司都在开发各自的新型AI加速器，目的是替换英伟达的GPU。这些公司的产物多为ASIC，也就是AI专用处置器，现在来看，这些新型处置器正在被美国能源部实验室所接纳，用于科学研究。同时，美国多家大学也对试用这些芯片持开放态度，例如，NCSA正在与SambaNova互助开发芯片，Cerebras的处置器已经用于AI训练。

在创新架构处置器研发方面，大厂IBM一直都是业界的典型代表，AI专用芯片方面同样云云。最近，IBM推出了一种新的原型芯片架构NorthPole，可以使AI盘算更快、更节能。NorthPole 是一款基于人脑盘算通路举行神经推理的数字AI芯片，它接纳了一种截然差其余设计方式，将所有内存都集成在了处置器芯片上，无需外挂RAM，这使得该处置器能够举行快速的AI推理。该芯片专为AI推理而设计，不需要庞大的冷却系统。据悉，小巧天真的NorthPole异常适合边缘侧AI应用。

以上先容的都是种种AI处置器，是硬件。要使整个AI系统充实行展效能，软件工具的作用也很主要。如前文所述，GPU架构大神Raja Koduri脱离英特尔后，确立了新公司Mihira AI，该公司研发的就是AI软件工具。

据Koduri先容，Mihira AI的*层是一个异构数据中央架构，涵盖三类事情负载，划分是：用于渲染通用CPU盘算；用于AI的异构加速器；用于游戏GPU事情负载。他说，未来的第四个集群可以针对低功耗AI推理举行优化。

从未来生长来看，Mihira AI的目的很可能是替换英伟达的CUDA，以及AMD的ROCm软件生态系统。不外，现在它还处于生长初期，未来的蹊径十分艰辛。

03 结语

AI系统、芯片和软件市场生长潜力伟大，种种传统和创新产物同台竞争，随着应用和市场的生长，未来具有很大的想象和操作空间。

正是看到了种种AI手艺、产物和商业的生长可能性，越来越多的行业大牛依托创业公司，或依托各大着名厂商，最先了种种创新事情。

在本文截稿时，报道称Sam Altman又回到了OpenAI，继续担任CEO。经由这一波操作，Altman有望在OpenAI获得更多的施展空间，其AI手艺和商业拓展之路很可能会加速。