从“卖铲子”到“造金矿”：AI Infra成为大模型使用背面的最大赢家？

liukang20242天前今日吃瓜1039

文 | AI大模型工场，作者｜星奈，修改｜方奇

高质量的从“卖铲子”到“造金矿”：AI Infra成为大模型应用背后的最大赢家？的视图

业界有一句广为流传的谚语：“当消耗都去挖金矿时，卖铲子的最挣钱。”

在19世纪中叶的淘金热中，挖金矿的死了一波又一波，反而哪些卖铲子、卖牛仔裤的人赚得盆满钵满。正如卖铲人在淘金热中成为最大赢家，在当今AIGC年代，AI Infra也扮演着类似的人物。

在大模型这座金矿刚刚开始发掘的当下，挖金子的AI还没有盈余，卖铲子的英伟达却赚翻了，市值一度突破3万亿美元，超越苹果成为仅次于微软的全球第二大公司。

AI Infra是指在大模型生态系统中，链接算力和运用的中间层根底设施，包含硬件、软件、东西链和优化办法等，是一个全体解决计划。

假如用云核算三层构架做类比，AI Infra与PaaS层级类似，为大模型运用开发供给一站式模型算力布置和开发东西渠道。算力、算法、数据可以看作IaaS层，各种开源和闭源模型则是SaaS在大模型年代的新演化，即MaaS。

大模型运用落地的进程在不断加快，AI Infra的价值潜力被进一步开释。中金数据猜测，现在，AI Infra工业处于高速添加的开展前期，未来3-5年内各细分赛道空间或坚持30%+的高速添加。

对AI Infra的看好也在本钱层面有所反映。由袁进辉创立的主攻推理结构的草创公司硅基活动，近来完结天使轮+融资，融资金额近亿元人民币。半年时间内硅基活动现已阅历两轮融资，本年1月刚刚完结5000万元的天使轮融资。

与袁进辉创业方向相同，前阿里副总裁贾扬清在上一年建立Lepton AI，据揭露音讯发表，现已完结天使轮融资由Fusion Fund基金、CRV风投两家顽固出资。

跟着大模型进入大规模运用落地时期，供给大模型练习、布置和运用时所需的根底设施成为要害一环，AI Infra成为大模型运用迸发背面“掘金卖铲”的最佳生意。

AI Infra：大模型运用背面千亿商场的“掘金卖铲”生意

比较模型价值，卷AI运用成为职业一致。李彦宏深信，根底模型之大将诞生数以百万计的运用，它们关于现有业态的改造作用，比从0到1的推翻作用更大。

现在AI运用的供给在不断添加，IDC在年初时猜测，2024年全球将涌现出超越5亿个新运用，这相当于曩昔40年间呈现的运用数总和。

从最近的商场改变消耗也能感知一二。最近视频生成类模型产品扎堆呈现，快手的可灵、字节跳动的即梦、商汤的Vimi团体露脸，此外还有AI查找产品、AI陪同类产品等层出不穷。

大模型运用迸发趋势已然确认，依据InfoQ研讨中心数据，2030年AGI运用商场规模将达4543.6亿元，模型运用层的巨大时机现已招引了简直各行各业的参加。

而在大模型运用之下，AI Infra成为其迸发的躲藏推手。

从开发流程视点看，一款大模型运用的开发，离不开数据预备、模型练习与调优、模型布置与运用以及后续的监控与保护。而AI Infra便是为AI运用开发者供给算力与东西需求。

假如把开发AI运用当作建房子，那么AI Infra便是供给水泥钢筋的施工队。AI Infra施工队的价值点在于它是一个集成渠道，将基层的算力芯片层与上层的AI运用层打通，让开发者完结一键调用，并且完结下降算力本钱、进步开发功率并且坚持模型优异功能的作用。

让运用更简略，让AI落地更快捷，是AI Infra的任务。可以说，AI运用的商场有多大，AI Infra的时机就有多多。

大模型年代，AI Infra等关于模型练习和推理加快至关重要。跟着大模型走入大规模运用落地时期，模型练习和推理功率、功能、本钱效益等方面的优化变得尤为重要。此刻，AI Infra则在其间发挥了要害作用。

实践上，AI Infra的价值首要会集在推理层，比较练习，推理的商场容量更大。

大模型练习说到底是巨子的游戏，且无论是谷歌、微软仍是百度、阿里他们都有自己完好的AI根底层，只做AI Infra的厂商在这方面时机不大。

而推理则不同，简直一切的大模型公司、运用公司以及用大模型进行改造的各职业都需求推理，练习是模型出产的阶段性产品，而推理则在模型运用时是持续性的。

详细到数据处理量上，练习一个大型模型所需处理的token数量尽管巨大，一般到达几万亿到十万亿等级，但这仅是模型诞生前的预备阶段。而进入推理阶段后，模型的实践运用对数据处理的需求急剧上升，以OpenAI为例，其单日生成的token量就可达一万亿至几万亿之巨，这意味着在极短的时间内，如一周内，所处理的数据量就可能远超练习阶段所需。

依据商场研讨公司MarketsandMarkets的数据，全球大模型练习和推理商场规模估计将从2023年的125亿美元添加到2028年的563亿美元，AI Infra的“掘金卖铲”生意潜力巨大。

大模型布置本钱下降10000倍

“怎么把大模型布置本钱下降10000倍？布置本钱=芯片+软件+模型+云“，袁进辉在2024稀土开发者大会上这样谈到。

AI Infra作为供给大模型练习、布置和运用时所需的根底设施，快速、廉价和优质是最中心的三个问题，AI Infra要完结的便是在不献身模型功能的前提下尽可能下降模型布置本钱。

本钱、功率和功能是大模型开展中的不可能三角，在AI Infra赛道的玩家怎么完结？

假如说模型层和运用层现已成为红海，那么AI Infra仍是一片蓝海。

在国内专心AI Infra的公司并不多，硅基活动和无问芯穹是两家重量级玩家。该赛道的国外企业包含英伟达、亚马逊以及贾扬清创立的Lepton AI等。

尽管，硅基活动与无问芯穹都聚集AI Infra，但两者在服务要点、技能完结仍是有很大差异。

硅基活动创始人袁进辉是一个AI范畴的接连创业者，2017年兴办一流科技，聚集深度学习结构，打造出开源练习结构OneFlow，服务于大模型的出产，2023年被光年之外收买。

上一年8月，袁进辉带领其中心团队成员从光年之外独立，建立硅基活动，聚集AI Infra，服务模型大模型运用，瞄准推理范畴，从头搭建了一套独立于伯克利的 vLLM和英伟达的TensorRT—LLM之外的推理结构—SiliconLLM。

除了首创的推理结构外，硅基活动现在还上线了一站式大模型API云服务渠道SiliconCloud，支撑Qwen2(7B)、GLM4(9B)、Yi1.5(9B)等开源模型免费运用，供给高功能文生图/视频加快库OneDif等产品。

SiliconCloud云服务渠道在SiliconLLM和OneDif的加持优化下，可以让开发者在不献身功能的前提下，更低本钱和更高功率地进行模型运用开发。

据悉，硅基活动的新产品SiliconCloud公测上线一个月后，渠道用户日均调用数十亿Token。

比硅基活动早建立3个月的无问芯穹，在AI Infra上，着眼于软硬一体的全体解决计划，聚集从算法到芯片、从芯片集群到模型、再从模型到运用的三阶段“M×N”中间层产品。

本年3月无问芯穹初次公测Infini-AI大模型开发与服务云渠道，Infini-AI云渠道共由三部分构成，分别是异构云管渠道、一站式AI渠道和大模型服务渠道。

从现在来看，无问芯穹要点从多元异构算力下手，打破单一芯片品牌练习资源瓶颈，进步算力供给水平，下降模型布置本钱。

在7月WAIC大会上，无问芯穹针对多芯片异构生态竖井的难题发布了异构分布式混训渠道，以习气多模型与多芯片的格式。

现在国内商场上的芯片供给除了英伟达和AMD外，还存在很多国产芯片，而这种多芯片之间构成异构生态竖井，无问芯穹的底层解法是，供给高效整合异构算力资源的好用算力渠道，以及支撑软硬件联合优化与加快的中间件，让异构芯片真实转化为大算力。完结了混训算力利用率最高可达97.6%。

可以看到，无论是硅基活动仍是无问芯穹，尽管他们的AI Infra道路不尽相同，但都有一个一同方针：下降大模型布置本钱，助力大模型运用更快更好地落地。

除了以硅基活动和无问芯穹为代表的草创公司阵营，以阿里、腾讯、百度为代表的云核算厂商也是现在AI Infra的首要玩家。

云核算厂商凭仗其雄厚的本钱及深耕多年的技能堆集，在AI Infra层有着极强的优势。

以阿里云为例，阿里云在AI Infra层供给了包含灵骏智算集群、HPN 7.0网络架构、CPFS存储系统、PAI人工智能渠道、魔搭社区和百炼渠道等一系列产品和服务，掩盖了从根底设施到模型开发、练习、布置的全流程，已构成良久最齐备的AI根底设施产品及服务，包含IaaS层、PaaS层和MaaS层的服务。

可以看到，阿里云经过供给高功能、高稳定性的AI核算服务，支撑大模型练习和推理，以构建敞开的AI运用生态。实践上，无论是阿里云仍是其他云核算厂商，想要的不只是“卖铲子”，更重要的是用AI驱动现有事务，掩盖条事务线，每一个场景。

温暖的从“卖铲子”到“造金矿”：AI Infra成为大模型应用背后的最大赢家？的照片

云核算厂商“大而全”，草创公司“小而美”。大厂们从算力、数据、网络、存储比及模型再到开发东西链，构建大模型生态。

而草创公司，尽管不具备大厂们的全工业链，却也在AI Infra层发挥着重要作用，硅基活动盯住推理范畴，首创推理结构SiliconLLM；无问芯穹用异构算力筑基AI Infra。他们沿着各自的道路在通往普惠性AGI之路上不断探究。

铲子难卖，金矿难挖

尽管在大模型运用迸发的当下，AI Infra层潜藏着巨大的生意。可是关于这些做AI Infra的公司来说，即便他们在自己的专业范畴如此强壮，在潮水的改变面前依然软弱。

铲子难卖，金矿难挖。

英伟达CUDA生态现已开展了20年，在AI范畴，最先进的模型和运用都首先在CUDA上跑起来。

每个硬件之间都有不同的接口，CUDA一致了不同接口之间的言语，让运用者可以用一套规范言语去运用不同硬件。在模型开发过程中，开发者必然会趋同于在同一个言语系统中去完结自己的开发。而这实践上就构成了英伟达CUDA生态厚度。

现在，CUDA生态在AI算力商场占有了90%以上的比例。不过跟着AI模型的规范化，模型之间结构差异变小，不再需求调度多种巨细模型，英伟达CUDA生态厚度在变薄。

即便如此，英伟达在算力商场也是肯定王者。贾扬清猜测，英伟达在接下来的3~5年傍边，还会是整个AI硬件供给商中肯定的领头羊，商场开展占有率不会低于80%。

尽管硅基活动和无问芯穹等AI Infra层的厂商有差异英伟达的优势，但在肯定垄断者面前，仍如不自量力。

对AI Infra层的卖铲厂商来说，外有英伟达守矿人，堵在门口卖门票与铲子，十分困难找到一条进入金矿的小路，却发现，里边的挖矿人现已习气“徒手”挖矿，不再承受新铲子。

在国内，企业为软件付费志愿低，且大多习气集成式服务。国内SaaS出资现已降到冰点，假如AI Infra层厂商单靠卖硬件或软件难以完结商业化。

软硬件捆绑式出售成为这些厂家不谋而合挑选的商业化形式。

在无问芯穹创始人夏立雪看来，无问芯穹本质上扮演了一个运营商的人物：运营算力资源并供给所需东西。“消耗看到了可以带着硬件，带着资源去售卖，并且客户是认可消耗的价值的。”

和夏立雪主意相同，袁进辉相同以为，“当下绑定一个客户有必要付费的产品，如硬件或云核算资源，一同卖软件，是可以跑通的。”

别的还有一个重要的商业化趋势——出海。从商场空间看，有统计数字标明，现在生成式 AI 和大模型的海外需求是国内需求的几十到上百倍，全球化是AI Infra层厂商有必要要做的工作。

做全球化还有一层重要原因，在海外，B端的软件付费服务难度较低，承受程度高。

硅基活动已与多家海外AIGC头部企业协作，成为公司第一批付费客户，在近期取得新一轮融资后，袁进辉表明，公司将会同步拓宽海外商场。而贾扬清直接将公司建在海外，瞄准海外企业和国内想要拓宽海外商场的企业。

商业形式规范化问题仍需AI Infra层厂商渐渐探究。

跟着AI模型的规范化以及运用场景的迸发式添加，低本钱、高功能的一站式模型布置计划必然占有重要生态位。关于大模型公司来说，一站式的模型布置计划不只可以解决算力缺少和数据高效处理等问题，让企业可以专心于运用层面的落地难题；一起，经过会集式的资源管理和服务化，AI Infra可以协助企业下降模型及运用开发本钱。

不过，尽管AI Infra可以带来本钱效益，但其初期的出资和保护本钱依然较高，关于草创公司来说仍是一个不小的应战。

伴跟着AI运用的快速开展，AI Infra需求可以快速习气新的改变和需求，增强根底设施的可扩展性和灵活性，而未来谁可以为多样化的运用场景供给个性化的大模型一站式布置计划或许就可以在这场竞赛中胜出。

关于AI Infra的未来，夏立雪这样描述：“翻开水龙头前，消耗不需求知道水是从哪条河里来的。同理，未来消耗用各种AI运用时，也不会知道它调用了哪些基座模型，用到了哪种加快卡的算力——这便是最好的AI Native 根底设施。”

告发/反应