3 月下旬,英伟达在美国加州总部举办了面向软件开发者的年度技术峰会 GTC。会上,创始人黄仁勋发布了专用于大语言模型部署的 GPU 推理平台——H100 NVL,其或将在推理阶段实现比现有最先进的 A100 快 10 倍的速度。
但如此先进的 GPU 却无法运往国内,去年 8 月,美国监管机构以国家安全为由,对 NVIDIA A100、H100 两款 GPU 实施禁令,不得销售给国内企业,意在通过“卡脖子”的方法来降低国内 AI 模型的传输速度,拖延中国人工智能发展。
而目前也确实对国内 AI 企业产生了较大的影响,在算力的大需求之下,呈现出了“一卡难求”的情况,就连阉割版的 A800 也一直处于缺货的状态。
但与 GPU 硬件窘迫的境况不同的是,在继 3 月 16 日百度发布文心一言大模型后,国内众多科技、AI 巨头都相继公布了各家大模型的发布会时间:4 月 8 日华为盘古大模型发布、4 月 10 日商汤大模型发布、4 月 11 日阿里大模型发布、4 月 14 日同花顺举办 AI 产品发布会,国内大模型的“百家争鸣”与 GPU 被禁运后的“惨淡”状况,也形成了鲜明的对比。
这个 4 月,成为国产大模型混战期。
那么,在 GPU 受限的情况下,国内 AI 行业发展境况如何,能否交出属于他们自己的答卷?未来的发展是否会与国外越差越大?
本文,奇偶派以已经发布或近期即将发布的大模型与相关 AI 应用的企业为例,通过专家访谈等方式,研究和分析各企业 AI 大模型的发展状况。
华为盘古大模型,最近的发布多少有点高开低走,突破性进展不多,尤其是在 C 端几乎没有新应用侧产品,主要还是展示了华为在 B 端智能化方向上的技术实力,为华为云服务和可见的销售市场做技术支撑。
4 月 8 日,在人工智能大模型技术高峰论坛上,华为云人工智能领域首席科学家田奇介绍了盘古大模型的进展及其应用状况,包括 NLP(自然语言处理)大模型、CV(机器视觉)大模型、科学计算大模型、多模态大模型、语音大模型等的研发与应用的相关情况。
数据:Paxos Treasury销毁56,981,184 BUSD:金色财经报道,据Whale Alert数据显示,Paxos Treasury销毁56,981,184 BUSD(价值约56,969,788美元)。[2023/1/21 11:24:49]
在会前,最引人关注的莫过于盘古的 NLP 大型模型,据介绍,该模型利用了深度学习与自然语言处理技术,并且采用海量中文语料库对其进行培训。
而在参数和数据的堆量方面,百度文心一言参数为 100 亿,数据为 4 TB。而 GPT-4 则达到了 1750 亿,数据 45 TB。华为盘古大模型的参数高达 1000 亿,数据高达 40 TB。如果单从参数上看,盘古大模型已接近 GPT-3.5。
但在这次发布会中,田奇却并没有提到盘古 NLP 大模型的相关应用。只是将过去已经发布的功能,进行了较为简单的集合介绍。相对而言,另外两个大模型则着墨更多,以较多篇幅介绍了 CV 大模型和科学计算大模型的应用范例。这也让众多翘首期盼华为能发布一款赶上 ChatGPT 应用的“粉丝”们,多少有一些失望。
但实际上,早在发布会之前的相关交流中,内部专家就已经就该话题做出了相关回答:
“首先,在华为发展历史上,很少是在新的趋势出现后立马就追上来的。公司发展的 30 多年间,基本没有做到过先发,而是一直采用后发制人的打法,在手机、在云、在汽车上是如此,在这个领域中也会如此。”
“想要做出一个比较完美的 NLP 大模型,是一个集团级的项目,通常做出决定会比较缓慢,在一两年内也不太会出现。而当前公司在尽力地完成 AI 工程化、AI 产品化,公司认为这是商业化不得不走的路线,如果采用高度项目制,成本很高,并且也会出现项目不可复制的情况,因此华为的重点最后才放在了面向行业的 CV 大模型上。”
正如相关专家所说的,盘古大模型中最为领先的,正是 CV(机器视觉)大模型。
林俊杰在推特展示“无聊猿”BAYC #3914 饰品:3月20日消息,新加坡华裔男歌手林俊杰在社交媒体上展示了配有“无聊猿”BAYC #3914 的饰品(貌似钱包),并配文:拿到通往 Web 3 的新护照。据此前报道,该 NFT 由黄立成(麻吉大哥)赠予。[2022/3/20 14:07:48]
会上,田奇还谈到,在过去的 2022 年,华为盘古大模型主要是 AI for Industry(AI 赋能产业),为煤矿、水泥、电力、金融、农业等行业创造了更多产业价值,其中 CV 大模型早就有了许多用武之地。
比如在与能源公司合作的盘古矿山大模型中案例中,矿井现场是一个 40 米长的采掘机,宽度仅 2 米左右,传统相机很难一下子捕捉到全部画面,只能用图中的九宫格视频画面。而通过 5 G+AI 全景视频拼接综采画面卷,传输到地面,地面工作人员将来可以实现地面控制机器进行采矿,实现矿下无人少人安全作业。
盘古矿山大模型还用在了煤矿的主运输皮带作业监控。煤矿被采集下来以后,它会通过一个主运输皮带,从地下传输到地上。按传统方法是通过工人配合作业,华为提出通过视频对作业的安全规范进行巡检,主运场景的异物识别精度达 98%,煤矿作业场景动作识别准确率达 95%,助井下安全事故减少 90% 以上。这些都是 CV 大模型的落地应用。
此外,大模型还能进行轨道机车缺陷检测,比如掉链、脱落、裂痕等潜在不安全因素,人工检测成本较高,盘古大模型提供图像质量的自动评估、小样本的故障定位与识别等。
可以说,华为选择了一条与其他 AI 企业不一样的道路——暂时放弃以 ChatGPT 为代表的 C 端需求,专注 B 端工业需求的开发。
不可否认,华为作为国内受美国制裁最严厉的公司,无论从算力资源、或是从公司发展理念、又或者是从商业化角度来看,选择专精于 B 端的打法是正确的。一来可以避免超大数据量的训练,二来又可以为处于“寒冬”中的集团早日“造血”。
或许,在算力无法获取之时,不去纠结内耗于 ChatGPT,才是华为真正的 AI 之路。
BTC预计5天11小时后下调挖矿难度21.04%至15.74 T:数据显示,目前比特币未确认交易量为19463笔。全网算力为99.81EH/s,24小时交易速度2.00 txs/s。当前挖矿难度为19.93 T,距离难度调整还有5天11小时,预计下次挖矿难度将下调21.04%至15.74 T。[2021/6/27 0:09:09]
紧接着华为盘古大模型发布后,商汤科技的大模型也即将登场。
不过,由于上市公司相关信披原因,目前公司正处于发布大模型之前的静默期,所以没有办法披露过多的大模型相关内容。但是,作为最早把人工智能大模型写入招股说明书的公司,商汤确实是有着足够的实力,来推出独属的大模型。
而在近期的相关交流中,商汤相关人士还是回答了一些与算力相关的问题。
首先是大众最关注的算力资源方面,商汤拥有极为充足的 GPU 储备,对方表示,在去年停售之前就有 1 万张 A100 芯片了,完全可以覆盖训练一个千亿参数量的语言模型的消耗。
而除了英伟达专用显卡外,商汤也有采购国内的 GPU,专家表示:“比如说寒武纪与海光,最近这两家公司可能很多投资人都很关注,想了解他们的产品是否进入了大规模试用阶段。但是,如果大家在去年有去参观我们商汤的大装置的话,就应该看得到我们在大装置里面已经适配了很多寒武纪和海光的 GPU 卡,我们也是寒武纪最大的客户之一”。
而在谈及国产替代方面时,专家也坦言,“我们很早就开始与国产 GPU 厂商合作,去适配国产 GPU 卡,但坦白来说,当前的大模型训练,确实是只有 A100 与 A800 能够胜任,国内 GPU 卡的易用性与性价比都无法去比较,但在推理阶段,寒武纪最新款的 GPU 在大模型领域也有了不错的表现,期待未来会更好。”
而在被问及 H100 出现是否会对国内 AI 企业产生影响时,专家表示,H100 加速芯片的出现,确实在性价比上有十分显著的提高。但如果不考虑性价比的话,当前已有的芯片是完全可以胜任的。
而在算力的使用技术方面,商汤较众多 AI 企业来说有着极为明显的优势。
TokenInsight : 9 月第 4 周火币流动性最佳:9月28日,区块链研究机构 TokenInsight 发布 9 月第 4 周加密货币交易所现货交易流动性报告,在数据采集当周较为主流的12个交易所中,流动性得分前 5 位依次为火币、币安、OKEx、Kraken 和 Coinbase。
TokenInsight 表示,该数据综合了订单簿(Orderbook),再结合 Orderbook 的数据分布形态以及逐笔成交的数据分布形态,综合开发出了流动性得分,其中火币展现出了最好的流动性。[2020/9/29]
在 A100 存量优先的情况下,如何利用仅有的资源去做更多的事情,成为了商汤需要解决的一大问题。
专家表示,商汤科技在过去五年中,有着丰富的千卡并行的训练经验,最大的单任务训练可以同时调动 4000 张 A100 的 GPU 卡,等效算力为 1 万张 A100,已经达到了训练 GPT3 甚至 GPT4 的门槛。
而在国产 GPU 的优化适配上,商汤也同样有丰富的经验,“目前有 10% 左右的算力,是由国产 GPU 卡提供了,商汤也一直在进行适配,无论是规模比较大的寒武纪、海光,或是当前规模比较小的昇腾,都有着相应的适配支持”。
也正是因为多年的训练经验,让商汤获得了较为明显的优势,“我们目前的算力规模可以支持 20 个千亿参数量超大模型共同计算,同时训练,对客户的技术迭代有十分明显的帮助。”
但被问及当下的挑战之时,专家再次重点提到了国产 GPU 的适配问题。即当前国产 GPU 不太能够支持超大模型的训练,还需要投入更多去进行优化。此外,虽然国产 GPU 已经展现了一定的能力,但依然任重道远。
总的来说,商汤科技作为最早一批的 AI 企业,有着极为深厚的训练经验,也在禁运之前拿到了上万张 A100 显卡,这让其在当前的 AI 大战中拥有了极强的竞争力。
但从另外一个角度来看,短期内高端 GPU 禁运的影响还可以通过丰富的训练经验、更大的成本投入来进行掩盖,但从长期来看,如何能持续获得高端 GPU,才是商汤需要考虑的问题。如果禁运依旧存在,并且国产 GPU 无法适配超大模型的训练,那么与国际尖端 AI 企业、与最先进的大模型之间的距离,将会被持续拉开。
动态 | 今日恐慌与贪婪指数为54 恐慌等级为中性:据Alternative.me数据显示,今日恐慌与贪婪指数为54(昨日为50) ,恐慌程度下降,等级为中性。注:恐慌指数阈值为0-100,包含指标:波动性(25%)+市场交易量(25%)+社交媒体热度(15%)+市场调查(15%)+比特币在整个市场中的比例(10%)+谷歌热词分析(10%)。[2020/1/28]
4 月 4 日,B 站一则阿里版 ChatGPT 全网首测视频流出,引爆全网,同日下午,阿里正式宣布将于 4 月 11 日的阿里云峰会上推出大模型。
从视频中看,阿里大模型超出大家预期的主要有两点:
一是“音色”“文风”“情绪”都可改变,定制化属性显现,受众面大幅增加,视频中 UP 主先是运用了脱口秀演员“鸟鸟”的声音作为模型交流,然后并要求 ChatGPT 接下来用“猫娘”的身份进行后续对话,整体定制化特征明确,不再局限于固定形式,代表着后续每个人可根据自己的需求定制属于自己的“性格”不同的 ChatGPT,几乎可满足所有受众群体。
二是阿里 GPT 的成熟程度超出预期,15 个问题中有 10 个问题的回答都明显好于国内已经公布的竞品,并且突破了双工对话,整体带入性更强。
而就在发布前的一周,也有相关内部专家接受了采访,回答了“国内语言大模型与 ChatGPT 有多大差距”的相关问题。
专家表示,起码在未来的一年到一年半之间,国内是绝不可能出现对标 GPT4 的产品的,只有先把 ChatGPT(GPT-3.5)追上,才有资格去谈 GPT4。目前,国内大多仍然都是以文本、图像、视频等单模态的方式发布的,并且文本大模型已经进入商用阶段,百度走出了第一步,其他的众多 AI 企业和科技企业也都会在年中或者下半年进行发布。
而在追赶 GPT-3.5 的过程中,也有着三个核心瓶颈:
一是数据量的不足,只有拥有了足够多的数据,才能继续训练,而公有的数据大家都可以买到,所以核心竞争点是如何获得足够多的私有数据,权重占比达到了三成左右。
二是模型结构的创新性,国内的语言大模型目前做不成高层级的架构,也就没办法做海量的数据训练,也是最大的瓶颈,权重达到了四成左右。
第三便是工程化的能力,在工程落地的时候,大家都知道需要预训练、调优训练与推理训练,但在真正部署的时候,是完全要靠自身去摸索的,包括数据的处理,模型的训练,模型优化,模型的部署和运用,都需要投入大量的时间、精力与财力,这方面的权重与数据量类似,也是达到了三成的权重。
但这一切的前提是算力充足,阿里是当前国内拥有 A100 GPU 最多的企业,在当下阶段算力并没有多大阻碍,但未来伴随着禁运的持续与算力需求的增加,也将面临高端运算卡不足的情况。
而在追赶 ChatGPT 之外,电商作为阿里起家的领域,也让人好奇阿里大模型将会为电商领域带来多大的改变。
专家表示,在电商场景中,比较主要的还是推荐算法与营销图案、文本的生成。未来,阿里大模型将会包揽营销图案、产品介绍、产品描述等工作。
“实际上,去年我们就已经让一些商家使用这个技术了,我们挑选了上百个商家,预计要花数百万去请广告公司去做的营销图案,阿里大模型的 AI 都可以胜任,cover 40% 的工作量。”
“而在营销之外,还有虚拟直播等许多场景可以被替代,包括仓储预测、物流信息的挖掘,都需要一步步找场景渗透,慢慢将老一代的技术进行替代,帮助中小企业,最终达到双赢”。
总的来说,阿里大模型作为一个庞大集团下的一条项目线,看起来并不像其他 AI 科技企业那么出彩。但目前,阿里的文本大模型进度在国内也已经位属前列,并且其他模型也在有序推进之中。
不过,这一切的前提是算力的充足,伴随着技术的推进与数据量的增加,在未来,算力可能仍是迈不过的那道坎。
而在 AI 巨头与科技公司之外,各行各业的企业其实早已经将 AI 应用于实际业务中,而同花顺就是其中一员,4 月 14 日,同花顺也将举办 AI 产品发布会。
实际上,同花顺的 AI 产品,早就已经应用,主要包括 i 问财、基于 AI 技术的增值服务产品与 B 端 AI 产品。
其中,同花顺主打的便是 i 问财这款 AI 产品。i 问财是目前财经领域落地较为成功的自然语言交互问答系统,而公司也在 2022 年进一步加大对其研发投入,采用全新的语义解析方案,结合 AI 大模型、小样本学习等技术的应用,有效提升 i 问财服务效率,可将服务场景从财经领域扩展到通用领域,从中文场景扩展到多语言场景。
通过 i 问财机器人,我们可以获得相关资讯、数据以及 AI 的点评;还可以准确地提供 A 股公司的基本面及板块情况,并通过多类图表的形式显现出来;还可通过向问财机器人提问,实现条件选股,是市面上成功的一款财经 AI。
而在 AI 之风的推动之下,同花顺的股价也节节走高。自 3 月 17 日以来,在短短 12 个交易日中,股价便从 115.57 元上涨至最高的 239.22 元,完成快速翻倍。
在股价飙涨的背后,同花顺能否发布更有含金量的 AI 应用,我们还无从得知。但如果仅仅以目前的 AI 应用水平,是绝无可能撑起如此高的市值的。
而同花顺的 AI 含金量究竟如何,或许只有当其产品发布之时,我们才能知晓吧。
纵观国内已经发布的文本大模型或者 AI 应用,亦或是与各企业相关专家进行交流,我们都能发现一个问题,那就是国内的大模型水平,实际上才刚刚起步。
在硬件方面,英伟达高端 GPU 遭受禁运,国内只能拿着为数不多的 A100 与阉割版的 A800 进行训练和推理。当前尚可通过丰富的训练经验,更高的资本投入来短暂掩盖国内算力严重不足的事实。但若是站在更高处,GPU 发展严重落后,终将成为杀死中国 AI 的一把利刃。
而在算法层面,国内 AI 企业也面临着极为尴尬的局面,让一群善于应用创新的企业直接去做底层创新,无异于赶鸭子上架。在国外 AI 企业不再开源
算法后,如何找到模型开发的创新点,才是最困难的。对于一直停留在 64 层的众多国内 GPT 模型来说,想要对标 ChatGPT 甚至 GPT-4,无异于痴人说梦。
不可否认,应用层面的“软实力”,可以让一家 AI 企业快速找到盈利的目标,但在真正的国产 AI 战争打响之后,硬件和算法层面的“硬科技”,才是我们当前最缺乏的能力。
若只重视应用层面而忽略硬件与算法层面造出来的商业辉煌,就像井中月、水中花一般,虽然美丽,但一经波澜便稍纵即逝。也只有真正拥有算力、算法层面的能力,才是中国 AI 发展历程中真正的进步。
我们的算力之战和算法之战刚刚拉开序幕。
此刻,中国 AI 的翻身之战,需要一些真正的“硬核武器”,才能正式打响。
巴比特资讯
个人专栏
阅读更多
金色财经 善欧巴
Chainlink预言机
金色早8点
白话区块链
Odaily星球日报
Arcane Labs
欧科云链
深潮TechFlow
BTCStudy
MarsBit
郑重声明: 本文版权归原作者所有, 转载文章仅为传播更多信息之目的, 如作者信息标记有误, 请第一时间联系我们修改或删除, 多谢。