来源：量子位
从Meta的LLaMA发展出的羊驼家族一系列大模型，已成为开源AI重要力量。
但LLamA开源了又没全开，只能用于研究用途，还得填申请表格等，也一直被业界诟病。
好消息是，两大对标LLaMA的完全开源项目同时有了新进展。
可商用开源大模型来了，还一下来了俩：
MosaicML推出MPT系列模型，其中70亿参数版在性能测试中与LLaMA打个平手。
Together的RedPajama系列模型，30亿参数版在RTX2070游戏显卡上就能跑。
第五届进博会设立人工智能专区，围绕元宇宙和智慧城市两大主题:金色财经报道，第五届进博会人工智能专区成立仪式暨宣介会在线上举行，第五届进博会设立人工智能专区，专区初步规划展览面积5000平米，将围绕元宇宙和智慧城市两大主题，涵盖云计算、算法建模、平台建设、数据治理、软件应用、元宇宙应用等细分题材。截至目前，已吸引微软、思爱普、脸书（Facebook）、英特尔、诺基亚等龙头企业签约参展。
会上，来自元宇宙的数字人代表展商发出联合倡议，盛情邀请来自全球的行业企业关注人工智能专区，参与进博会，共享新机遇。（海报新闻）[2022/4/17 14:29:47]
对于这些进展，特斯拉前AI主管AndrejKarpathy认为，开源大模型生态有了寒武纪大爆发的早期迹象。
加密矿企Argo Blockchain完成魁北克省两大数据中心的收购:据外媒报道，加密矿企Argo Blockchain现已完成对加拿大魁北克省两个数据中心的收购。
据悉，这两个数据中心的总发电量为20兆瓦，并且几乎完全由水力发电提供电力。目前，Argo Blockchain已将相当一部分的加密货币挖矿设备放置于这两个数据中心。[2021/5/13 21:58:37]
MPT，与LLaMA五五开
MPT系列模型，全称MosaicMLPretrainedTransformer，基础版本为70亿参数。
MPT在大量数据上训练，与LLaMA相当，高于StableLM，Pythia等其他开源模型。
支持84ktokens超长输入，并用FlashAttention和FasterTransformer方法针对训练和推理速度做过优化。
在各类性能评估中，与原版LLaMA不相上下。
动态 | 以太坊面临可扩展性和拥塞两大问题:据coincryptorama报道，以太坊（ETH）在推出后被认为是数字货币和区块链的改变者。但是，以太坊目前正在经历可扩展性和拥塞问题。根据Etherscan的数据显示，以太坊未完成的交易已经超过了90,000大关。由于网络上的可扩展性问题，许多分散的应用程序和初始代币产品正在从以太坊平台迁移到其他平台。其他的区块链项目如EOS、Tron和Stellar Lumens正成为以太坊的威胁。[2018/12/3]
除了MPT-7BBase基础模型外还有三个变体。
MPT-7B-Instruct，用于遵循简短指令。
MPT-7B-Chat，用于多轮聊天对话。
MPT-7B-StoryWriter-65k+，用于阅读和编写故事，支持65ktokens的超长上下文，用小说数据集微调。
MosaicML由前英特尔AI芯片项目Nervana负责人NaveenRao创办。
动态 | 区块链可以解决新闻业的两大“危机”:据Bitcoinist报道，哥伦比亚大学Tow数字新闻中心最近举办了一个小组讨论区块链在新闻界的作用，主题是 “新闻业中的区块链：承诺与实践”。小组成员民间基金会首席执行官Vivian Schiller表示，新闻业如今面临两大“危机”——公众信任和财务可持续性下降，区块链可以帮助解决这两个问题。区块链的许多属性，如开放性，分散性和修改现有数据的难度，这些都是健康媒体环境的基础。[2018/10/25]
该公司致力于降低训练神经网络的成本，推出的文本和图像生成推理服务成本只有OpenAI的1/15。
动态 | 欧洲两大基本港均开始应用区块链:据悉，欧洲传统的三大基本港安特卫普、鹿特丹和汉堡中，前两者已经纷纷涉足区块链技术，打造“港口+区块链”。鹿特丹港口管理局近日宣布，将与区块链初创企业CargoLedger合作，应用区块链技术实现港口无纸化，优化港口货物处理和追踪以及实现港口使费的支付；安特卫普港务局和区块链初创公司T-Mining共同开发了区块链解决方案，使文件流转更为安全和高效。[2018/6/26]
RedPajama，2070就能跑
RedPajama系列模型，在5TB的同名开源数据上训练而来。
除70亿参数基础模型外，还有一个30亿参数版本，可以在5年前发售的RTX2070游戏显卡上运行。
目前70亿版本完成了80%的训练，效果已经超过了同规模的Pythia等开源模型，略逊于LLamA。
预计在完成1Ttokens的训练后还能继续改进。
背后公司Together，由苹果前高管VipulVedPrakash，斯坦福大模型研究中心主任PercyLiang，苏黎世联邦理工大学助理教授张策等人联合创办。
开源模型发布后，他们的近期目标是继续扩展开源RedPajama数据集到两倍规模。
OneMoreThing
来自南美洲的无峰驼类动物一共4种，已被各家大模型用完了。
Meta发布LLaMA之后，斯坦福用了Alpaca，伯克利等单位用了Alpaca，JosephCheung等开发者团队用了Guanaco。
以至于后来者已经卷到了其他相近动物，比如IBM的单峰骆驼Dromedary，Databricks的Dolly来自克隆羊多莉。
国人研究团队也热衷于用古代传说中的神兽，如UCSD联合中山大学等推出的白泽。
港中文等推出的凤凰……
最绝的是哈工大基于中文医学知识的LLaMA微调模型，命名为华驼。
参考链接：
https://www.mosaicml.com/blog/mpt-7b
https://www.together.xyz/blog/redpajama-models-v1
https://twitter.com/karpathy/status/1654892810590650376?s=20
郑重声明： 本文版权归原作者所有， 转载文章仅为传播更多信息之目的， 如作者信息标记有误， 请第一时间联系我们修改或删除， 多谢。