新智元报道
编辑：编辑部
LLM 战场的新玩家，一出手就是王炸！信仰 Scaling Law 的阶跃星辰，一口气带来了 Step-1 千亿参数语言大模型、Step-1V 千亿参数多模态大模型，以及 Step-2 万亿参数 MoE 语言大模型的预览版。而阶跃星辰之旅，终点就是 AGI。
最近，又一家初创公司，加入 LLM 战场！
在 2024 全球开发者先锋大会期间，这家颇为低调的公司第一次亮相，就让业内震动了一把。
他们一口气发了三个大模型——
Step-1 千亿参数语言大模型、Step-1V 千亿参数多模态大模型，以及 Step-2 万亿参数 MoE 语言大模型预览版。
据悉，Step-2 万亿参数 MoE 语言大模型预览版，还是国内大模型初创公司发布的首个万亿参数模型！
百模大战一年了，这家公司为何此时高调现身？
小编深入挖掘，居然发现了许多值得言说的东西。
Scaling Law 信仰者的故事
这个万亿参数大模型才用一年就诞生的事实背后，是一个 Scaling Law 信仰者的故事。
这一点，从公司的名字就可以看出来——「阶跃星辰」。
你们可能已经发现了，公司的名字，其实来自于「阶跃函数」。
阶跃函数，是人工智能里神经网络最早的激活函数
这就让人自然而然地想到 Scaling Law 的核心本质——当模型规模不断扩大，性能就会不断提升，发生阶跃。
最近一周，OpenAI 频频曝出大动作，比如它正联合微软打算豪掷超千亿美元，打造一台百万芯片的「星际之门」超算。
显然，要训出 GPT-5 甚至 GPT-6，就意味着人类向 AI 提供的算力，还要不断增加。
而在硅基发展的道路上，AI 模型的规模和性能，是否还会沿着 Scaling Law 的路径不断攀升？
业界对此讨论不一，而阶跃星辰，则是 Scalng Law 的笃信者。
由此，他们也对通往 AGI 的技术路径，有着独特的深入理解。
首先当然就是，不做「小而美」，而是 Scaling 到底，让阶跃「Scale-up Possibilities for Everyone」。
另外，Sora 最近掀起的滔天巨浪也证明：多模态是通往 AGI 的另一个关键。
力大砖飞的路子，已经被跑通。阶跃星辰则是国内的打样者。
潜水一年，它在算力、数据、算法和系统上兵来将挡、水来土掩，如今终于一鸣惊人。
路线对了，四大难关也被冲破，百模大战中谁能笑到最后？时间会给出答案。
千亿模型霸榜，一手实测来了！
那么接下来，就让我们看看在千亿级参数 Step-1 和 Step-1V 的加持下，产生的应用有多么强大。
在这个过程中，Step-1V 的多模理解能力，尤其引起了小编的注意。
跃问，越爱问
第一款应用，是这个叫「跃问」的聊天助手。
与 ChatGPT 类似，它可以帮我们完成信息查询、语言学习、创意写作、图文解读等任务。
此外，它还具备了联网搜索、代码分析增强（POT）等能力，高效理解和回应用户的查询，提供连贯且相关的对话。
传送门：https://stepchat.cn/chats/new
凭借 Step-1V 大模型，「跃问」拥有了业界领先的多模态内容理解能力。
它可以能够识别真实世界的万事万物，能够理解和分析复杂的金融图表，甚至还能够理解热梗图片中的深意。
话不多说，直接上图。
先来一道小学生们常做的数学应用题。
和人类的答题思路不同，「跃问」答题，会用计算机可以理解的语言，通过执行代码得出结果。
有了「跃问」，以后拍照答题确实省事多了。
小编的朋友之前去挪威自驾拍了张照片，不知「跃问」能识别出这个景点吗？
出人意料的是，它非常成功地识别出了地点，还贴心地给出了出行建议。
再试试图表分析。
能够准确理解图中信息，并进行总结，「跃问」实力值一键拉满。
读梗是检验模型智能水平的好方法，我们来试试跃问。
难倒不少人类的「莎士比亚摇梨」谐音梗，它解读得一溜一溜的。
米粉们对于小米造车翘首以盼的期待，它都懂。
「我太南了」「南上加南」的国粹+谐音双重梗，它也能体察其中诙谐精妙的隐喻。
一图读懂，长图一键总结
另外，跃问还提供了一个「一图读懂」工具。
打工人们在工作中时常会遇到这种情况，动辄几十万字的政策性文件、通知、财报等，需要给出一个总结。
很多情况下，我们并没有足够的时间来仔细阅读其内容，这时候，就需要「一图读懂」来登场了！
它可以帮我们整理成公众号分享的那种长图。
传送门：https://stepchat.cn/textposter（上下滑动查看全部）
这个工具最厉害的在于，它能提供我们需要的格式。
这其中的玄机可以举个例子说明。比如，在上面的例子中，预留的文字框就只有这么大，如果总结一千字，就爆了。
因此，AI 会根据模板去总结合适的字数，如果某处需要用表格，它就会总结成表格的形式。
而这些，都是基于它强大的指令跟随能力。
冒泡鸭
另一个产品是「冒泡鸭」。
顾名思义，这个产品，主打的就是一个好玩。
在这个开放世界里，有无数未知的剧情、人物、故事和冒险，让我们尽情探索。
传送门：https://maopaoya.com/chat
开放的剧情互动和角色中，有着无限惊喜。
初进主页， 人生重开模拟器 Agent，就引起了小编的注意。
如果自己是一位出生于 1980 年、拥有惊人智力和商业头脑的男性，会得到怎样的人生？
这个 Agent，在虚拟之间让我经历了大起大落的人生体验：在 90 年代末创办互联网公司、扩大业务范围、放弃感情选择专注事业……
不过，在 90 岁的时候，我竟然后悔了。
而「深度学习助手」这个 Agent，也引起了小编的好奇。
小编随意提问了两个问题，这位炼丹专家都回答对了。
「CS 顶会助手」，能帮我们润色论文，提出修改意见。
「互联网黑话翻译机」，能帮我们把这段黑话秒变人话。
而这位时常崩溃的 bug 制造机的「程序员庞步统」，也颇为引人注目。
小编试着问了个问题，他圆满解决。
而且没想到，他还是个话痨+表情包爱好者。
这个惨样儿，让小编不忍心再测试他改 bug 的水平了，感兴趣的读者可以自己去试试。
从以上用例也可以看出，千亿参数模型 Step-1 和 Step-1V 基础实力，是有多么强大。
果然，小编发现，它们在测评分数中，的确也是表现亮眼。
Step-1：千亿参数语言大模型
据悉，Step-1 仅用了 2 个月的时间，一次性完成训练。
在逻辑推理、中文知识、英文知识、数学、代码方面的性能，Step-1 全面超越 GPT-3.5。
据介绍，Step-1 在模型架构、算法与系统上进行了创新，拥有优秀的长文理解和生成能力、多轮指令跟随能力以及现场学习能力。
同时，它还能够实现单卡低比特，超长文本的高效推理。
Step-1V：千亿参数多模态大模型
Step-1V 拥有出色的图像理解、多轮指令跟随、数学、逻辑推理、文本创作等能力。
在中国权威的大型模型评估平台「司南」（OpenCompass）多模态模型评测榜单中，Step-1V 位列第一，性能比肩 GPT-4V。
Step-1V 可以精准描述和理解图像中的文字、数据、图表等信息，并根据图像信息实现内容创作、逻辑推理、数据分析等多项任务。
然而，千亿参数模型，只是阶跃星辰在攀登 AGI 路上迈出的第一步。
下一步，当然就是沿着 Scaling Law 做到极致。
破关「铁人四项」超级工程
上文已经提到，阶跃星辰是 Scaling Law 的坚定信仰者。
Scaling Law 这一概念，是由 OpenAI 团队在 2020 年首次提出。
论文地址：https://arxiv.org/pdf/2001.08361.pdf
通过 Scaling Law 可以预测出，在参数量、数据量以及训练计算量这三个因素变动时，大模型性能损失值（loss）的变化。
由此，OpenAI 有了在数据以及参数规模上 Scaling 的信心。
同年 5 月，爆火全球的 1750 亿参数大模型 GPT-3 诞生。23 年横空出世的 GPT-4 曾被爆料有 1.8 万亿参数。
而要实现接近人类水平的大模型，最少拥有 200 万亿的参数。显然，当前大模型的参数量，还远远不够。
同样，继 Step-1 成功之后，阶跃星辰团队立即开展了下一代万亿参数语言大模型 Step-2 的训练。
从千亿到万亿，参数量直接增长了一个数量级。
看上去，参数量只是扩大了 10 倍，但挑战却是几十倍地增长。
不论是对算力、系统，还是对算法、数据，都提出了非常高的要求，业内少有公司能做到。
「铁人四项」超级工程，阶跃星辰是层层破关。
算力
业界传闻，训万亿参数的 GPT-4，用了 2.5 万张 A100。
算力支撑，就是训练万亿模型要跨越的第一个障碍。
成立伊始，阶跃星辰就意识到算力是重大的战略资源。
通过自建机房+云上租用算力，目前，公司已经拥有了训练万亿参数模型需要的算力。
系统
因为算力的稀缺和宝贵，训大模型必须要把系统设计好，提高算力的利用率。
提到系统，就必须做到高效且稳定。
模型训练的时候，衡量 GPU 使用效率需要看有效算力输出（MFU）指标，这个数字比例越高，代表着系统搭建的越好。
稳定性，就需要系统能够随时检测出哪一张卡出现问题，然后把任务进行隔离迁移，进而不影响整个训练过程。
稳定高效的系统有多重要？真正踩过坑的人，才会知道。
前段时间，前谷歌大脑科学家 Yi Tay 分享了自己创业一年的经历：
在整个训大模型的过程中，最艰难的是从头搭建系统，而且从算力提供商、硬件质量等多个方面分析了，芯片就是 LLM 时代的硬件彩票。
就连 AI 大牛 Karpathy 本人，也深表同感。
而在这方面，阶跃星辰团队硬是凭着先进的系统经验，积累了单集群万卡以上的系统建设与管理实践。
因此产生的结果，也是惊人的——在训练千亿模型时，MFU（有效算力输出）直接达到了 57%！
数据
还有一个重要的因素，无疑就是数据了。
国内团队在训练大模型时普遍面临的拦路虎，就是中文高质量数据极度匮乏。
比如，常用的 Common Crawl 数据集中，真正能够给大模型训练的有效数据只有 0.5%。
而阶跃星辰团队则有了一个令人惊喜的发现：其实，大模型对语言并不敏感，一个知识点不管用中文还是英文，它都能学会。
于是，阶跃星辰团队选择用全球语料弥补中文语料的缺失。
在非公开的行业数据层面，阶跃星辰则与国内优秀的数据资源实现深度合作。
算法
最后的难关，就是算法了。
模型到了万亿参数，训练都是用混合专家的稀疏架构。MoE 怎么训？目前业内鲜有公开资料，全靠团队去摸索。
在 Step-2 的过程中，阶跃星辰团队突破了 5D 并行、极致显存管理、完全自动化运维等关键技术，让训练效率和稳定性处于业界领先水平。
最终，Step-2 万亿参数大模型，如期交卷了！
Step-2 采用了「MoE 稀疏架构」，每个 token 都能激活 2000 亿以上的参数。
目前，Step-2 发布的是预览版，提供 API 接口给部分合作伙伴试用。等后续小编拿到体验机会，再向大家展示。
AGI 的秘密，被他们发现了
去年到现在， OpenAI 打法看似纷繁复杂，发布 GPT 系列语言模型、文生图模型 DALL-E、文生视频模型 Sora，投资了具身智能公司 Figure，放出Q*计划……
但在阶跃星辰看来，其实它一直是在沿着一条主线、两条支线推进其 AGI 计划。
阶跃星辰已经发现，通向 AGI 会经历三个阶段：
- 早期阶段是语言、视觉、声音各模态独立发展；
- 如今多种模态走向融合，但融合的并不彻底，理解和生成的任务还是分开的，造成模型的理解能力强但生成能力弱，或者反之。
- 下一步一定是将生成和理解放在一个模型里。
多模态理解和生成统一后，就可以把模型和「具身智能」结合起来，让它去探索这个世界，与世界进行交互。
在世界模型的基础上，再加上复杂任务的规划、抽象概念归纳的能力，以及超级对齐能力，就有可能实现 AGI。
阶跃星辰认为，多模理解和生成的统一是通向 AGI 的必经之路
从 Step-1 千亿参数语言大模型，Step-1V 千亿参数多模态大模型，到 Step-2 万亿参数 MoE 语言大模型预览版，阶跃星辰正按照既定路线，一步一步推进大模型研发。
微软系创业摘星
虽然成立于 2023 年 4 月，但这家公司却在不到一年时间里，发布了一系列模型。
查看一下团队背景，才觉得理所当然。
阶跃星辰聚集了多位微软系顶尖人才，可谓星光熠熠。
创始人和 CEO，是前微软全球副总裁、微软亚洲互联网工程院首席科学家姜大昕博士。
作为自然语言处理领域的全球知名专家，他在机器学习、数据挖掘、自然语言处理和生物信息学等领域，有着丰富的研究及工程经验。
核心创始团队包括系统负责人朱亦博博士，和数据负责人焦斌星博士。
朱亦博博士拥有多次单集群万卡以上的系统建设与管理实践经验。
焦斌星博士此前担任微软必应引擎核心搜索团队负责人，负责利用数据挖掘和 NLP 算法，优化索引和搜索质量。
如今，大模型的竞速赛仍然硝烟四起，谁能聚集最顶尖的人才和丰厚的战略资源，就将成为焦点。
在这样的背景下，不打无准备之仗的阶跃星辰选择从幕后走向台前，释放出的正是这样一种信号——
AGI 或许并不遥远，智能阶跃，会十倍每一个人的可能。
参考资料：
