香港大学物理系毕业的彭博,在今年 2 月 3 日收到了一封来自 OpenAI 的邀约邮件。吸引这家 AI 巨头的,是他作为独立开发者发布的一个开源模型:RWKV。信中并没有包含具体薪资。不过,此前有消息称 OpenAI 为软件工程师提供的年薪中位数为 92.5 万美元。Open AI 来信当时国内还少有人关注到这个创新的模型设计。彭博回复了邮件:「OpenAI is great, but I like building Open AI :) Let me know if OpenAI plans to build a community project one day.」(OpenAI 很好,但我喜欢建设 Open 的 AI :) 如果 OpenAI 哪天计划做一个社区驱动的项目,欢迎告诉我)。如今,他是元智能 OS 的创始人。这是一个基于 RWKV 模型的创业公司。他更希望建设真正 Open 的 AI,这需要更多商业和资金的支持。这就像 Linux 是免费的,基于 Linux 开源生态,会形成 Redhat 这样的商业公司。为了降低模型的推理成本,RWKV 创新性地将大模型最常用的 Transformer 架构改写成了 RNN,这展现出的实用价值受到了业内的关注。让团队引以为傲,反复强调的是:在开放研究组织 LMSYS 每周更新排行榜中,真实用户测评的模型对抗Elo排名中,RWKV 系的对话模型 Raven-14B 的排在 Alpaca-13B、OpenAssistant-Pythia-12B、ChatGLM-6B 等知名项目前。而 RWKV 和 Raven,从设计,到优化,到大规模训练,全部由彭博一人完成。在执行推理任务时,RWKV 的性能优越。如果 Transfomer 架构的算力成本是 T(序列长度)的平方,RWKV 推理的算力成本只有 T 分之一,并且显存的占用是恒定的。「我们是市面上真正能够在手机的芯片上长期跑的模型。因为其他的模型跑着跑着显存就会爆掉。」元智能的另一位联创罗璇介绍。随Token增加,不同 LLMs 在文本生成上的时间|来源:RWKV 论文独特的性能,让 RWKV 在开源社区中获得了一定的关注,得到了来自 Stability AI 的算力支持。RWKV 也积累起了自己的开发者社群,并成立了 RWKV 基金会。5 月底,来自全世界 27 个研究机构、开源社区、高校的 RWKV 开发者们合著的论文才在 arxiv 上发表,外界得以更详细了解模型设计的细节。大模型的热潮让黑客松复兴。在今年 4 月份深圳一场黑客松上,经历三组初赛后,「第一个国产开源语言模型 RWKV」在进入决赛的 17 个队伍中脱颖而出,获得了第一名。罗璇便是这场黑客松的发起人。他表示,这场开启于 3 月的比赛「可能是中国最早的 AIGC 黑客松」。他是 AI-Transformer 社群的创始人,曾在腾讯担任高级产品经理、猎豹移动担任高级产品总监;2016 年 all in AI,先后在阿里巴巴机器人部门和 AI Lab 担任产品总监,2018 年创业做了 AMR 机器人公司,担任 Syrius 矩星的联合创始人。夺冠之后,RWKV 团队想尝试商业化,需要一个产品和市场经验丰富的人,于是邀请罗璇加入。此后,基于 RWKV 的商业团队组成了 4 人创始团队:RWKV 原作彭博、CTO 刘潇、COO 孔晴、罗璇。这便是「元智能 OS」的起源。罗璇介绍,目前元智能 OS 团队有 7 人,主要精力依旧放在训练更好的基础模型上。目前公司正在进行第一轮融资,也已经接到一些微调行业模型的商单。而元智能 OS 最终的目标是成为大模型时代的 Android。这意味着开发者基于 RWKV 开发应用,形成生态,与模型适配的芯片会进入终端。
RWKV 模型本身会一直保持开源和非盈利,目标是成为大模型时代的 Linux,而元智能 OS 则希望能够成为大模型时代安卓。罗璇表示,安卓是 Linux 在手机垂直领域的版本。对应而言,元智能 OS 就会成为大模型时代某一领域最通用的模型。「大模型时代的安卓」包含了两层含义,「会有一个大的生态,在这个基础上,提供多样的能力给第三方应用;另外一方面,硬件会是 RWKV 的重要生态。」他介绍,目前终端和服务器上的 GPU、CPU 都可以用来做模型推理,而在模型训练方面,Nvidia、AMD、Intel 等芯片都已能够很好支持,国产芯片中不少也移植了 RWKV 的算子。
03
「做 ChatGPT
现在不能做的」:
未来的模型会在端侧运行
元智能 OS 已经接到了帮助一些微调行业垂直领域的商单,客户主要来自金融、律所、智能硬件等行业,以 license 的形式收年费。RWKV 模型吸引它们的主要是两点:全自研,算力成本低。元智能 OS 会结合特定领域的公开数据,在基础模型上微调一个更具备行业知识的垂直模型,再交由客户结合自己的私有业务数据,进行本地化部署。部署环节往往由第三方技术提供方实现,这是由于公司希望私有数据不外泄。本地化部署所面临的是业务上的门槛,而非技术上的门槛,「数据不能出来,不能进模型。」这也是为什么以 API 形式提供 B 端服务商业模型的前景开始受到怀疑。尽管 OpenAI 已经在 3 月分更新了服务条款,明确表示不再使用任何 API 的数据进行训练,依旧难以打消企业们对于数据外泄的担忧。I 元智能 OS 的观点是明确的:API 不是一个好的商业模式。延迟问题难以解决。在智能汽车、智能音箱,以及未来的 XR 眼镜、头显等场景,通过 API 调用云端算力资源的延迟性较高。「现在 Open AI 的 API 调用体验非常差,实际上是不可用的」