人工智能

MIT华人女科学家融资2亿美元 1万块H100训超千亿参数AI智能体

字号+作者: 来源:新智元 2023-09-09 14:56 评论(创建话题) 收藏成功收藏本文

又一家AI独角兽在硅谷诞生!这家华人女科学家创办的公司名为Imbue,近日获得了2亿美元融资,估值已达10亿美元。而Imbue也是少数创始人为女性的独角兽之一。'...

又一家AI独角兽在硅谷诞生!这家华人女科学家创办的公司名为Imbue,近日获得了2亿美元融资,估值已达10亿美元。而Imbue也是少数创始人为女性的独角兽之一。CKR品论天涯网

CKR品论天涯网


CKR品论天涯网

不仅如此,Imbue还手握1万张英伟达H100显卡,硬通货已经不愁了。CKR品论天涯网

是的,你没猜错,这家AI独角兽,英伟达又投了!CKR品论天涯网

英伟达高级科学家JimFan也开心地发推祝贺:去年我们还一起在NeurIPS上一起谈论Avalon和MineDojo呢,现在Avalon背后的公司,已经成为独角兽了!CKR品论天涯网


CKR品论天涯网

这个故事告诉我们,不要忽视你在顶会上遇到的每个其貌不扬的研究者,说不准在哪天,他们的公司就会获得顶级融资,诞生下一个SamAltman。CKR品论天涯网

没有一份钱创收,但已筹集数亿,这样的奇迹,只有在硅谷才会发生。CKR品论天涯网

00:24CKR品论天涯网

英伟达看好CKR品论天涯网

目前,Imbue正在训练的“超大规模”大模型,参数已经超过1000亿,并且,Imbue目前手握1万张英伟达H100GPU。CKR品论天涯网

公司还未发布任何产品,仅在去年秋天发布了Avalon开源训练环境。CKR品论天涯网


CKR品论天涯网

Imbue联合创始人KanjunQiu和JoshAlbrechtCKR品论天涯网

不过,Imbue的此轮融资金额,是先前已筹集金额的10倍。CKR品论天涯网

由亿万富豪JedMcCaleb成立的非营利组织AsteraInstitute领投,参投方包括英伟达、通用汽车旗下自动驾驶公司Cruise首席执行官KyleVogt、Notion联合创始人SimonLast等。CKR品论天涯网

现在,Imbue的融资总额已经达到2.2亿美元,已跻身为最近几月融资状况最好的初创公司之一。少数在它前面的,就是Cohere(4.35亿美元),Adept(4.15亿美元),以及AI21Labs(2.83亿美元)。CKR品论天涯网

参投方中最引人注目的名字,无疑就是英伟达。CKR品论天涯网

就在今年,英伟达已经连投7家AI独角兽,包括Adept、Coreweave、Cohere、Inflection、Runway、AI21Labs,以及Imbue。CKR品论天涯网

瞄准AI智能体CKR品论天涯网

一家还处于早期阶段的初创公司,只有20名员工,还未发布任何面向公众的产品,却赢得诸多硅谷知名AI投资人的青睐,这是为什么?CKR品论天涯网

原因就是,Imbue选择的路线并非AI基础模型,而是——AI智能体!CKR品论天涯网

大模型导致的生成式AI爆火之后,市场被彻底盘活,信心满满的投资人也在急切地四处寻找下一个热点。CKR品论天涯网

AI智能体,就是被诸多AI大佬和科技巨头看好的方向。CKR品论天涯网

今年加入OpenAI的大牛、前特斯拉AI总监Karpathy曾表示:AI智能体,代表了AI的一种未来!CKR品论天涯网


CKR品论天涯网

Karpathy曾将AutoGPT称为下一个前沿CKR品论天涯网

AI智能体是一种自动的智能体,以最简单的形式中在循环中运行,每次迭代时,它们都会生成自我导向的指令和操作。因此,它们不依赖人类来指导对话,并且是高度可扩展的。CKR品论天涯网

作为模拟人类抉择来完成复杂任务的计算系统,AI智能体无疑是比大语言模型更具想象力的路线。CKR品论天涯网

其实,早在今年三、四月,就有过一轮AI智能体的大爆发,仿佛巧合一样,在短短两周内,斯坦福西部世界小镇、BabyAGI、AutoGPT、GPT-Engineer等多个智能体,就如雨后春笋一般冒出来。CKR品论天涯网


CKR品论天涯网

甚至有人发出号召:别卷大语言模型了,咱们是卷不过OpenAI的,但要说起AI智能体,他们并不比我们有经验多少。说不定一不小心,自己就能卷成AI智能体赛道上的“OpenAI”!CKR品论天涯网

这不,Imbue这就来了。CKR品论天涯网

投资人:慢慢探索,不着急落地CKR品论天涯网

不过,创始人表示,Imbue虽然在开发一些产品,但并不打算将大部分产品投入生产。CKR品论天涯网

Imbue希望,这些模型和工具是一种方式,帮我们在未来通向AGI,让人们能有一个创建自己定制模型的平台。CKR品论天涯网

对于市场,Imbue的态度并不急切,这一点,从融资上也可以看出——CKR品论天涯网

主要投资方,是致力于科技项目的非营利组织AsteraInstitute,而非趁热一拥而入AI项目的风投公司。CKR品论天涯网

两位创始人表示,在融资过程中,他们有意避免了与风投公司会面。CKR品论天涯网

这是因为,在他们看来,Imbue的工作离真正商业化落地或许还需数年,风投公司不会有这种耐心,而非营利组织会对他们的商业化时间表更加宽容。CKR品论天涯网

最大投资人、亿万富豪JedMcCaleb表示,自己在看完Qiu和Albrecht建立AI智能体的PPT后,觉得非常满意,因此大手一挥,拍板决定投资。CKR品论天涯网


CKR品论天涯网

当然,他也明白,这是一场豪赌:为了把研究推进到下一个阶段,把实验室的工作产品化,光GPU的投入,就要烧掉不少钱。CKR品论天涯网

Qiu和Albrecht也非常有信心,在十年后,PPT上的成果,很可能就变为人们日常的应用,而且,很可能用不了十年。CKR品论天涯网

训练推理基础模型CKR品论天涯网

在Imbue的官方博客里,他们是这么解释的——CKR品论天涯网

目前,AI系统在代替用户完成简单任务方面,能力非常有限。这其中的一个重要阻碍因素就是“推理”。CKR品论天涯网

可以说,强大的推理能力是AI智能体实现有效行动的必要条件。CKR品论天涯网

对此,我们可以进一步细分成:处理不确定性的能力、知道何时改变方法的能力、提出问题和收集新信息的能力、推演情景和做出决策的能力、提出和放弃假设的能力,以及处理现实世界复杂而难以预测的本质的能力。CKR品论天涯网

要想为“会推理的AI智能体”量身定制基础模型,就意味着不仅要利用LLM所提供的强大功能,同时还要以详细、实用的方式了解这些模型是如何训练的,以及它们在哪些方面会出错。CKR品论天涯网

也就是说,一方面需要创建专门用于强化模型推理的预训练数据,另一方面还要开发出能够让推理结果更加可靠的技术。CKR品论天涯网

为此,团队采用了全栈式的方法:训练基础模型、制作实验智能体和界面原型、构建稳健的工具和基础设施,以及了解模型如何学习的理论基础。CKR品论天涯网

-模型CKR品论天涯网

训练并优化超大规模的模型(>1000亿参数),进而在推理基准测试中获得出色的表现。CKR品论天涯网

而最新一轮的融资让Imbue获得了其他公司难以企及的能力:搭载着约1万张H100的计算集群,可以实现从训练数据到架构和推理机制等所有内容的快速迭代。CKR品论天涯网

-智能体CKR品论天涯网

在模型之上,Imbue设计了内部使用的智能体原型(主要用于编码)。同时,也在尝试各种各样其他的智能体,进而获得强大、可靠的通用智能体。CKR品论天涯网

-界面CKR品论天涯网

如今的AI聊天界面基本都是拟物化的。而团队认为,有很多关于智能体稳健性、信任和协作的核心问题,是可以通过重新发明交互界面重来解决的。CKR品论天涯网

此外,可以理解世界的AI智能体,也提供了一个重新思考人类与计算机交互方式的机会,从而创造出更能支持并赋予我们能力的系统。CKR品论天涯网

-工具CKR品论天涯网

优秀的工具能加速迭代的循环。CKR品论天涯网

为此,团队在为自己构建工具方面投入了大量精力:无论是用于修复类型检查和线程错误的简单智能体原型,还是智能体和模型之上的调试和可视化界面,抑或是更加复杂的系统(比如CARBS可以自动完成大部分超参数调整和网络架构搜索)。CKR品论天涯网

-理论CKR品论天涯网

要想为智能体创建一个既能提供稳健基础,又能保持长期安全的模型,就必须发展深度学习理论。CKR品论天涯网

为此,团队将研究重点集中在特征学习,以及理解大语言模型学习过程背后的核心机制上。CKR品论天涯网

目前,团队已经发表了不少关于自监督学习的理论基础,以及神经网络等系统学习的基本规律的文章。CKR品论天涯网


CKR品论天涯网


CKR品论天涯网

会推理和码代码的AI智能体CKR品论天涯网

不过,在开发出人人可用的AI智能体之前,团队首先针对自己的使用场景进行了深入的研究。CKR品论天涯网

并以此了解如何才能不断地改进专门为智能体设计的推理模型,以及如何才能构建出让智能体更加可靠的工具。CKR品论天涯网

于是,在首批智能体原型中,有很大一部分都是围绕着团队的核心工作——代码。CKR品论天涯网

具体原因如下:CKR品论天涯网

-使用是发明的必要条件CKR品论天涯网

要想让AI智能体与人类一起稳定地工作,最佳途径就是制造能够用于日常工作的AI智能体,并在此过程中解决各种问题。CKR品论天涯网

-代码可以提高推理能力CKR品论天涯网

首先,在代码上进行训练有助于模型更好地学会推理。其次,由于编程问题非常客观(代码要么通过测试,要么不通过),因此可以为更广泛的推理能力测试提供了一个相对理想的平台,从而让团队能够了解到他们对底层系统的改进是否有效。CKR品论天涯网

-代码对于行动非常重要CKR品论天涯网

生成代码是智能体与计算机上进行交互的有效方式。更强的编码能力可以直接转化为更有可能成功完成复杂任务的智能体。例如,会编写SQL查询从表格中提取信息的智能体,要比直接尝试汇集相同信息的智能体更有可能满足用户的需求。CKR品论天涯网

-具有重要的战略意义CKR品论天涯网

随着不断的改进,智能体可以接管更多的工作,从而加快研究和工程的速度。这样,不仅有助于软件系统的构建,而且还能帮助建立起一个组织的原型,看看真正可用的AI智能体会是什么样子。CKR品论天涯网

目前,团队并没有把这些“代码智能体”投入生产的打算。不过,他们预计会在一段时间之后,公开这些工具和模型,让任何人都能创建出自己的AI智能体。CKR品论天涯网

真正的个人计算机,让我们自由、有尊严、有能力做自己喜欢的事情CKR品论天涯网

真正有用的AI智能体,实际上就是一个能理解目标、会主动沟通并在背后为我们工作的计算机——从而消除想法与执行之间的障碍。CKR品论天涯网

而我们也不必再盯着屏幕,而是可以自由地探索自己的好奇心,发现宇宙的规律,创造艺术杰作,更深入地了解彼此,或者只是花时间享受生活。CKR品论天涯网

团队成员CKR品论天涯网

虽然只有20人左右,但Imbue的团队成员可谓卧虎藏龙。CKR品论天涯网

联合创始人兼首席执行官KanjunQiu在MIT获得了学士和硕士学位,其他成员除了AI外,甚至还具有神经科学、等离子体物理学等背景。CKR品论天涯网


CKR品论天涯网


CKR品论天涯网

创始人KanjunQiu和JoshAlbrecht认为,团队所具有的背景知识广度,是他们的一项优势。CKR品论天涯网

虽然根据华尔街见闻报道,硅谷有几位投资者怀疑这支小团队是否有能力运营一家真正的AI研究实验室。CKR品论天涯网


CKR品论天涯网

部分投资者和顾问但在了解Imbue创始人的人看来,风投偏向于支持几个有著名背景的创始人,因此这种担忧并不重要。CKR品论天涯网

本网除标明“PLTYW原创”的文章外,其它文章均为转载或者爬虫(PBot)抓取; 本文只代表作者个人观点,不代表本站观点,仅供大家学习参考。本网站属非谋利性质,旨在传播马克思主义和共产主义历史文献和参考资料。凡刊登的著作文献侵犯了作者、译者或版权持有人权益的,可来信联系本站删除。 本站邮箱[email protected]