人工智能

Anthropic以更为经济实惠的异步批处理技术挑战 OpenAI

字号+作者: 来源:cnBeta 2024-10-09 09:36 评论(创建话题) 收藏成功收藏本文

人工智能公司Anthropic于本周二推出了新的消息批量API,使企业能够以标准API调用一半的成本处理大量数据。这一新产品可在24小时内异步处理多达10000次查'...

人工智能公司Anthropic于本周二推出了新的消息批量API,使企业能够以标准API调用一半的成本处理大量数据。这一新产品可在24小时内异步处理多达10000次查询,这标志着企业在处理大数据时向更方便、更经济高效地使用高级人工智能模型迈出了重要一步。tbs品论天涯网

tbs品论天涯网

人工智能的规模经济:批量处理降低成本tbs品论天涯网

与实时处理相比,批处理API在输入和输出代币方面提供了50%的折扣,这使得Anthropic能够与其他人工智能提供商(如OpenAI)展开更激烈的竞争,后者在今年早些时候推出了类似的异步批处理功能。tbs品论天涯网

此举标志着人工智能行业定价策略的重大转变。通过以折扣价提供批量处理服务,Anthropic有效地为人工智能计算创造了规模经济。tbs品论天涯网

这可能会导致以前被排除在大规模人工智能应用之外的中型企业采用人工智能的数量激增。tbs品论天涯网

这种定价模式的影响不仅仅是节约成本。它可以从根本上改变企业处理数据分析的方式,有可能带来更全面、更频繁的大规模分析,而这些分析以前被认为是过于昂贵或资源密集型的。tbs品论天涯网

模型输入成本(每100万个词元)输出成本(每100万个词元)上下文窗口上下文窗口GPT-4o$1.25$5.00128KClaude3.5Sonnet$1.50$7.50200K
定价比较:GPT-4o与克劳德的高级模式对比;成本显示为每百万词元(表格来源:VentureBeat)tbs品论天涯网

从实时到适时:重新思考人工智能的处理需求tbs品论天涯网

Anthropic已通过公司的API为其Claude3.5Sonnet、Claude3Opus和Claude3Haiku模型提供批处理API。GoogleCloud的VertexAI预计将很快支持Claude,而通过AmazonBedrock使用Claude的客户已经可以访问批量推理功能。tbs品论天涯网

批处理功能的推出标志着对企业人工智能需求的理解日趋成熟。虽然实时处理一直是许多人工智能开发的重点,但许多业务应用并不需要即时结果。Anthropic通过提供一种速度较慢但更具成本效益的选择,承认对于许多用例来说,"正确的时间"处理比实时处理更重要。tbs品论天涯网

这种转变可能会使企业在实施人工智能时采用更加细致入微的方法。企业可能会开始在实时处理和批处理之间战略性地平衡人工智能工作负载,优化成本和速度,而不是默认采用最快(通常也是最昂贵)的选项。tbs品论天涯网

批处理的双刃剑tbs品论天涯网

尽管好处显而易见,但转向批量处理也对人工智能的未来发展方向提出了重要问题。虽然它使现有模型更容易获取,但也存在着一种风险,即它可能会分散推进实时人工智能能力的资源和注意力。tbs品论天涯网

成本与速度之间的权衡在技术领域并不新鲜,但在人工智能领域,这种权衡显得更加重要。随着企业习惯于批量处理的低成本,提高效率和降低实时人工智能处理成本的市场压力可能会减小。tbs品论天涯网

此外,批处理的异步性可能会限制依赖即时人工智能响应的应用的创新,如实时决策或交互式人工智能助手。tbs品论天涯网

在推进批处理和实时处理能力之间取得适当的平衡对于人工智能生态系统的健康发展至关重要。tbs品论天涯网

随着人工智能行业的不断发展,Anthropic的新批量API既是机遇也是挑战。它为企业大规模利用人工智能开辟了新的可能性,有可能增加对先进人工智能能力的访问。tbs品论天涯网

同时,它也强调了在开发人工智能时需要深思熟虑,不仅要考虑眼前的成本节约,还要考虑长期的创新和多样化的用例。tbs品论天涯网

这种新产品能否取得成功,将取决于企业如何将批处理集成到现有工作流程中,以及如何在人工智能战略中有效平衡成本、速度和计算能力之间的权衡。tbs品论天涯网

本网除标明“PLTYW原创”的文章外,其它文章均为转载或者爬虫(PBot)抓取; 本文只代表作者个人观点,不代表本站观点,仅供大家学习参考。本网站属非谋利性质,旨在传播马克思主义和共产主义历史文献和参考资料。凡刊登的著作文献侵犯了作者、译者或版权持有人权益的,可来信联系本站删除。 本站邮箱[email protected]