9月13日,全球最大商学院之一宾夕法尼亚大学-沃顿商学院,在官网公布了一项研究,ChatGPT(GPT-4)在创意想法测试中,其能力超过了精英MBA学生。该测试是让ChatGPT和MBA学生,为大学生市场设计出零售价为50美元或以下,200个产品创意。衡量创意的标准是,看谁的创意能让商品卖的更多。
ChatGPT在15分钟内自动生成了200个产品创意;MBA学生15分钟只想出了5个创意。结果显示,ChatGPT的产品平均购买率为46.8%,而学生的购买率只有40.4%落后于AI机器人。
沃顿商学院教授兼创新研究管理所联席主席-ChristianTerwiesc表示,我一直以为创意是人类最擅长领域之一,但测试结果让人大吃一惊。显而易见,每个人都应该尝试通过ChatGPT产生更好的创意想法。
主要研究发现
ChatGPT等生成式AI,可以帮助人类突破创意瓶颈,吸取多元化灵感实现宽泛的创意思维。
相比人工,ChatGPT可以提供更便宜、高效的工作执行力。
ChatGPT在本次测试中,生成创意想法的质量、效率,全面领先那些高智商、训练有素的MBA学生。也就是说,生成式AI不仅能应用在“死记硬背”的业务上,同样可以胜任创意方面工作。
可以尝试ChatGPT等生成式AI,作为创意助手应用在各种业务场景中,以提升工作和创意效率。
测试研究简单介绍
沃顿商学院有超过20年的产品设计和创新课程教学经验,已举办了10多次类似的产品创意挑战赛。本次测试,是从2021年课堂上选取的200个题目。
这些题目包括一个标题和一段描述性文字,整体创建一个针对大学生市场,涵盖多种日常物品例如,鞋子、本、笔、衣服等,零售价是50美元或低于这个价格(设置价格上限是为了增加测试题目的复杂性)。
一名测试人员将200个测试题目输入到ChatGPT中,15分钟就生成了200个创意想法(100个自然生成,100个有示例提示)。而一名MBA学生15分钟只想出了5个想法,如果是团队执行效率可能会更差。因为,会产生意见分歧,可能会出现激烈讨论的场景消耗更多时间。
虽然ChatGPT的创意效率很高,但也可能掺杂了很多较差的想法。所以,经济价值是衡量创意的最佳选择。
研究人员找到了一些学生组成了评估小组,对ChatGPT和MBA学生想出的400个创意想法进行了综合评估。每位受访者平均评估了40个想法,平均每个想法被评估了20次,来体现他们对商品的购买意愿。
测试结果
评估者被要求使用标准的“五框”选项,来表达购买意愿:肯定不会购买,可能不会购买,可能会也可能不会购买,可能会购买,肯定会购买。
这五种回应的加权,分别为0,0.25,0.50,0.75,和1.00,以此来开发一个购买概率的衡量标准。这种加权方法由Jameson和Bass教授在1989年提出,是一套成熟的评估体系。
测试结果显示,以购买意愿为度量标准,ChatGPT生成的想法的平均质量,高于人类生成的想法的平均质量。人类生成的想法的平均购买概率是40.4%,原始ChatGPT的平均购买概率是46.8%,而提供有示例提示的ChatGPT的平均购买概率是49.3%。
此外,ChatGPT在测试样本中生成了评价最高的创意想法,其购买概率比最好的人类想法高出11%。
总体来说,由ChatGPT和人类生成的400个想法中。前40个想法(前10%)中,有35个(占87.5%)是由ChatGPT生成的。换句话说,在一对一的比赛中,大部分的优胜者全部来自ChatGPT。
关于沃顿商学院
沃顿商学院(TheWhartonSchool)创建于1881年,隶属于宾夕法尼亚大学是世界上最古老、最大的商学院之一,也是美国最有影响力的商学院之一。
沃顿商学院以其在金融、经济学、实业管理、创新和全球商业战略等领域的卓越教育和研究而闻名。沃顿商学院的校友遍布全球各行各业,其中包括多位诺贝尔奖得主、成功的商业领袖等。
【查看完整讨论话题】 | 【用户登录】 | 【用户注册】