苹果研究员亲测6款大模型,揭开4大不为人知的真相!

   发布时间:2024-10-14 14:25 作者:任飞扬

近期,苹果公司在生成式AI领域的动向引起了业界关注。据报道,苹果研究员发布了一篇质疑大语言模型数学推理能力的论文,引发了一场关于AI技术实力的讨论。为了验证这些质疑,一系列大语言模型接受了严格的测试。

在测试中,首先面对的是一个关于奇异果数量计算的问题。结果显示,多数大模型能够正确回答,但文心3.5却给出了错误答案,将体型较小的奇异果排除在外。然而,当问题复杂度提升,如涉及公交车发车时间计算时,文心3.5却意外地成为唯一给出正确答案的模型,显示其在某些特定场景下的优势。

随后的运动员参与项目数量的计算问题,更是成为了大模型的“滑铁卢”。除了付费版的OpenAI o1-preview大模型外,其余包括GPT-4o、讯飞星火、豆包、Kimi以及文心3.5等在内的大模型均未能给出正确答案。这一结果揭示了,尽管大模型在某些方面表现出色,但在面对复杂数学问题时仍显力不从心。

从测试结果来看,大语言模型的性能与其参数量密切相关。例如,GPT-4o mini由于参数量较少,在计算推理时频繁出错。而付费版的大模型由于拥有更多的资源和更高的参数量,往往能提供更准确的答案。

测试还显示出大语言模型在理解人类语言和逻辑方面的局限性。尽管它们在处理基础数学问题时表现良好,但面对具有歧义或复杂性的问题时,它们的推理能力就显得捉襟见肘。这再次证明,尽管AI技术取得了显著进步,但要达到人类智能的水平,还有很长的路要走。

苹果研究员的质疑,一方面揭示了大语言模型在数学推理方面的不足,另一方面也反映了苹果在生成式AI领域的焦虑。与其质疑他人,苹果或许更应该专注于提升自身的AI技术实力,加速布局生成式AI,以免在未来的市场竞争中再次落败。

 
 
更多>同类内容
全站最新
热门内容
本栏最新