您的当前位置:首页 > 娱乐 > 谷歌杀回来了!新版Gemini跑分超o1登顶第一 正文
时间:2024-12-26 08:39:10 来源:网络整理 编辑:娱乐
鲨疯了!谷歌新版Gemini超越o1,强势登顶竞技场总榜第一!在经6000+网友匿名投票后,不仅数学成绩和学霸o1相当,还拿下其它5个单项第一。新模型名为GeminiExp 1114),成绩一公布,连
鲨疯了!谷歌谷歌新版Gemini超越o1,新版强势登顶竞技场总榜第一!跑分
在经6000+网友匿名投票后,登顶第不仅数学成绩和学霸o1相当,谷歌还拿下其它5个单项第一。新版
新模型名为Gemini(Exp 1114),跑分成绩一公布,登顶第连CEO皮猜也亲自飞奔来站台。谷歌
而竞技场官方也在第一时间公布喜讯,新版并祝贺谷歌:
恭喜达到这一非凡里程碑!跑分
这下尴尬了!登顶第说好的谷歌谷歌正在遭遇瓶颈呢?没想到人家反手就是一个王炸。
怕了怕了,新版或许,跑分只有OpenAI立即发布满血版o1才能与之一战了?
目前新模型可在谷歌AI Studio体验,官方后续也计划提供API。
网友们也纷纷猜测,难道这就是传说中的Gemini 2——
拿下7项第一,数学也和o1不分伯仲
一夜之间,竞技场Imsys排名再被刷新:
从总榜来看,谷歌新模型Gemini(Exp 1114)分数直涨40+,挤下了之前一直霸榜的OpenAI模型(包括o1-preview、GPT-4o)。
而且假如正面1v1遇敌,新Gemini貌似都有一半及以上概率取胜。
整体胜率热图显示,Gemini(Exp 1114)对战4o-latest胜率为50%,对战o1-preview胜率为56%,对战Claude-3.5-Sonnet胜率为62%。
同时,Gemini(Exp 1114)在单项上也很能打,一举拿下6个第一,包括:
-复杂提示(Hard Prompts):模型处理复杂或困难提示的能力;
-数学;
-创意写作;
-指令遵循:评估模型遵循给定指令的能力;
-长查询处理(Longer Query):衡量模型处理较长查询的能力;
-多轮对话(Multi-Turn):模型在多轮对话中保持上下文连贯性的能力;
要说最大看点,还是Gemini(Exp 1114)竟能与o1模型在数学能力上不分伯仲。
要知道,据OpenAI官方说法,o1不需要专门训练,就能直接拿下数学奥赛金牌,甚至可以在博士级别的科学问答环节上超越人类专家。
不过比较遗憾的是,对于写代码这项重磅功能,Gemini(Exp 1114)虽说相较于谷歌上一版本有所改进,但仍然未能挤进前三。(o1-mini/preview仍处于领先地位)
另外,在风格控制下,Gemini-Exp-1114也和前三无缘,甚至不及自家的Gemini-1.5-pro。(排在o1、4o-latest和Sonnet之后)
解释一下,风格控制(Style Control)是竞技场今年新推出的功能,确保分数反映模型真正解决问题的能力,而不是用漂亮的格式、增加回答长度。
不过也有意外之喜,Gemini-Exp-1114这一次在视觉能力上拿下第一,超越了GPT-4o。
整体看下来,对于谷歌这次的反超,大家也感到十分意外。
目前,Gemini-Exp-1114已经可以在谷歌AI Studio体验,且官方计划后续提供API。
这不,有很多网友已经上手测试了,但好像争议蛮多——
网友反应不一
先总结一下,通过网友测试,目前可知Gemini-Exp-1114的以下信息:
拥有32k上下文窗口
模型回答知识截止日期为2023年4月,但回答结果会不一样
加上了思维链
其中,32k上下文被大家狠狠吐槽。有人直言相比200万上下文窗口的Gemini 1.5,搁这儿不升反降呢!
兴许是感受到大家的怨怼了,谷歌AI Studio负责人赶紧出来打圆场:马上更!马上更!
安抚好众人情绪后,大家终于乐颠颠晒起了使用反馈。
透过其中一位小哥的观察,Gemini-Exp-1114这次也是用上了思维链,在回答时也能像人类一样一步步思考了。
而且,在数学能力上确实不错?
Gemini-Exp-1114正确回答了2024美国数学奥林匹克预选赛II 1-8题。
甚至相对弱项的编码,也有人第一次尝试就成功了。
然而,翻车总是难免的。
有人问了基准测试中的物理问题,结果Gemini-Exp-1114虽然有思维链加持,却仍然回答错误。
甚至老生常谈的数字比大小和数草莓中的“r”,竟还是失败。
更搞笑的是,有人问Gemini-Exp-1114“你叫什么?”
结果回答了claude(doge)。
实际上,大家一直在猜测Gemini-Exp-1114会不会是传说中谷歌计划更新的Gemini 2。
但根据实测,相当一部分网友出来表示否定。
毕竟,它好像连旧版1.5 Pro会的问题也无法解决。
更有人声称,这是谷歌推迟发布更大模型(即Gemini 2)的策略,先弄一个残血版让大家玩玩,这样就别急着催更了。
结合CEO皮猜顺势放烟雾弹的做法,好像又有点道理(doge)!
AI Studio体验地址:https://aistudio.google.com/prompts/new_chat
竞技场完整榜单:https://lmarena.ai/?leaderboard
参考链接:
[1]https://x.com/lmarena_ai/status/1857110672565494098
[2]https://x.com/imxiaohu/status/1857183367365894487
[3]https://x.com/OfficialLoganK/status/1857106089063362768
[4]https://x.com/sundarpichai/status/1857114106928718329
万代新推竹材夏亚专用扎古2钢普拉 精致精细别样气质2024-12-26 08:17
Steam Deck系统更新:SD卡稳定性改进&续航增强2024-12-26 08:01
Shams:锐步与WNBA新星安吉尔2024-12-26 07:45
[流言板]上半场22分!卡梅隆2024-12-26 07:42
国内有钱人真多!11月国内手机销量TOP10:苹果16 Pro系列真抢手2024-12-26 07:35
欧冠改制以来利物浦已有7次帽子戏法,仅次于皇萨仁2024-12-26 07:13
皇马近15个欧冠主场比赛保持不败,战绩12胜3平2024-12-26 07:06
皇马揪出头号罪人:失误+梦游,2次送大礼!伯纳乌一片狂嘘2024-12-26 06:49
一年亏损近15万元!上汽飞凡R7车主卖车:原价37万元 现只卖7.5万2024-12-26 06:22
[流言板]文班亚马全场15中7,三分7中1,得到17分6篮板3助攻1断2盖帽2024-12-26 05:54
容量越大性能越差 内存究竟是否应该插满2024-12-26 08:36
Bungie《马拉松》重启开发者更新 总监分享更多消息2024-12-26 08:23
良品铺子负责人发声:藕粉中未检出木薯成分2024-12-26 08:02
《龙腾世纪:影障守护者》主宰英美PS商城预购榜2024-12-26 08:01
波司登700元羽绒裤充绒量仅3克引争议 客服回应:我们用的绒朵 没有杂质2024-12-26 07:30
小米15发布会创历史!13款重磅新品、2款全新形态2024-12-26 07:07
[流言板]未来可期!萨尔全场11中7,三分4中1,得到17分6板3助攻4帽2024-12-26 06:51
小米15发布会创历史!13款重磅新品、2款全新形态2024-12-26 06:48
保费比油车高63%!揭秘新能源车老被拒保的真实原因:你后悔买了吗2024-12-26 06:45
[流言板]上半场22分!卡梅隆2024-12-26 06:41