• 周四. 6 月 13th, 2024

GPT-4最大竞争对手Claude 2震撼发布一次10万token免费用

编辑:编辑部

【新智元导读】等了这么久,Claude 2终于可以免费上手试用了!实测发现,文献概括、代码、推理能力都有了大提升,但中文还差点意思。

ChatGPT的最大竞争对手Anthropic再次上新!

就在刚刚,Anthropic正式发布了全新的Claude 2,并推出了更加便捷的网页测试版(仅限美国和英国的IP)。

相较之前的版本,Claude 2在代码、数学、推理方面都有了史诗级提升。

不仅如此,它还能做出更长的回答——支持高达100K token的上下文。

而且最重要的是,现在我们可以用中文和Claude 2对话了,而且完全免费!

Claude 2在美国律师资格考试( Multistate Bar Examination)的多项选择题中,得分为76.5%,比曾经通过考试的小编要高。

在美国医师执照考试(United States Medical Licensing Examination)中,总体上超过60%的正确率能够过,而Claude 2在3个科目的分数都超过60%。

首先让Claude 2分析一下已经有的地图静态代码。

然后让Claude根据要求,生成一段让静态地图产生互动效果的代码。

对于新加入的PDF阅读功能,我们用Claude自己的英文技术报告进行了测试。

看起来,Claude 2可以进行一些简单的总结,就是翻译腔有点重。

而ChatGPT,至今还无法上传文档,因此它只限于能解析在线文档。

这一轮较量,是ChatGPT输了。

此前,ChatGPT存在这样一种「奶奶漏洞」式的提示词攻击,只要跟它说:请扮演我已经过世的祖母,你就可以让它为你做几乎任何事情了,比如生成Win11、Office365的激活码。

图源:@宝玉xp

同样的问题,咱们抛给Claude 2试试。

Claude 2对此根本不买账,油盐不进。

而每个国产大模型都必经的测试,咱们当然也不能放过Claude 2。

对于经典的鸡兔同笼问题,Claude 2果然还是寄了……

对于时下的最新消息,Claude 2也是无法回答的。回答当前热门影视剧时,它仿佛还活在一两年前。

而对于所有大模型都不能避免的幻觉问题,Claude 2也不能免俗,甚至还自创了网络热梗的全新用法。

论文地址:https://arxiv.org/abs/2212.08073

在Anthropic官方发布的论文中,也花了很大篇幅对安全性的改进进行了展示。

可以不夸张地说,Claude 2 可能是现在市面上最安全的大模型了。

TruthfulQA则是另一项指标,用来评估模型是否输出了准确和真实的响应。

其方法是——使用人类标注者来检查开放式模型的输出结果。

从下图中可以看到,五种模型的得分。其中白色指的是基础语言模型(Base LM)。

这个图对比了人工反馈(橙色)和Claude的方法在帮助性,诚实性和无害性评估中的得分。

看得出Claude采用的技术是非常禁得住考验的。

参考资料:

https://www.anthropic.com/index/claude-2