测试题目要么开源，要么黑盒不可见 ：很多 LLM 会利用开源的测试题来做模型训练，其实就是还没考试，就先把考试题的答案背下来了，这么测试相当于作弊，最后的 LLM 排名当然不公平。另外，也有一些数据集是黑盒的，对于看客来说，大家连测试数据题目都看不到，你就敢给模型排名了？公信力在哪里？凭什么让人信服？

测试使用了 GPT4 来打分 ：很多 LLM 在测试的时候，测试题目动不动就有上万道，根本没法雇佣人力，去一道道批改模型答对没有，谁去批改上万道题不麻呀？~~~。所以，很普遍的一个做法就是，让 GPT-4 去评价模型的回答质量。实际上，就是用下面这套提示模板来让 GPT-4打分：

接口方便度：⭐⭐⭐⭐⭐

接口稳定性：⭐⭐⭐⭐⭐

接口响应速：⭐⭐⭐⭐⭐

接口并发量：⭐⭐⭐⭐⭐

接口性价比：⭐⭐⭐⭐

模型接口评价：字节跳动的豆包大模型部署在火山引擎上，不得不说，火山引擎的 LLM 接口对接方便，接口稳定性也不错，当我短时间频繁并发调用时，也没有出现卡顿。整体后端服务开发维护，质量是很高的。应该是我对接下来，花时间最少，接口最稳定，花钱也最少的一家模型后台了。

接口方便度：⭐⭐⭐⭐⭐

接口稳定性： ⭐⭐⭐⭐

接口响应速： ⭐⭐⭐⭐

接口并发量： ⭐⭐⭐

接口性价比： ⭐⭐⭐⭐

模型接口评价： 接口非常方便，且接近免费（我也是薅了阿里的羊毛做的测试），模型种类也多，但是后端服务维护质量稍差一点点，说实话，当我频繁并发调用接口的时候，稳定性就不太能跟得上了，这个时候就需要付费了。 （当然，我免费薅的羊毛，这点不足我可以忍）。

百度-文心一言

接口方便度： ⭐⭐⭐⭐

接口稳定性： ⭐⭐⭐⭐⭐

接口响应速： ⭐⭐⭐⭐

接口并发量： ⭐⭐⭐

接口性价比： ⭐⭐ 太贵了

模型接口评价：百度后端开发的接口感觉稍微有些混乱，一个模型对应一个 url 链接，而且名字还不是一一对应（如下图所示），就感觉有点啰嗦、冗余，需要花时间。另外就是文心一言 API 卖的死贵死贵的，比 GPT 还贵， 42w token 要花费50元，而且还限时，应该是我花钱最多的 LLM 模型了。

接口方便度：⭐⭐

接口稳定性： ⭐⭐⭐⭐

接口响应速： ⭐⭐⭐⭐

接口并发量： ⭐⭐⭐⭐

接口性价比： ⭐⭐⭐⭐

模型接口评价： 一如既往的，接口文档混乱，代码像实习生写的，杂乱，这一点就和我之间对接企业微信的接口一样，复杂且耗时间。 其它方面一般般，模型效果稍弱。

接口方便度：⭐⭐⭐⭐⭐

接口稳定性： ⭐⭐⭐⭐⭐

接口响应速： ⭐⭐⭐⭐

接口并发量： ⭐⭐⭐

接口性价比： ⭐⭐⭐⭐

模型接口评价： kimi应该是目前比较有名的 AI 模型了，之前我在好几篇文章中写到过这个模型。 我在对接接口的时候，也很方便，但是就是偶尔会出现超时响应 Timeout，并发量存在一些瓶颈，其它方面没什么短板，各方面也都挺不错。

接口方便度：⭐⭐⭐⭐⭐

接口稳定性： ⭐⭐⭐ 由于在国内，so...

接口响应速： ⭐⭐ 由于在国内，so...

接口并发量： ⭐⭐ 由于在国内，so...

接口性价比： ⭐⭐⭐

模型接口评价： 这个就不多说了，收费价格比除了文心一言便宜，比其它模型都贵，稳定性和响应速度受到 某种不可抗力 的影响，都一般般。

OpenAI 主要是受到 那个不可抗力影响，导致的稳定性差，你懂的……

全世界，人类调用大语言模型来解决问题，可能调用量有个上百亿、上千亿都很正常。我从中即便随机抽取十万条，都是一个极其小的采样，很难有非常强的说服力。

再一个，每个人关注的测试数据是不同的。 我关注计算机和 AI 领域，可能你就关注医学、法律、文学、化学领域。 所以， 单拿出一套公用的数据来做测试，缺乏定制性，不适用于所有人。

在展示 MELLM 算法的结果之前，我先用 GPT-4 给所有 LLM 打了个分，毕竟，在大家的心理，GPT-4 一直都是神一样的存在。也算是比较有参考意义。

但是这里你会发现，gpt-4 的打分里，gpt-4 模型自己居然不是第一，而是第二，第一名居然是 文心一言的 ERNIE-3.5，第三是字节跳动的豆包大模型的 doubao-pro。 最后，不论你心理是否接受，gpt3.5 模型，已经被绝大多数国内 LLM 在整体上追赶上了。 （其实我看到这个结果，一开始也是不接受的，总感觉国内模型拉垮，怎么gpt3.5这就被超过了？ 我人力又查看了一些 gpt3.5 的回答，确实是，只能尊重事实）

当然，我的测试数据里，主要是中文题目，我想应该是比较偏向国内模型。

至于gpt-4的评分，为何 ERNIE3.5 会比对应的 4.0 评分还高，我暂不理解为什么，可能和回复的答案长度有关。

接着，我又利用 MELLM 算法，也就是各家的 LLM 分别给别的 LLM 模型进行打分，自适应找出哪家 LLM 权重高，哪家权重低，然后综合汇总。排名如下

结果中，gpt-4 模型仅排第5位，原因在于，测试数据大部分使用中文，结果偏向国内模型，大家对于这个结果参考就好。gpt3.5 其实拉跨的比较厉害，这也和最近一段时间，舆论普遍反映 gpt 模型变笨有关。

各家模型推出的最优模型，比如 qwen2、Doubao-pro、hunyuan-pro、Moonshot-v1 等结果也都较同系列的一些弱版本更优。

字节的 Doubao-pro 模型确实还是挺惊艳的，不过我觉得字节的强势期还没到来，因为 LLM 往后发展一定是多模态，多模态就意味着需要大量的视频和图像，字节背靠短视频，在这方面应该会很有后劲。

Moonshot 前段时间推出长文本理解。 从结果来看，128k 模型的效果还不如 32k。 同样地，Doubao-lite、Doubao-pro，hunyuan-standard，qwen1.5 来看，长文本模型相比短文本，也没有明显优势。 一方面，数据集里没有涉及上十万 token的 测试题，我的这个结果对长文本不公平。 另一方面，实际用户使用中，长文本的使用场景还是偏少，大部分人的使用 token 数 都在几千左右。

前些天阿里刚刚发布 qwen2，我立即就拿来测试，可以看出来，效果确实好一大截。 qwen1.5-110b 的模型训练可以看出来比较拉垮，应该是 scaling 没做好。 qwen1.5 其它模型会时不时触发敏感词警告，属于过度防御，可能是对齐没做好。

没有评测国外的模型，比如 Gemini、Claude、llama 等，一方面，我拿不到这些 api，因为某种不可抗力，接口动不动就封了，操作执行不下去。 另一方面，一些模型回答不了中文，结果过于拉垮，而我测试题又是中文的，因此不需要测。

GLM3、Yi、Mistral，都一般般，没什么太值得讲的。

可以看出，百度 ERNIE-4.0 明显比 3.5 增加了编程能力。ERNIE 包含了外部工具，分数很高。而 qwen2 由于是开源的，大概率是没有依赖外部工具的。

编程测试题目出的偏简单，因为难的题目几乎没有模型能答对。

qwen1.5-110b 模型，综合来看，结果非常拉垮，综合排倒数第一，但编程方面在前5名。 数据偏向性比较重，可能模型专门就是为了辅助编程而作的。

其它大部分模型基本上都是综合排名和 专项排名一致，没有明显区分。

gpt-4 在数学方面还是第一，明显比其它模型分数高一档，比第二名高出 3 分，显现出明显优势。

一直没提腾讯，腾讯各个模型都一般般，推进不算抢眼。

形式逻辑推理，题目都以中文为背景，没想到 gpt-4 这么拉垮。可能是中文语言的叙述让 gpt-4 摸不着头脑。

其中有一道题，由于信息不全，完全是没法回答的，正确回答应该是信息不足，无法回答。 但全部模型都在照猫画虎回答，不懂拒绝。 这是 LLM 根深蒂固的局限。

题目偏向对模型结果是否对用户有害，拒绝回答人类用户违反伦理的问题的能力。

分数越高，说明模型训练更加注重不犯错，不会骂人，不提供有害信息； 分数越低，说明模型更注重遵循人类指令，让模型学骂脏话都是可以的。 GLM 应该是最注重政治正确的一个模型了。

分数越高，并非好事，说明 LLM 模型回答的废话越多，若模型是按 token 数收费的，则分数越高的模型收费越贵。

分数越低越好，比如下面的表格中，最下面 gpt 模型，回答文本长度分别是 18.4 和 18，以最少的 token 数回答用户问题，并且保持较高的回答质量，性价比高。

其中，Mistral 模型废话最多，结合前面评价质量不高，说明该模型毫无可取之处。

百度 API 按 token 算，售价最贵，回答耗用 tokens 数也多，这明显增加了用户成本，造成比 gpt-4 还贵，可能是公司有意这么做。

腾讯 hunyuan 模型回答废话也偏多。 以上俩家公司都卖 API，加长回答有助于收钱。

耗用 tokens 数较少的模型是 Doubao 和 qwen，其中字节的豆包大模型 Doubao-pro 是国内模型里回复答案最精简的模型了，结合前面模型回复质量也很高，真的是一个性价比很高的模型，比较良心。

仅针对这份中文测试数据，JioNLP 模型评测矩阵如下：

继续注明，OpenAI 其实本身接口设计很方便，后续大部分 LLM 都是沿用了这套接口，但是由于在国内的不可抗力，造成它的使用体验并不好。而且价格其实比较贵，性价比不算高。

当然，这份测评，关于回答质量是比较主观的，我的测试题主要是我所关心的内容，而且主要是中文问题，大家参考一下即可。

而，接口调用舒适程度，以及 API 价格方面，则是实打实的各家公司官网的信息，我把结果汇总在这表格里，供大家参考。