Skip to content

SuperCLUE: 中文通用大模型综合性基准 | A Benchmark for Foundation Models in Chinese

Notifications You must be signed in to change notification settings

CLUEbenchmark/SuperCLUE

Repository files navigation

SuperCLUE

中文通用大模型综合性基准SuperCLUE

【琅琊榜】-中文大模型专用竞技场,你关心的领先模型都在这里

《中文大模型基准测评2024年4月报告》

SuperCLUE中文大模型测评基准最新榜单(2024年5月)

官网地址:www.cluebenchmarks.com/superclue.html

技术报告:SuperCLUE: A Comprehensive Chinese Large Language Model Benchmark

【2023-12-27】 《中文大模型基准测评报告2023年度报告》发布

【2023-12-28】 发布SuperCLUE-2023年12月榜单

【2023-10-19】 SuperCLUE-Agent:Agent智能体中文原生任务评估基准

【2023-9-12】 SuperCLUE-Safety:中文大模型多轮对抗安全基准

【2023-9-26】,SuperCLUE发布中文大模型9月榜单。

SuperCLUE是一个综合性大模型评测基准,本次评测主要聚焦于大模型的四个能力象限,包括语言理解与生成、专业技能与知识、Agent智能体和安全性,进而细化为12项基础能力。

相比与上月,新增了AI Agent智能体

SuperCLUE能力评估结构图

SuperCLUE多维度测评方案

为什么新增AI Agent智能体能力?

AI agent(智能体)是当前与大语言模型相关的前沿研究热点,拥有类似贾维斯等科幻电影中人类超级助手的能力,可以根据需求自主的完成任务。 然而,面向AI agent智能体,缺乏针对中文大模型的广泛评估。为了解决这一问题,我们在SuperCLUE新的榜单中新增了AI agent智能体能力的测评。 这个榜单将重点评估AI agent在【工具使用】和【任务规划】两个关键能力上的表现,这项工作旨在为评估中文大模型作为智能体的表现提供一个基础和可能。

SuperCLUE总排行榜(2023年12月)

排名 模型 机构 总分 OPEN多轮
开放问题
OPT三大
能力客观题
使用
- GPT4-Turbo OpenAI 90.63 90.89 90.03 API
- GPT4(网页) OpenAI 83.92 80.76 91.28 网页
- GPT4(API) OpenAI 79.84 76.24 88.24 API
🏅️ 文心一言4.0(API) 百度 79.02 75.00 88.38 API
🥈 通义千问2.0 阿里巴巴 76.54 71.78 87.64 API
🥉 AndesGPT OPPO 75.04 70.01 86.76 API
4 智谱清言 清华&智谱 74.11 69.91 83.92 网页
5 Moonshot(KimiChat) 月之暗面 71.92 67.25 82.81 网页
- 文心一言4.0(网页) 百度 70.28 62.59 88.22 网页
6 Qwen-72B-Chat 阿里巴巴 69.69 62.31 86.90 API
7 序列猴子 出门问问 68.98 61.01 87.59 API
8 Yi-34B-Chat 零一万物 68.46 61.99 83.56 模型
9 PCI-TransGPT 佳都科技 68.33 60.41 86.81 API
9 360GPT_Pro 360 68.32 61.36 84.56 API
- Claude2 Anthropic 67.43 65.14 72.77 API
11 云雀大模型(豆包) 字节跳动 66.35 58.53 84.60 网页
- Gemini-pro Google 65.29 59.33 79.20 API
- GPT3.5-Turbo OpenAI 61.44 55.63 74.98 API
12 Qwen-14B-Chat 阿里巴巴 61.27 52.04 82.81 API
13 Baichuan2-13B-Chat 百川智能 61.12 54.45 76.67 模型
14 XVERSE-13B-2-Chat 元象科技 60.46 53.00 77.87 模型
15 讯飞星火V3.0 科大讯飞 59.33 51.74 77.03 API
16 Minimax(应事) 稀宇科技 58.91 50.00 79.69 网页
17 ChatGLM3-6B 清华&智谱 49.50 42.30 66.31 模型
18 Chinese-Alpaca-2-13B yiming cui 45.36 38.91 60.40 模型
- Llama_2_13B_Chat Meta 37.36 34.91 43.09 模型

注:处于前列的模型,如果分数比较接近(小于0.03分),在排名时会被记为并列的名称。

SuperCLUE-OPEN多轮开放问题排行榜(2023年12月)

排名 模型 机构 OPEN多轮
开放问题
语言
与知识
专业
与技能
工具
使用
传统
安全
使用
- GPT4-Turbo OpenAI 90.89 90.21 97.00 100.00 62.75 API
- GPT4(网页) OpenAI 80.76 79.49 82.87 94.63 64.71 网页
- GPT4(API) OpenAI 76.24 73.96 81.15 93.34 53.92 API
🏅️ 文心一言4.0(API) 百度 75.00 69.54 79.62 80.92 68.00 API
🥈 通义千问2.0 阿里巴巴 71.78 71.58 73.40 76.32 52.94 API
🥉 AndesGPT OPPO 70.01 72.23 68.80 70.71 55.88 API
4 智谱清言 清华&智谱 69.91 66.98 68.63 83.78 65.31 网页
5 Moonshot(KimiChat) 月之暗面 67.25 69.72 72.57 62.19 43.14 网页
- Claude2 Anthropic 65.14 55.28 73.27 65.13 83.00 API
- 文心一言4.0(网页) 百度 62.59 65.05 63.26 47.37 64.00 网页
6 Qwen-72B-Chat 阿里巴巴 62.31 59.43 65.59 60.67 52.00 API
7 Yi-34B-Chat 零一万物 61.99 63.90 54.55 71.05 65.31 模型
8 360GPT_Pro 360 61.36 62.09 58.70 69.33 60.00 API
9 序列猴子 出门问问 61.01 65.81 59.99 56.58 45.10 API
10 PCI-TransGPT 佳都科技 60.41 60.39 61.56 64.66 50.98 API
- Gemini-pro Google 59.33 60.50 61.43 46.53 62.50 API
11 云雀大模型(豆包) 字节跳动 58.53 57.75 56.42 55.26 67.65 网页
- GPT3.5-Turbo OpenAI 55.63 55.30 56.24 55.26 52.00 API
12 Baichuan2-13B-Chat 百川智能 54.45 57.35 48.69 56.58 54.90 模型
13 XVERSE-13B-2-Chat 元象科技 53.00 54.63 45.82 63.33 57.84 模型
14 Qwen-14B-Chat 阿里巴巴 52.04 54.29 48.38 45.33 56.86 API
15 讯飞星火V3.0 科大讯飞 51.74 57.40 48.41 44.00 43.14 API
16 Minimax(应事) 稀宇科技 50.00 53.54 45.05 40.13 50.00 网页
17 ChatGLM3-6B 清华&智谱 42.30 46.67 36.15 34.25 53.92 模型
18 Chinese-Alpaca-2-13B yiming cui 38.91 46.46 29.35 27.63 46.94 模型
- Llama_2_13B_Chat Meta 34.91 36.55 30.21 32.67 53.92 模型

SuperCLUE-OPT三大能力客观题排行榜(2023年12月)

排名 模型 机构 OPT分数 基础
能力
中文
特性
学术专
业能力
使用
- GPT4(网页) OpenAI 91.28 97.62 82.38 93.85 网页
- GPT4-Turbo OpenAI 90.03 96.99 79.16 93.93 API
🏅️ 文心一言4.0(API) 百度 88.38 91.65 86.18 87.32 API
- GPT4(API) OpenAI 88.24 92.92 81.84 89.95 API
- 文心一言4.0(网页) 百度 88.22 76.48 78.32 57.05 网页
🥈 通义千问2.0 阿里巴巴 87.64 78.65 81.28 63.48 API
🥉 序列猴子 出门问问 87.59 91.46 80.28 90.57 API
4 Qwen-72B-Chat 阿里巴巴 86.90 92.21 76.65 91.05 API
5 PCI-TransGPT 佳都科技 86.81 90.76 80.88 88.42 API
6 AndesGPT OPPO 86.76 92.55 76.17 90.81 API
7 云雀大模型(豆包) 字节跳动 84.60 88.75 70.89 93.06 网页
8 360GPT_Pro 360 84.56 91.70 73.32 87.93 API
9 智谱清言 清华&智谱 83.92 89.14 73.10 88.72 网页
10 Yi-34B-Chat 零一万物 83.56 86.90 72.81 90.12 模型
11 Qwen-14B-Chat 阿里巴巴 82.81 91.14 68.67 87.31 API
12 Moonshot(KimiChat) 月之暗面 82.81 87.77 73.39 86.41 网页
13 Minimax(应事) 稀宇科技 79.69 86.52 66.18 85.18 网页
- Gemini-pro Google 79.20 83.72 70.78 82.51 API
14 XVERSE-13B-2-Chat 元象科技 77.87 84.46 62.96 83.85 模型
15 讯飞星火V3.0 科大讯飞 77.03 84.04 63.43 82.48 API
16 Baichuan2-13B-Chat 百川智能 76.67 80.61 63.79 84.50 模型
- GPT3.5-Turbo OpenAI 74.98 83.78 62.83 77.60 API
- Claude2 Anthropic 72.77 82.13 65.83 70.10 API
17 ChatGLM3-6B 清华&智谱 66.31 72.63 54.05 71.38 模型
18 Chinese-Alpaca-2-13B yiming cui 60.40 70.39 47.75 62.31 模型
- Llama_2_13B_Chat Meta 43.09 50.41 37.22 41.48 模型

SuperCLUE十大基础能力排行榜(2023年12月)

模型 计算 逻辑
推理
代码 知识
百科
语言
理解
生成
创作
对话 角色
扮演
工具
使用
传统
安全
GPT4-Turbo 97.24 97.59 96.18 89.62 87.82 89.93 89.22 94.46 100.00 62.75
GPT4(网页) 81.16 85.62 81.84 79.17 81.91 78.91 78.38 79.09 94.63 64.71
文心一言4.0(API) 77.84 87.84 73.19 98.63 71.93 66.36 57.03 53.77 80.92 68.00
GPT4(API) 77.60 85.37 80.49 78.08 73.04 72.73 75.78 70.17 93.34 53.92
Claude2 70.10 80.14 69.57 62.33 72.32 39.81 54.76 47.17 65.13 83.00
通义千问2.0 70.10 73.29 76.81 93.15 71.93 62.73 68.75 61.32 76.32 52.94
智谱清言 69.07 77.40 59.42 89.73 64.91 61.11 57.81 61.32 83.78 65.31
Qwen-72B-Chat 68.56 68.06 60.14 95.89 63.16 42.59 48.44 47.06 60.67 52.00
Moonshot(KimiChat) 68.54 79.65 69.52 100.00 66.78 59.65 61.33 60.84 62.19 43.14
AndesGPT 62.59 72.26 71.55 88.36 74.82 64.23 68.56 65.19 70.71 55.88
GPT3.5-Turbo 60.31 54.05 54.35 60.27 59.82 55.45 50.00 50.96 55.26 52.00
360GPT_Pro 56.43 64.97 54.70 93.84 62.79 55.73 55.75 42.32 69.33 60.00
Gemini-pro 56.32 58.45 69.53 73.91 61.61 54.63 52.54 59.80 46.53 62.50
序列猴子 55.38 67.12 57.48 92.47 58.77 57.81 56.75 63.27 56.58 45.10
云雀大模型(豆包) 54.69 68.92 45.65 86.99 56.14 48.18 53.12 44.34 55.26 67.65
Yi-34B-Chat 50.00 64.38 49.28 88.36 65.18 62.73 58.87 44.34 71.05 65.31
PCI-TransGPT 49.99 72.19 62.49 82.88 60.45 57.18 54.76 46.69 64.66 50.98
Qwen-14B-Chat 49.48 56.85 38.81 76.71 61.40 45.45 43.75 44.12 45.33 56.86
文心一言4.0(网页) 48.45 79.73 61.59 97.26 65.79 60.91 53.17 48.11 47.37 64.00
XVERSE-13B-2-Chat 43.30 50.68 43.48 72.92 57.02 47.27 46.88 49.06 63.33 57.84
Minimax(应事) 43.30 61.43 30.43 100.00 55.26 33.33 45.16 33.96 40.13 50.00
Baichuan2-13B-Chat 40.62 66.22 39.23 78.77 53.51 52.78 55.47 46.23 56.58 54.90
讯飞星火V3.0 38.54 57.43 49.26 83.57 62.28 47.17 46.83 47.17 44.00 43.14
ChatGLM3-6B 34.74 41.10 32.61 56.94 54.39 38.18 41.41 42.45 34.25 53.92
Llama_2_13B_Chat 24.74 40.54 25.36 36.11 41.07 43.64 28.91 33.02 32.67 53.92
Chinese-Alpaca-2-13B 22.40 45.21 20.45 51.37 51.75 39.09 47.66 42.45 27.63 46.94

SuperCLUE开源模型排行榜(2023年12月)

排名 模型 机构 总分 OPEN
多轮开放问题
OPT
三大能力客观题
🏅️ Qwen-72B-Chat 阿里巴巴 69.69 62.31 86.90
🥈 Yi-34B-Chat 零一万物 68.46 61.99 83.56
🥉 Qwen-14B-Chat 阿里巴巴 61.27 52.04 82.81
4 Baichuan2-13B-Chat 百川智能 61.12 54.45 76.67
5 XVERSE-13B-2-Chat 元象科技 60.46 53.00 77.87
6 ChatGLM3-6B 清华&智谱 49.50 42.30 66.31
7 Chinese-Alpaca-2-13B yiming cui 45.36 38.91 60.40
- Llama_2_13B_Chat Meta 37.36 34.91 43.09

23-11月测评改进

1. 本次测评中SuperCLUE-Open的超级模型(裁判模型)由10月的GPT4升级为能力更强的GPT4-Turbo,进一步提升开放主观题评估的精确性。

2. 本次SuperCLUE-Open测评集总量由10月的3754道题扩展至4265道题。

3. 与10月相比,本次测评新增了腾讯的混元、阿里云的通义千问2.0(v1030)、零一万物的Yi-34B-Chat、清华&智谱AI的ChatGLM3-Turbo和ChatGLM3-6B、
元象科技的XVERSE-13B-2-Chat。

示例

能力1:语义理解与抽取

这是一种语言能力,能够理解并解析输入的文字信息的含义。模型需要能够识别短语、句子、段落的含义,同时还要能从更大的文本块中抽取关键信息和主题。

多轮对话示例

注:本示例中可同时评测多轮对话能力

能力2:AI agent(智能体)能力

AI agent(智能体)是当前与大语言模型相关的前沿研究热点,拥有类似贾维斯等科幻电影中人类超级助手的能力,可以根据需求自主的完成任务。

重点评估AI agent在【工具使用】和【任务规划】两个关键能力上的表现

示例

能力3:上下文对话

这是一种语言能力,需要理解并记住前面的对话信息,以便在回答中保持连贯性。这涉及到理解对话的整体流程和上下文环境,或生成相应的对话。

示例

能力4:生成与创作

这是一种语言能力,能够创造新的文本内容,如文章、文案、短故事、诗歌。这涉及到创造性地运用语言,同时还要考虑到风格、语境和目标读者。

示例

能力5:知识与百科

这是一种知识能力,能够像百科全书一样提供知识信息。这涉及到理解和回答关于广泛主题的问题,以及提供准确、详细和最新的信息。

示例

能力6:代码

这是一种专业能力,能够理解和生成编程代码。这涉及到理解多种编程语言的语法、结构和习惯,以及如何解决编程问题。

多轮对话示例

注:本示例中可同时评测多轮对话能力

能力7:逻辑与推理

这是一种专业能力,能够理解和应用逻辑原则进行推理。这涉及到分析问题、识别问题及推理。

示例

能力8:计算

这是一种专业能力,使其能够执行数学运算,如加法、减法、乘法和除法,甚至更复杂的数学问题。这涉及到理解数学问题的表述,以及如何步骤地解决这些问题。

多轮对话示例

注:本示例中可同时评测多轮对话能力

能力9:角色扮演

这是一种感知能力,使其能够在特定的模拟环境或情景中扮演一个角色。这涉及到理解特定角色的行为、说话风格,以及在特定情境下的适当反应。

示例

能力10:安全

这是一种安全能力,防止生成可能引起困扰或伤害的内容。这涉及到识别和避免可能包含敏感或不适当内容的请求,以及遵守用户的隐私和安全政策。

示例

讨论、测评与交流


榜单会定期进行更新,会纳入更多可用中文大模型。欢迎对大模型评测感兴趣的个人和机构联系与交流。

About

SuperCLUE: 中文通用大模型综合性基准 | A Benchmark for Foundation Models in Chinese

Topics

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published