专家强调了众包AI基准的严重缺陷
人工智能实验室日益倾向于使用众包基准测试平台，如Chatbot Arena，来评估其最新模型的能力。然而，一些专家认为这种方法引发了重大的伦理和学术问题。
近年来，像OpenAI、Google和Meta这样的主要参与者利用这些平台，让用户评估即将推出的模型性能。在这些平台上的高分常常被实验室用来证明其模型的进步。然而，这种方法并非没有批评者。
对众包基准测试的批评
华盛顿大学语言学教授、合著《The AI Con》的Emily Bender对这类基准测试的有效性表示担忧，特别是Chatbot Arena。该平台让志愿者比较两个匿名模型的响应，并选择他们更喜欢的一个。Bender认为，一个有效的基准测试必须测量具体的内容，并展示结构效度，即测量应准确反映被评估的结构。她指出，Chatbot Arena缺乏证据证明用户对某个输出的偏好与任何定义的标准真正相关。
人工智能公司Lesan的联合创始人、分布式人工智能研究所研究员Asmelash Teka Hadgu表示，这些基准测试被人工智能实验室用来夸大其模型的声明。他提到最近Meta的Llama 4 Maverick模型事件，Meta微调了一个在Chatbot Arena表现良好的版本，但选择了发布一个效果较差的版本。Hadgu主张基准测试应是动态的，分布在多个独立实体中，并由使用这些模型的专业人士针对教育和医疗等领域的具体用例进行定制。
对公平报酬和更广泛评估方法的要求
Hadgu和阿斯彭研究所新兴与智能技术倡议前负责人Kristine Gloria认为，评估者应为其工作获得报酬，这与常常具有剥削性的数据标注行业类似。Gloria认为众包基准测试有价值，类似于公民科学倡议，但强调基准测试不应是评估的唯一指标，尤其是在行业创新快速发展的背景下。
Gray Swan AI的首席执行官Matt Fredrikson，该公司进行众包红队测试活动，承认这些平台对希望学习和实践新技能的志愿者具有吸引力。然而，他强调公共基准测试无法取代付费私人评估提供的更深入评估。Fredrikson建议开发者还应依赖内部基准测试、算法红队以及聘请的专家，他们可以提供更开放和领域特定的见解。
行业对基准测试的看法
模型市场OpenRouter的首席执行官Alex Atallah和加州大学伯克利分校人工智能博士生、LMArena（管理Chatbot Arena）的创始人之一Wei-Lin Chiang认为，仅靠开放测试和基准测试是不够的。Chiang强调，LMArena的目标是为社区提供一个可信、开放的空间，以了解不同人工智能模型的社区偏好。
针对Maverick基准测试的争议，Chiang澄清此类事件并非由于Chatbot Arena设计上的缺陷，而是实验室对其政策的误解。LMArena此后更新了其政策，以确保公平和可重复的评估。Chiang强调，该平台的社区不仅仅是一群志愿者或测试者，而是一个提供人工智能模型集体反馈的参与群体。
围绕众包基准测试平台使用的持续争论凸显了对人工智能模型评估需要更细致的方法，结合公众输入和严格的专业评估，以确保准确性和公平性。
相关文章
使用HitPaw AI照片增强器提升您的图像：全面指南
想改变您的照片编辑体验吗？凭借尖端人工智能技术，改善您的图像现在变得轻而易举。本详细指南介绍了HitPaw AI照片增强器，这是一款离线AI工具，可自动提升图像质量和分辨率。无论您是经验丰富的摄影师还是希望优化个人快照的爱好者，HitPaw AI照片增强器都能提供强大的功能，带来惊艳的效果。主要亮点HitPaw AI照片增强器是一款适用于Windows和Mac的AI驱动解决方案，旨在提升图像质量。
AI驱动的音乐创作：轻松打造歌曲与视频
音乐创作可能复杂，需要时间、资源和专业知识。人工智能已转变这一过程，使其简单易用。本指南介绍如何利用AI让任何人都能免费创作独特的歌曲和视觉效果，开启新的创作可能性。我们探索了具有直观界面和先进AI的平台，将您的音乐创意转化为现实，无需高昂成本。关键要点AI可生成完整歌曲，包括人声，而不仅是器乐。Suno AI和Hailuo AI等平台提供免费音乐创作工具。ChatGPT等AI工具可简化歌词创作，
创建AI驱动的着色书：综合指南
设计着色书是一项回报丰厚的追求，结合艺术表达与用户放松体验。然而，过程可能劳动密集。幸运的是，AI工具简化了高质量、统一着色页的创建。本指南提供使用AI制作着色书的逐步方法，重点在于一致风格与最佳效率的技术。关键要点使用AI提示工具开发详细、结构化的着色页提示。确保着色书所有页面艺术风格的统一性。生成单一着色页设计的多样化变体。利用Ideogram等AI平台快速、高效创建着色书。优化提示以解决不一
评论 (16)
0/200
![AlbertScott]()
AlbertScott
2025-08-01 21:47:34
Crowdsourced AI benchmarks sound cool, but experts pointing out ethical issues makes me wonder if we're rushing too fast. 🤔 Are we sacrificing quality for hype?
0
![JonathanAllen]()
JonathanAllen
2025-04-27 15:34:07
Estou acompanhando o debate sobre benchmarks de IA crowdsourced e, honestamente, é uma bagunça. Os especialistas têm razão ao apontar as falhas, mas qual é a alternativa? É como tentar consertar um barco que vaza com mais buracos. Ainda assim, é uma leitura interessante e certamente faz você pensar sobre o futuro da ética em IA. Experimente se você gosta desse tipo de coisa! 😅
0
![AlbertWalker]()
AlbertWalker
2025-04-27 13:24:31
Nossa, benchmarks de IA por multidão? Parece legal, mas com falhas éticas? Tô pensando se isso não atrapalha a inovação. As big techs precisam resolver isso logo! 🚀
0
![RogerRodriguez]()
RogerRodriguez
2025-04-27 11:52:29
I've been following the debate on crowdsourced AI benchmarks and honestly, it's a mess. Experts are right to point out the flaws, but what's the alternative? It's like trying to fix a leaky boat with more holes. Still, it's an interesting read and definitely makes you think about the future of AI ethics. Give it a go if you're into that kinda stuff! 😅
0
![JonathanAllen]()
JonathanAllen
2025-04-27 09:40:09
Intéressant, mais inquiétant ! Les benchmarks par crowdsourcing, c’est innovant, mais les failles éthiques me font réfléchir. Les géants comme Google vont devoir être transparents. 🧐
0
![BrianWalker]()
BrianWalker
2025-04-26 23:31:56
Wow, crowdsourced AI benchmarks sound cool but flawed? Kinda makes sense—random people judging AI might not be super reliable. 🤔 Curious how OpenAI and Google will fix this!
0
人工智能实验室日益倾向于使用众包基准测试平台，如Chatbot Arena，来评估其最新模型的能力。然而，一些专家认为这种方法引发了重大的伦理和学术问题。
近年来，像OpenAI、Google和Meta这样的主要参与者利用这些平台，让用户评估即将推出的模型性能。在这些平台上的高分常常被实验室用来证明其模型的进步。然而，这种方法并非没有批评者。
对众包基准测试的批评
华盛顿大学语言学教授、合著《The AI Con》的Emily Bender对这类基准测试的有效性表示担忧，特别是Chatbot Arena。该平台让志愿者比较两个匿名模型的响应，并选择他们更喜欢的一个。Bender认为，一个有效的基准测试必须测量具体的内容，并展示结构效度，即测量应准确反映被评估的结构。她指出，Chatbot Arena缺乏证据证明用户对某个输出的偏好与任何定义的标准真正相关。
人工智能公司Lesan的联合创始人、分布式人工智能研究所研究员Asmelash Teka Hadgu表示，这些基准测试被人工智能实验室用来夸大其模型的声明。他提到最近Meta的Llama 4 Maverick模型事件，Meta微调了一个在Chatbot Arena表现良好的版本，但选择了发布一个效果较差的版本。Hadgu主张基准测试应是动态的，分布在多个独立实体中，并由使用这些模型的专业人士针对教育和医疗等领域的具体用例进行定制。
对公平报酬和更广泛评估方法的要求
Hadgu和阿斯彭研究所新兴与智能技术倡议前负责人Kristine Gloria认为，评估者应为其工作获得报酬，这与常常具有剥削性的数据标注行业类似。Gloria认为众包基准测试有价值，类似于公民科学倡议，但强调基准测试不应是评估的唯一指标，尤其是在行业创新快速发展的背景下。
Gray Swan AI的首席执行官Matt Fredrikson，该公司进行众包红队测试活动，承认这些平台对希望学习和实践新技能的志愿者具有吸引力。然而，他强调公共基准测试无法取代付费私人评估提供的更深入评估。Fredrikson建议开发者还应依赖内部基准测试、算法红队以及聘请的专家，他们可以提供更开放和领域特定的见解。
行业对基准测试的看法
模型市场OpenRouter的首席执行官Alex Atallah和加州大学伯克利分校人工智能博士生、LMArena（管理Chatbot Arena）的创始人之一Wei-Lin Chiang认为，仅靠开放测试和基准测试是不够的。Chiang强调，LMArena的目标是为社区提供一个可信、开放的空间，以了解不同人工智能模型的社区偏好。
针对Maverick基准测试的争议，Chiang澄清此类事件并非由于Chatbot Arena设计上的缺陷，而是实验室对其政策的误解。LMArena此后更新了其政策，以确保公平和可重复的评估。Chiang强调，该平台的社区不仅仅是一群志愿者或测试者，而是一个提供人工智能模型集体反馈的参与群体。
围绕众包基准测试平台使用的持续争论凸显了对人工智能模型评估需要更细致的方法，结合公众输入和严格的专业评估，以确保准确性和公平性。
使用HitPaw AI照片增强器提升您的图像：全面指南
想改变您的照片编辑体验吗？凭借尖端人工智能技术，改善您的图像现在变得轻而易举。本详细指南介绍了HitPaw AI照片增强器，这是一款离线AI工具，可自动提升图像质量和分辨率。无论您是经验丰富的摄影师还是希望优化个人快照的爱好者，HitPaw AI照片增强器都能提供强大的功能，带来惊艳的效果。主要亮点HitPaw AI照片增强器是一款适用于Windows和Mac的AI驱动解决方案，旨在提升图像质量。
AI驱动的音乐创作：轻松打造歌曲与视频
音乐创作可能复杂，需要时间、资源和专业知识。人工智能已转变这一过程，使其简单易用。本指南介绍如何利用AI让任何人都能免费创作独特的歌曲和视觉效果，开启新的创作可能性。我们探索了具有直观界面和先进AI的平台，将您的音乐创意转化为现实，无需高昂成本。关键要点AI可生成完整歌曲，包括人声，而不仅是器乐。Suno AI和Hailuo AI等平台提供免费音乐创作工具。ChatGPT等AI工具可简化歌词创作，
创建AI驱动的着色书：综合指南
设计着色书是一项回报丰厚的追求，结合艺术表达与用户放松体验。然而，过程可能劳动密集。幸运的是，AI工具简化了高质量、统一着色页的创建。本指南提供使用AI制作着色书的逐步方法，重点在于一致风格与最佳效率的技术。关键要点使用AI提示工具开发详细、结构化的着色页提示。确保着色书所有页面艺术风格的统一性。生成单一着色页设计的多样化变体。利用Ideogram等AI平台快速、高效创建着色书。优化提示以解决不一
2025-08-01 21:47:34
Crowdsourced AI benchmarks sound cool, but experts pointing out ethical issues makes me wonder if we're rushing too fast. 🤔 Are we sacrificing quality for hype?
0
2025-04-27 15:34:07
Estou acompanhando o debate sobre benchmarks de IA crowdsourced e, honestamente, é uma bagunça. Os especialistas têm razão ao apontar as falhas, mas qual é a alternativa? É como tentar consertar um barco que vaza com mais buracos. Ainda assim, é uma leitura interessante e certamente faz você pensar sobre o futuro da ética em IA. Experimente se você gosta desse tipo de coisa! 😅
0
2025-04-27 13:24:31
Nossa, benchmarks de IA por multidão? Parece legal, mas com falhas éticas? Tô pensando se isso não atrapalha a inovação. As big techs precisam resolver isso logo! 🚀
0
2025-04-27 11:52:29
I've been following the debate on crowdsourced AI benchmarks and honestly, it's a mess. Experts are right to point out the flaws, but what's the alternative? It's like trying to fix a leaky boat with more holes. Still, it's an interesting read and definitely makes you think about the future of AI ethics. Give it a go if you're into that kinda stuff! 😅
0
2025-04-27 09:40:09
Intéressant, mais inquiétant ! Les benchmarks par crowdsourcing, c’est innovant, mais les failles éthiques me font réfléchir. Les géants comme Google vont devoir être transparents. 🧐
0
2025-04-26 23:31:56
Wow, crowdsourced AI benchmarks sound cool but flawed? Kinda makes sense—random people judging AI might not be super reliable. 🤔 Curious how OpenAI and Google will fix this!
0
