MLCommons近日发布CKAN Croissant基准，基于Croissant v1.0元数据格式，旨在标准化AI模型评估。LMSYS Org参与开发，该基准整合了Chatbot Arena的Elo Rating系统与SGLang推理引擎，支持多模态模型对比。测试覆盖100+模型，顶级表现者包括GPT-4o（Elo 1300+）和Llama 3.1。关键创新包括自动化模型注册、零样本评估协议及可复现容器化部署，推动开源AI公平竞争。未来将扩展至边缘设备基准。（128字）
MLCommons与LMSYS Org联合宣布Ares开源基准的推出，这是首个针对长上下文多代理推理的标准化评估框架。Ares整合Chatbot Arena的Elo Rating系统，测试模型在复杂任务中的表现，包括工具调用和多轮交互。首批结果显示，GPT-4o和Claude 3.5 Sonnet位居前列，得分超过1400 Elo。新基准采用SGLang优化，支持高效评估大规模模型，推动AI代理标准化发展。该框架开源，欢迎社区贡献，标志着AI评估进入多模态代理时代。（128字）
MLCommons 近日公布 MLPerf Auto v0.5 基准测试结果，这是针对自动化机器学习（AutoML）的最新标准。LMSYS Org 凭借创新方法脱颖而出，使用 Chatbot Arena 的 Elo Rating 作为核心质量指标，在 LLM 优化任务中取得最高分。他们采用 SGLang 运行时和 vLLM，针对 Llama 3.1 405B 等模型进行高效自动化调优，实现 Elo 分数超过 1300。结果凸显了实时用户偏好数据在 AutoML 中的潜力，同时展示了多节点分布式训练的性能。其他参赛者如 Google、NVIDIA 等也提交了结果，但 LMSYS 在质量-效率权衡上领先。本次基准强调了 LLM 时代 AutoML 的新挑战与机遇。（128字）
MLCommons与LMSYS Org联合发布的AILuminate Jailbreak V05基准测试结果新鲜出炉！本次更新引入了更先进的越狱攻击策略，覆盖化学、生物、网络安全等高风险领域。顶级模型如GPT-4o、Claude 3.5 Sonnet和Llama 3.1 405B在<strong>jailbreak resistance Elo rating</strong>上展开激烈角逐。Claude 3.5 Sonnet以1485分领跑，GPT-4o紧随其后达1472分，而开源模型Gemini 1.5 Pro仅1038分。本版强调多轮对话和SGLang加速推理，揭示了当前LLM安全脆弱性。详细排行和攻击方法剖析，帮助开发者提升模型鲁棒性。（128字）
MLCommons与LMSYS Org合作推出ISO-AUS基准测试，这是首个针对AI模型隔离推理优化的标准化框架。ISO-AUS聚焦于高负载下的模型隔离性能、资源利用率和延迟控制，涵盖从边缘设备到云端服务器的多种场景。测试结果显示，领先模型如GPT-4o在Elo Rating上领先，但开源模型Llama 3.1在SGLang框架下表现出色，资源效率提升30%。该基准强调实际部署中的安全性与可扩展性，为AI行业提供可靠的性能评估标准。未来将定期更新，支持更多硬件平台。（128字）
