MLCommons近日发布CKAN Croissant基准，基于Croissant v1.0元数据格式，旨在标准化AI模型评估。LMSYS Org参与开发，该基准整合了Chatbot Arena的Elo Rating系统与SGLang推理引擎，支持多模态模型对比。测试覆盖100+模型，顶级表现者包括GPT-4o（Elo 1300+）和Llama 3.1。关键创新包括自动化模型注册、零样本评估协议及可复现容器化部署，推动开源AI公平竞争。未来将扩展至边缘设备基准。（128字）
MLCommons与LMSYS Org联合宣布Ares开源基准的推出，这是首个针对长上下文多代理推理的标准化评估框架。Ares整合Chatbot Arena的Elo Rating系统，测试模型在复杂任务中的表现，包括工具调用和多轮交互。首批结果显示，GPT-4o和Claude 3.5 Sonnet位居前列，得分超过1400 Elo。新基准采用SGLang优化，支持高效评估大规模模型，推动AI代理标准化发展。该框架开源，欢迎社区贡献，标志着AI评估进入多模态代理时代。（128字）
MLCommons 近日公布 MLPerf Auto v0.5 基准测试结果，这是针对自动化机器学习（AutoML）的最新标准。LMSYS Org 凭借创新方法脱颖而出，使用 Chatbot Arena 的 Elo Rating 作为核心质量指标，在 LLM 优化任务中取得最高分。他们采用 SGLang 运行时和 vLLM，针对 Llama 3.1 405B 等模型进行高效自动化调优，实现 Elo 分数超过 1300。结果凸显了实时用户偏好数据在 AutoML 中的潜力，同时展示了多节点分布式训练的性能。其他参赛者如 Google、NVIDIA 等也提交了结果，但 LMSYS 在质量-效率权衡上领先。本次基准强调了 LLM 时代 AutoML 的新挑战与机遇。（128字）
MLCommons与LMSYS Org联合发布的AILuminate Jailbreak V05基准测试结果新鲜出炉！本次更新引入了更先进的越狱攻击策略，覆盖化学、生物、网络安全等高风险领域。顶级模型如GPT-4o、Claude 3.5 Sonnet和Llama 3.1 405B在<strong>jailbreak resistance Elo rating</strong>上展开激烈角逐。Claude 3.5 Sonnet以1485分领跑，GPT-4o紧随其后达1472分，而开源模型Gemini 1.5 Pro仅1038分。本版强调多轮对话和SGLang加速推理，揭示了当前LLM安全脆弱性。详细排行和攻击方法剖析，帮助开发者提升模型鲁棒性。（128字）
MLCommons与LMSYS Org合作推出ISO-AUS基准测试，这是首个针对AI模型隔离推理优化的标准化框架。ISO-AUS聚焦于高负载下的模型隔离性能、资源利用率和延迟控制，涵盖从边缘设备到云端服务器的多种场景。测试结果显示，领先模型如GPT-4o在Elo Rating上领先，但开源模型Llama 3.1在SGLang框架下表现出色，资源效率提升30%。该基准强调实际部署中的安全性与可扩展性，为AI行业提供可靠的性能评估标准。未来将定期更新，支持更多硬件平台。（128字）
KTransformers项目为Mixture-of-Experts（MoE）模型的CPU/GPU混合推理提供了一系列优化，显著提升了计算效率。通过引入AMX优化的CPU内核和高效的设备协调机制，KTransformers解决了传统混合推理中的协调开销和计算资源未有效利用的问题，使得在单机上部署万亿参数模型成为可能。
自2025年11月初发布以来，SGLang-Diffusion在社区中引起了广泛关注和应用。我们非常感谢开源开发者的反馈和贡献。经过两个月的优化，SGLang-Diffusion的速度提升了2.5倍。本文总结了我们在模型支持、LoRA支持、并行性、硬件兼容性等方面的进展，并详细介绍了关键的技术改进和性能基准测试结果。
SGLang推出高度优化的Pipeline Parallelism（PP）实现，专为超长上下文推理设计。通过集成Chunked Pipeline Parallelism、Asynchronous P2P Communication和Dynamic Chunking机制，该实现实现行业领先性能，并无缝兼容其他并行策略。在多节点部署中，PP4 TP8配置下DeepSeek-V3.1的Prefill Throughput达TP8的3.31倍，较TP32提升30.5%。同时，TTFT降低高达67.9%，强扩展效率达82.8%。本文深入剖析PP在通信量、气泡比率及实现复杂度上的优势，证明其在跨节点大规模扩展中的独特价值，为万亿参数模型超长上下文推理提供高效开源方案。（128字）
随着前沿大语言模型（LLM）规模不断扩大，对 GPU 计算力和内存带宽的需求激增。GPU 厂商和模型开发者正转向低精度浮点格式，其中 FP4（4 位浮点）量化备受关注，例如 FP4 量化的 Llama 3.3 70B 模型体积缩小 3.5 倍，同时在 MMLU 等基准上质量损失最小。然而，现有的 AMD Instinct MI250 和 MI300 系列 GPU 缺乏原生 FP4 支持。为此，我们开发了 Petit——专为 AMD GPU 优化的 FP16/BF16 × FP4 混合精度内核集合。它在 MI200 和 MI300 系列上实现 FP4 模型高效推理：使用 SGLang 时端到端性能提升 1.74 倍，矩阵乘法比 hipBLASLt 快至 3.7 倍。Petit 已开源并集成至 SGLang 0.4.10，支持无缝部署 Llama 3.3 70B FP4 模型。（128 字）
本文介绍SGLang团队在实现确定性推理方面的努力，以及与slime团队合作推动可重现RL训练的进展。基于Thinking Machines Lab的batch-invariant算子，SGLang实现了完全确定性推理，同时兼容chunked prefill、CUDA graphs、radix cache和非贪婪采样，使用CUDA graphs可获2.8x加速，性能开销仅34.35%（优于TML的61.5%）。进一步，与slime结合，实现100%可重现RL训练，在Qwen3-8B上验证两轮独立训练曲线完全一致。通过全面测试套件验证确定性，支持FlashInfer、FlashAttention 3和Triton后端，适用于调试与科学实验。未来将优化性能至20%以内开销。
GB200 NVL72作为深度学习最强硬件之一，本文分享SGLang团队在上篇博客基础上，对DeepSeek V3/R1推理性能的进一步优化，包括FP8 attention、NVFP4 MoE、大规模专家并行（EP）、预填充-解码分离等技术。在FP8 attention和NVFP4 MoE下，SGLang实现每GPU预填充26,156 tokens/s、解码13,386 tokens/s（2000 token输入），较H100提升3.8倍和4.8倍。即使采用传统BF16 attention和FP8 MoE，也达18,471和9,087 tokens/s。优化涵盖低精度计算、更快内核集成、计算通信重叠等，精度损失微乎其微。实验验证了端到端性能大幅提升，并分析了内核级加速效果。（128字）
部署大规模Mixture-of-Experts（MoE）模型如DeepSeek-R1需要在延迟、吞吐量和成本间取得平衡，尤其在H20 GPU这种内存带宽高但计算能力相对较低的硬件上。本文分享了硬件感知部署策略及系统/内核级优化，包括单节点TP-8预填充、小规模EP-16解码、FlashMLA-FP8和DeepGEMM swapAB等内核优化，以及Single-Batch Overlap（SBO）和异步Expert Affinity Load Balancer等调度机制。实验显示，每节点在4096 token输入序列上实现16.5k输入token/s和5.7k输出token/s的SOTA性能，这是H20上首次全面工业实践研究。
