本文介绍我们在SGLang中支持全新服务范式PD-Multiplexing的初步成果，该范式旨在提升LLM服务的goodput。通过NVIDIA新功能GreenContext，实现同一进程内GPU资源的轻量级细粒度分区，支持prefill和decode阶段的intra-GPU空间共享，避免KV cache跨实例迁移，并动态分配SM资源。该方法解耦prefill和decode执行，确保严格SLO（如TTFT和ITL），基准测试显示在H200上相比chunked-prefill显著提升TTFT，在8xA100s真实负载下goodput最高提升3.06x。未来将提供详细教程。（128字）
SGLang 团队宣布即日（Day 0）支持 DeepSeek-V3.2 模型。该模型基于 DeepSeek-V3.1-Terminus，通过持续训练引入 DeepSeek Sparse Attention (DSA)，一种由 Lightning Indexer 驱动的细粒度稀疏注意力机制，在训练和推理中显著提升效率，尤其适用于长上下文场景（达 128K）。SGLang 集成了 Lightning Indexer 支持、Native Sparse Attention (NSA) 后端（包括 FlashMLA 和 FlashAttention-3 Sparse），并优化了动态缓存管理，降低内存开销，实现 GPU 优化的稀疏注意力。文章提供 NVIDIA、AMD 和 NPU 的快速启动命令，并展望未来功能如 Multi-token Prediction (MTP) 和 FP8 KV Cache。
NVIDIA DGX Spark 是一款紧凑型一体机，将超级计算级性能带入桌面工作站。通过 NVIDIA 早期访问计划，我们深入测试了这款设备。它搭载 GB10 Grace Blackwell Superchip，提供 128 GB 统一内存，支持 FP4 精度下高达 1 PFLOP 计算力。测试显示，在 SGLang 和 Ollama 框架下，DGX Spark 擅长运行小型模型（如 Llama 3.1 8B），批处理时吞吐量出色；大型模型（如 Llama 3.1 70B）适合原型开发。统一内存设计消除数据传输开销，投机解码可加速 2 倍。尽管内存带宽（273 GB/s）是瓶颈，但其外观精美、散热优秀，适合模型实验、边缘 AI 研究。两台联机可运行 4050 亿参数模型，是开发者理想平台。（128 字）
SGLang 和 NVIDIA 团队紧密合作，针对 NVIDIA Blackwell 架构优化推理性能，利用 FP8 attention、NVFP4 MoE 和 PD-Disaggregated Expert Parallelism 等特性，在 GB200 NVL72 系统上实现 DeepSeek R1 模型的惊人吞吐量：每 GPU 预填充 26k 输入 token/秒，解码 13k 输出 token/秒。在 SemiAnalysis InferenceMAX v1 基准中，Blackwell GPU（GB200/B200）搭配 SGLang 比 Hopper GPU（H100/H200）性能提升高达 4 倍，覆盖整个延迟-吞吐量 Pareto 前沿。SGLang 通过 Prefill-Decode 分离、大规模专家并行等系统级优化，充分发挥 Blackwell 硬件潜力。未来将进一步优化 DeepSeek v3.2 等模型，并加强与 SemiAnalysis 合作。（128 字）
SGLang-Jax是由SGLang-Jax团队推出的全新开源推理引擎，完全基于Jax和XLA构建。它融合SGLang的高性能服务器架构，利用Jax编译模型前向传播，实现快速原生TPU推理，同时支持连续批处理、前缀缓存、张量并行、专家并行、推测解码、内核融合等高级特性。基准测试显示，其性能匹敌或超越其他TPU推理方案，并在GPU方案中保持竞争力。项目代码开源于GitHub，适用于Google DeepMind、xAI等领先AI实验室的Jax生态。架构纯Jax实现，集成Ragged Paged Attention v3、MoE优化及EAGLE推测解码等关键技术，大幅降低调度开销并提升吞吐量。未来路线图涵盖更多模型支持、量化内核及RL集成。（128字）
NVIDIA DGX Spark正式发布一周后，我们与NVIDIA紧密合作，在其上成功部署了GPT-OSS 20B和GPT-OSS 120B模型，支持SGLang框架。性能亮眼：GPT-OSS 20B达到约70 tokens/s，GPT-OSS 120B约50 tokens/s，堪称目前最先进水平，完全支持本地编码代理运行。本文详细指导如何在DGX Spark上运行这些模型、进行性能基准测试、连接Open WebUI聊天界面，甚至通过LMRouter完全本地化运行Claude Code。附带详细基准表格和演示视频，助力用户将DGX Spark打造成强大的本地AI工作站。（128字）
SGLang宣布首日支持MiniMax全新旗舰模型M2，这是一款紧凑、高速且成本效益高的MoE模型，总参数2300亿、活跃参数仅100亿，专为编码和代理任务打造顶级性能，同时保持强大通用智能。尽管高效注意力机制理论诱人，MiniMax团队在M2开发中最终回归全注意力。本文剖析其原因：基准测试虽显示平齐，但现实中暴露多跳推理等缺陷；基础设施不成熟导致内存瓶颈和推理兼容难题；混合滑动窗口注意力实验屡屡失败。成功需评估、数据与基础设施三管齐下，方能从理论走向生产。（128字）
SGLang Diffusion 将 SGLang 的顶尖性能扩展至扩散模型的图像和视频生成，支持主流开源模型如 Wan、Hunyuan、Qwen-Image、Qwen-Image-Edit 和 Flux。通过 OpenAI 兼容 API、CLI 和 Python 接口，提供 1.2x 至 5.9x 的加速效果。与 FastVideo 团队合作，构建从训练到生产的全生态。架构采用 ComposedPipelineBase 和高级并行技术（如 USP、CFG-parallelism），确保高效灵活。基准测试显示，在 H100/H200 GPU 上显著优于 Hugging Face Diffusers。未来将打造端到端扩散生态。（128字）
Intel Neural Compressor 团队宣布 AutoRound 与 SGLang 正式合作，支持低比特量化以实现高效 LLM 推理。AutoRound 通过符号梯度优化技术，实现 INT2-INT8 等低比特量化，在 INT2 精度下相对准确率提升高达 2.1 倍，量化 72B 模型仅需 37 分钟。集成后，开发者可直接在 SGLang 运行时部署量化模型，显著降低延迟。该方案支持多种架构、设备和格式，社区下载量超 200 万。未来将优化 MXFP4/NVFP4 和混合比特量化，推动多模态和代理任务部署。（128 字）
千里之行，始于足下。今天，RadixArk团队发布了Miles，一个专为大规模MoE训练和生产环境打造的企业级强化学习框架。Miles基于轻量级RL框架slime构建，后者已悄然驱动众多后训练管道和大模型MoE训练（如GLM-4.6）。slime证明了轻量设计的可行性，而Miles则更进一步，提供企业级可靠性和大规模控制。新功能包括真On-Policy支持（KL散度精确为0）、内存优化、在线草稿模型训练（rollout加速25%以上）等。未来将支持GB300硬件、多模态训练和弹性扩展，助力高效可靠的RL训练。（128字）
LMSYS欣喜宣布博士奖学金计划正式启动！该计划专为美国全日制博士生设计，针对那些在开源AI基础设施社区做出重大贡献的学生。获奖者将获得高达50,000美元资助，用于未来两年的学费和相关费用。申请期为2025年11月23日至12月7日，评估标准包括研究与开源贡献的影响力，以及与LMSYS兴趣领域的契合度。获奖名单将于截止后几周公布。感兴趣的博士生可将申请声明和简历发送至fellowship@lmsys.org。该计划由Ying and Lianmin Giving Fund捐赠支持，助力开源AI生态发展。（128字）
我们实现了RL中全FP8采样和训练流程。实验显示，对于MoE模型，使用BF16训练结合FP8 rollout时，模型越大，训练-推理不一致性越严重。相比之下，统一FP8用于训练和rollout，能有效消除量化误差导致的训练-推理不一致，提升RL训练的速度与稳定性。本文详述FP8硬件基础、格式选择、尺度计算及量化策略，支持Qwen3-4B和Qwen3-30B-A3B的miles框架即插即用，由InfiXAI、Ant Group AQ、SGLang RL和Miles团队联合完成。（128字）
