SGLang
SGLang（Structured Generation Language）是由加州大學柏克萊分校（UC Berkeley）LMSYS 團隊（即開發 Chatbot Arena 的知名團隊）所開源的高效能大語言模型（LLM）推論與程式設計框架。
核心優勢與特色
SGLang 的設計初衷是為了解決複雜 LLM 工作流（如 Agent、多輪對話、結構化 JSON 輸出、RAG 等）在推論時的效率瓶頸與程式碼複雜度。它主要包含兩個層面：
- 前端（Frontend）：SGLang Domain-Specific Language (DSL)
- 簡化複雜控制流程： 提供類似 Python 的語法，可輕鬆掌控多輪對話、分支（Branching）、平行處理（Parallelism）與約束生成（Constrained Decoding）。
- 結構化輸出： 強制模型輸出符合特定的 JSON Schema 或 Regex 正則表達式，確保格式正確性。
- 後端（Backend）：SGLang Runtime (SRT)
- RadixAttention（基於前綴樹的 KV Cache 共用）： SRT 最核心的創新。在多輪對話、 Agent 工具呼叫或 Few-shot 提示詞中，多個請求常有重複的 Prompt 前綴。RadixAttention 能自動在記憶體中維護前綴樹，極大地提升 KV Cache 的重用率，節省記憶體並顯著降低首字延遲（TTFT）。
- 極致推論效能： 整合了 FlashAttention-2、FlashInfer、Tensor Parallelism（張量平行）、Continuous Batching 等技術，吞吐量（Throughput）與延遲表現媲美甚至超越 vLLM 與 TensorRT-LLM。
- Jump-Forward Decoding： 針對結構化 JSON 輸出進行優化，遇到固定語法（如 bracket, comma）時可跳躍式生成，無需讓模型逐字預測，大幅加快生成速度。
主要應用場景
- LLM Agents 與複雜工作流： 需要頻繁呼叫 Tool、進行思維鏈（CoT）推理或分支搜尋的系統。
- 高併發 RAG 與客服系統： 具有大量相同 System Prompt 或重複上下文的推論服務。
- 結構化資料提取： 需要模型嚴格輸出 JSON 格式供下游 API 接續處理的場景。
- 高效能模型服務部署： 作為 OpenAI 相容的 API Server，直接替代傳統的高負載推論服務。
與 vLLM 的比較
| 特性 | SGLang | vLLM |
|---|---|---|
| 核心優勢 | 專為複雜工作流與結構化生成優化，前綴快取（RadixAttention）極強 | 適合單次/通用型文字生成，社群生態與模型支援度廣 |
| KV Cache 共享 | 採用 RadixAttention，動態重用任何長度的共通前綴 | 採用 PagedAttention，早期主要針對長文本，近期也加入前綴快取 |
| 結構化輸出 | 原生支援 Jump-Forward 快速加速 | 支援，但加速機制較為基礎 |
| API 相容性 | 相容 OpenAI API，提供 Python DSL | 相容 OpenAI API |