http://xilyfeAAAA.github.io/series/%E6%8E%A8%E7%90%86%E6%A1%86%E6%9E%B6/ Recent content in 推理框架 on 多辣加香菜 Hugo zh-CN Mon, 16 Mar 2026 10:48:53 +0800 http://xilyfeAAAA.github.io/posts/vllm-deploy/ Sun, 15 Mar 2026 23:03:06 +0800 http://xilyfeAAAA.github.io/posts/vllm-deploy/ <h2 id="1-概述" class="headerLink"> <a href="#1-%e6%a6%82%e8%bf%b0" class="header-mark"></a>1. 概述</h2><p>大模型推理有多种方式比如</p> <ul> <li>最基础的 HuggingFace Transformers</li> <li>TGI</li> <li>vLLM</li> <li>Triton + TensorRT-LLM</li> <li>…</li> </ul> <p>其中，热度最高的应该就是 vLLM，性能好的同时使用也非常简单，上一次分析了 vLLM 如何实现这么高的性能，这次记录一下如何使用 vLLM 来启动大模型推理服务。</p> http://xilyfeAAAA.github.io/posts/vllm_principle/ Thu, 12 Mar 2026 11:29:34 +0800 http://xilyfeAAAA.github.io/posts/vllm_principle/ <blockquote> <p>vLLM 是目前最受欢迎的开源 LLM 推理与服务引擎之一，它以 PagedAttention 为核心创新，彻底解决了传统 LLM Inference 中 KV Cache 内存碎片化的问题，让 throughput 提升 2~24×，同时内存利用率接近 100%。</p>