“PowerInfer：消费级GPU上的高效大语言模型推理引擎“

在GPU云服务器上快速部署TensorRT-LLM以构建大语言模型的推理环境

[论文笔记] 大模型gpu机器推理测速踩坑 (llama/gpt类)

一文讲明白大模型分布式逻辑（从GPU通信原语到Megatron、Deepspeed）

让大模型真正学会1+1=2！谷歌教会模型自动学习推理规则，大模型的幻觉有救了

大模型推理能力评估：拆解知识与推理的关键维度

本地运行 AI 有多慢 ? 大模型推理测速 (llama.cpp, Intel GPU A770)

大模型LLM：推理加速相关的结构优化

英伟达 GPU 架构：演进与模型推理速度的深度关联

Xorbits Inference（Xinference）：一款性能强大且功能全面的大模型部署与分布式推理框架