奥弗尔求职AI 推理工程作品集
让模型推理更快,也更高效。
从请求调度到 token 生成,深入模型推理的关键环节。
用五个可解释的工程实践,呈现优化背后的实现与取舍。

覆盖推理优化的关键环节
张量生命周期分析与内存复用
INT4 分组量化,统计含嵌入权重
n-gram 候选续写与批量验证
五个项目,一条优化路径。
从调度策略到算子与运行时,
再到模型压缩和解码加速。
单卡大模型推理调度器
研究长短请求同时到达时,如何兼顾首 token 延迟、生成流畅度和吞吐量。在同一 GPT-2 上实现静态批处理、连续批处理与分块预填充,管理每个请求的 KV Cache,并通过回放相同请求轨迹比较三种策略。
在同一 GPT-2 上回放相同请求轨迹,对比静态批处理、连续批处理和分块预填充的 P95 首 token 延迟、相邻 token 间隔及每秒输出 token 数。未提供具体性能数值。
同模型实现三种策略
在同一 GPT-2 上实现静态批处理、连续批处理与分块预填充,研究长短请求同时到达的调度场景。
逐请求管理 KV Cache
管理每个请求的 KV Cache,配合三种批处理与预填充策略执行推理。
回放相同请求轨迹
对比 P95 首 token 延迟、相邻 token 间隔与每秒输出 token 数,分别评价首 token 延迟、生成流畅度和吞吐量。
GQA 解码注意力算子
面向大模型逐 token 生成阶段的 GQA 注意力,多个查询头共享同组 K/V。第一阶段按历史序列分块并行计算,第二阶段合并各块注意力结果,并以 PyTorch FP32 参考实现检查不同上下文长度、头数和不完整尾块的数值误差。
对照 PyTorch FP32 参考实现,检查不同上下文长度、头数和不完整尾块的数值误差。未提供具体误差或性能数值。
分组共享 K/V
在大模型逐 token 生成阶段,多个查询头共享同组 K/V,执行 GQA 解码注意力计算。
两阶段分块计算
第一阶段将历史序列分块并行计算,第二阶段合并各块的注意力结果。
FP32 数值对照
以 PyTorch FP32 实现为参考,检查不同上下文长度、头数以及不完整尾块的数值误差。
支持内存复用的 C++ ONNX 推理运行时
由 Python 将 ONNX 模型转换为执行计划,使用 C++ 执行矩阵乘、加法和 ReLU。跟踪每个中间张量的最后读取位置,将空闲缓冲区分配给后续算子,实现中间张量内存复用,并用 ONNX Runtime 对照验证。
在随附残差网络中,中间缓冲由 896 字节降至 384 字节,并使用 ONNX Runtime 对照验证。
模型转换与算子执行
Python 将 ONNX 模型转换为执行计划,C++ 执行矩阵乘、加法和 ReLU。
张量生命周期分析
跟踪每个中间张量的最后读取位置,确定其缓冲区何时可供复用。
缓冲区复用与对照验证
将空闲缓冲区分配给后续算子,并使用 ONNX Runtime 对照验证推理结果。
W4A16 分组量化线性层
将线性层权重按组压缩为 4 位整数,激活使用 FP16。实现权重打包、缩放因子计算和 Triton 矩阵乘内核,在计算时按块解包并反量化,使用小型字符语言模型评估存储与精度的取舍。
在小型字符语言模型中,包含嵌入权重的存储由 12,512 字节降至 4,140 字节;留出语料困惑度由 3.881 变为 3.947,用于评估存储与精度的取舍。
INT4 分组权重压缩
将线性层权重按组压缩为 4 位整数,完成权重打包与缩放因子计算,激活使用 FP16。
按块解包与反量化
实现 Triton 矩阵乘内核,在计算过程中按块解包权重并进行反量化。
存储与精度取舍评价
在小型字符语言模型上评估包含嵌入权重的存储大小,并通过留出语料困惑度评价精度取舍。
面向代码编辑的 n-gram 投机解码器
利用代码修改前后大量重复文本,通过 n-gram 前缀匹配从已有 token 中寻找候选续写,由目标模型一次验证多个位置,并处理候选接受、预测纠错与 KV Cache 回滚。在随附代码编辑和问答样例中对照贪心解码。
在随附代码编辑样例中,输出与贪心解码逐 token 一致,目标模型前向调用由 31 次降至 9 次;在问答样例中,投机解码与贪心解码的目标模型前向调用均为 8 次。
def edit_code(tokens): match = ngram_match(tokens) return verify(match)从已有 token 寻找候选
利用代码修改前后的大量重复文本,通过 n-gram 前缀匹配从已有 token 中寻找候选续写。
一次验证多个位置
由目标模型一次验证候选续写中的多个位置,并处理候选接受与预测纠错。
KV Cache 回滚与样例对照
处理 KV Cache 回滚,在随附代码编辑与问答样例中对照贪心解码的目标模型前向调用次数,并检查代码编辑样例输出的逐 token 一致性。
让实现与结果,一起被看见。
保留样例的真实边界,
也保留优化中的每一次取舍。
内存复用
残差网络中间缓冲区
896 → 384 字节输出通过 ONNX Runtime 对照验证分组量化
含嵌入权重存储
12,512 → 4,140 字节留出语料困惑度:3.881 → 3.947投机解码
代码编辑样例的目标模型前向调用
31 → 9 次输出逐 token 一致;问答样例均为 8 次数据说明:以上成果来自各项目随附样例,不代表所有模型、硬件或工作负载下的通用表现。调度器与 GQA 项目展示评估方法,不预设性能提升数值。
连接模型与系统的技术栈
技术与框架名称仅用于标注项目技术栈,不表示品牌合作或背书。
