Tech Transformer 推理系列(一):从 Attention 到 KV Cache
从 Q/K/V 的投影含义、多头注意力的独立 softmax,到 GQA/MQA、Decoding KV Cache 与输出稳定性,系统梳理 Transformer 注意力机制。
从 Q/K/V 的投影含义、多头注意力的独立 softmax,到 GQA/MQA、Decoding KV Cache 与输出稳定性,系统梳理 Transformer 注意力机制。
用一个可运行的 Qwen3 示例,逐步打印原始消息、Chat Template 文本、token IDs 和最终输入张量,再对比回答起点、thinking 与截断参数带来的实际变化。
先看模型如何读取 token、生成文本或计算分数,再看 Chat Template、OpenAI 聊天 API、Cohere/Jina Rerank API 和 vLLM 怎样把本地计算包装成远程服务。
借一次换行符引发的重排退化,拆解 Qwen3 Reranker 如何把问题和文档变成相关性分数:Chat Template、下一 token 的 logits、yes/no 归一化、rerank 与 pooling 请求,以及原始 0.6B 模型的 CPU 验证实验。
从文档向量能否复用、问题与文档何时交互,理解 Bi-Encoder、Cross-Encoder 和 Late Interaction 的取舍,以及它们适合的检索与精排场景。
从一份自包含的订单 Skill 出发,区分知识复用与格式标准化,再通过示例说明 OKF 的字段、知识包和计算契约,以及何时值得采用这套知识交换约定。
同样理解自然语言,大模型面向人的表达,Jev 面向程序的判断:从三个原语、完整调用到 Agent 平台分工与 Rerank 实测。
对照 Unstructured、Docling、RAGFlow、LangChain、LlamaIndex 和 Azure 的官方文档与源码,用同一份虚构表格展示实际预处理表示、切块参数、召回路径及能力边界。
从一次知识漏召回出发,理解 Ragas 与 TREC 的不同目标、标准构建和覆盖判定,进而设计适合私有知识库的 Evidence 评测与定位方法。
先理解 Spec、Plan、Tasks、Validation 的分工,再用共享相册案例完整走过需求、方案、实现、验收与需求变更,最后介绍 Codex 接入和团队协作。