Qwen3.8-27B 一体机，128K 是真实 KV 缓存，不是只放大输入长度的“伪长上下文”。混合注意力结构让它只需 64KiB/token，单张 24G 显卡就能容纳一整本 128K 文档。数据不出机房，接口兼容 OpenAI。
| 并发口径 | 含义 | 典型场景 |
|---|---|---|
| 32K 常规 | 平均 32K 上下文 | 问答、写材料、改公文 |
| 128K 长文档 | 整篇 128K 同时进行 | 整套合同、制度汇编、Agent 多步任务 |
| 单 token KV | 64 KiB／32 KiB | 混合注意力，仅 16/64 层缓存 |
| 128K 单会话 | 约 8 GiB／4 GiB | 24G 卡即可完整容纳 |
短上下文跑聊天够用，跑 Agent 两三轮就爆——历史对话、工具返回、文档原文都要进上下文
一次任务要调 5–10 次工具（查库、读表、发邮件），每步返回都进上下文。8K 三轮就超限，Agent 只能降级成“单轮问答”。
128K 约等于 10 万字，整套合同、制度汇编、工单记录一次读完。切片检索会丢跨段落关系，长上下文不丢。
长期项目把历史沉淀进上下文，不用每次重述背景。配合 prefix caching，重复前缀不重复计算。
统一预置 Qwen3.8-27B（Apache 2.0，可商用），也可换客户指定的开源模型
| 方案 | GPU | 32K 常规并发 | 128K 长文档并发 | 参考价 |
|---|---|---|---|---|
| A · 5 路入门 | 1× RTX 4090 24G 全新 | 5 路 | 1 路 | ¥88,000 |
| B · 20 路主力 | 2× RTX 4090 24G 全新推荐 | 20 路 | 3 路 | ¥138,000 |
| C · 长文档 | 1× RTX PRO 6000 96G ECC | 20 路 | 8 路 | ¥358,000 |
| D · 信创版 | 昇腾 Atlas 300I A2 64G（HBM） | 5 路 | 2 路 | ¥308,000 |
| E · 自备硬件 | 客户提供 | 按配置 | 按配置 | ¥68,000 起 |
推理引擎、KV 量化、投机解码、网关与审计，逐项配好并写进压测报告
vLLM / SGLang 部署，开启连续批处理与分页注意力；长文档场景启用 prefix caching，重复前缀不重复 prefill。
统一网关管住“谁能用、用了多少、问了什么”，这是内网部署和直接开个端口最大的区别。
所有指标在交付前现场压测，写进验收单，不靠“感觉挺快”
| 指标 | A · 5 路 | B · 20 路 | C · 长文档 | D · 信创 |
|---|---|---|---|---|
| 32K 常规并发 | 5 路 | 20 路 | 20 路 | 5 路 |
| 128K 长文档并发 | 1 路 | 3 路 | 8 路 | 2 路 |
| 32K 单路速度 | ≥40 tok/s | ≥28 tok/s | ≥55 tok/s | ≥35 tok/s |
| 128K 单路速度 | ≥25 tok/s | ≥22 tok/s | ≥45 tok/s | ≥28 tok/s |
| 128K 首 token（P95） | ≤25s | ≤25s | ≤15s | ≤45s |
| 连续运行 | 72h 无重启 | 72h | 72h | 72h |
| 断网运行 | 必须 | 必须 | 必须 | 必须 |
2026 年显卡、内存价格剧烈波动，条款写清反而更省事
按询价当日渠道价核算。RTX 5090 曾单月涨超 20%，长周期锁价我们做不到。
显卡全新未拆封采购、发票随箱；整机 3 年质保由我方承保，不转嫁厂商。不做显存改装、不碰二手。
首年远程 + 备件池；5 路 ¥8,000/年、20 路 ¥18,000/年、信创 ¥25,000/年。
维保期内每年 1 次“同尺寸新一代模型”免费适配；跨尺寸升级补 ¥15,000。
采购前最常问的六件事
真缓存。Qwen3.8-27B 是混合注意力架构，64 层里只有 16 层全注意力，每 token 约 64KiB（bf16）／32KiB（int8），128K 单会话约 8GiB／4GiB。24G 显卡能完整装下，不是“能贴进去但答不出”。
十几万 token 的 prefill 计算量是短请求的几十倍，20 秒属于正常。开启 prefix caching 后，系统提示、长期文档等重复前缀可复用，第二次提问会快很多。
两点：一是全新未拆封采购并留存发票；二是自建备件池（每 6 台备 1 张同型号卡），故障 48 小时内发备件。若三年内确实无法取得同型号，合同约定提供同性能或更高型号替代，不降级、不折价。
改装卡无原厂质保、BIOS 绕过签名、坏了只能寄修，等于把风险留给客户。我们标配全新原厂卡，三年质保可查。如果贵方自行有渠道，也可以选自备硬件方案（¥68,000 起），我们负责集成与调优。
可以。同尺寸开源模型免费适配；跨尺寸（比如 27B 换 72B）需要重新算显存与并发，按人天计费，通常 ¥15,000 起。
低频调用云 API 更便宜，这是实话。一体机的价值是数据不出内网、断网可用、全链路可审计，以及 Agent 长上下文场景下不受公网限流影响。
300I Duo 是 96G LPDDR4X，带宽约 200GB/s，跑 27B 单路只有 8–12 tok/s，演示一次就会被否定；Atlas 300I A2 是昇腾 910B4 芯片、64G HBM、带宽 1.6TB/s，单路 ≥35 tok/s，贵 3.2 万但能真正投用。信创讲合规，但不能牺牲可用性。
几个人用、主要跑什么任务、最长文档多少页、是否必须断网——这四个问题定了，配置和价格就能落到具体数字，不用猜。
