Ds一次性处理100w个tokens
1. 100w tokens 意味着超长文档/多文档一起入库
以前可能拆成小片段,现在整段、整本书、整份财报直接向量化。
→ 向量条数变多、向量维度更大、检索压力直接上来。
2. 长上下文 = 更依赖向量检索做“外挂记忆”
就算模型能吃下 100w tokens,工业落地还是会搭配向量库做:
快速召回关键片段
减少推理成本
多轮对话记忆
→ 向量库变成刚需底座。
3. 大模型处理能力越强 → 向量数据库越成为瓶颈
模型能吞 100w tokens,数据入库速度、检索QPS、并发必须跟上。
企业会优先升级:
向量数据库
向量检索引擎
向量加速芯片/算力
高并发访问
CPU 扛检索、并发、请求调度
GPU 加速向量计算、索引构建、批量查询
访问量越大 → 并发越高 → CPU/GPU 需求越爆炸。
海量数据(SH603138) 优刻得-W(SH688158)
