知识库 AI 问答系统
根据帮助文档和内部资料回答问题，附带来源引用，并支持回答质量评测。
01 / 03
项目介绍
这是一套面向产品帮助中心与内部知识库的可评测 RAG 系统。系统覆盖 Markdown 清洗与切分、稳定 Chunk 标识、Embedding 批处理、PostgreSQL/pgvector 持久化、可观察 Top K 检索、受资料约束生成和引用校验。固定评测集包含单来源可回答、模糊、无答案与跨文档组合问题，并保留候选来源、覆盖情况、原始回答、引用、Token 和人工复核结论，用于持续定位检索、生成与资料边界问题。
- 分类
- AI 项目 · RAG
- 角色
- AI 应用与后端工程
技术栈
项目特点
我的职责
将 Markdown 资料清洗并按自然段切分，生成稳定 Chunk ID、来源和元数据，为可重复入库与问题定位建立基础。
统一文档与查询的 Embedding 配置，使用 PostgreSQL 与 pgvector 持久化向量，并输出 Top K 候选、来源与距离信息。
设计受资料约束的生成提示与引用强校验：每项业务事实必须映射到当前候选，资料不足时明确说明缺失内容。
建立覆盖可回答、模糊、无答案和跨文档问题的固定评测集，将来源覆盖、引用有效性和执行错误交给自动检查，同时保留事实完整性、越界生成与回答冗余度的人工复核。
关键亮点
先完成远程 Embedding 与数据校验，再在单个事务中替换旧 Chunk，避免外部调用长时间占用数据库事务或失败后清空旧数据。
回答缺少引用或引用不存在的资料编号时直接判定失败，避免“看似有来源”但无法映射到检索证据。
使用同一批固定案例对照不同 Top K，同时观察来源覆盖、回答完整性、Token 成本和上下文噪声，不把单一参数包装成通用最佳实践。
根据当前知识规模选用精确向量检索，并明确记录近似索引、混合检索与 reranker 的引入条件，使架构复杂度与实际需求保持一致。
成果
形成了从资料入库、检索观察、带来源回答到固定评测的完整质量闭环。通过同一评测集对照不同 Top K，可以同时观察来源覆盖、回答完整性、引用有效性、上下文成本与噪声变化，并在证据不足时稳定拒答。整体方案按照生产环境所需的可验证性、可观测性与回归能力设计，可支撑产品帮助中心或内部知识库的持续迭代与故障定位。