可搜索、可聚合、可持续更新的知识库
可搜索、可聚合、可持续更新的知识库
来源类型: 技术指南
日期:
标签: knowledge-base, rag, faiss, sqlite, local-first, openclaw
核心论点
为数千份Markdown原始研究素材设计了一套经济实惠的知识库方案:全部在本地或低成本云上完成,几乎不需要付费LLM Token。核心流程为"离线向量化 → FAISS索引 → SQLite元数据 → 低成本检索 → 按需LLM摘要"。
关键结论
- 技术栈:Python + Sentence-Transformers + FAISS + SQLite + 本地LLM(或小额OpenAI)+ Streamlit/Obsidian前端
- 向量化一次完成,之后增量更新,日常运行成本几乎为零
- 检索只需调用本地embedding模型(bge-large-zh)和FAISS,完全不消耗Token
- 只在需要高质量自然语言摘要时少量调用LLM,费用在几元/月量级
- 支持通过Streamlit搭建网页端UI或集成到Obsidian中
- 扩展方向:知识图谱(Neo4j)、自动标签(Zero-Shot分类)、多语言检索