P4 知识图谱规划(复用区块链 kg_extract.py 管线)

177 字

P4 知识图谱规划(复用区块链 kg_extract.py 管线)

区块链版:~/文档/我的区块链wiki/wiki/tools/kg_extract.py(L0 确定性底座 + L1 DeepSeek 抽取 + SQLite/networkx)。
AI wiki 复用要点:底座换成自己的 funding/spectrum 数据,分类规则按 AI 语料结构调整,实体类型按任务要求(模型/公司/人物/产品/组织/叙事)。

一、L0 确定性底座(无 LLM)

数据源:wiki/tools/output/ai_funding.json(173 项目)+ ai_project_spectrum.json(174 项目)

来源 实体 关系
ai_funding.json project / investor / category project→category, project→investor
ai_project_spectrum.json project project 属性(融资额/轮次/领投方)

二、L1 LLM 增量抽取(DeepSeek)

文件分类(classify_path 适配 AI wiki 结构):

路径规则 类别 抽取重点
每周ai动态及项目/代表性或获得融资AI项目研究之* funding 投资方列表、创始人、赛道归属
微信文章* / BAT国内 news 事件、公司-叙事关系、人物角色
openclaw/ / claude/ / hermes/ agent 框架-组件、框架-能力、框架对比
大模型分析的/ / 科技与未来趋势/ report 模型-公司、主题-叙事
每周ai动态及项目/*动态* daily 事件、项目-赛道

实体类型映射(任务要求):
- 模型:GPT-5/Claude/Kimi/DeepSeek/Qwen/豆包/GLM...
- 公司:Anthropic/OpenAI/Google/Meta/月之暗面/DeepSeek/阿里...
- 人物:Altman/杨植麟/王小川/李飞飞/凯文·凯利/Boris Cherny...
- 产品:Claude Code/Cursor/OpenClaw/Hermes/Manus...
- 组织:a16z/Kleiner Perkins/OpenAI 生态...
- 叙事:Token 价格战/Agent 经济/开源vs闭源/世界模型...

三、关键参数(沿用区块链)

  • MODEL: deepseek-chat(非推理模型,JSON 抽取快)
  • MAX_INPUT_CHARS: 2000(文件头部)
  • WORKERS: 8
  • 断点续跑:按文件 hash 记录处理状态
  • 输出:wiki/tools/output/kg.db + kg_entities.json + kg_relations.json

四、风险点(区块链踩过的坑)

  1. relations 无唯一约束 → 改名撞 PK → 需事务回滚
  2. 命名归一(Kimi/月之暗面/moonshot 同实体)
  3. 素材层(研读摘录/周报)噪声大 → L1 按类别降权或跳过 daily 的摘录类

五、验收

  • kg_graph.py 风格统计:实体数/关系数/连通分量
  • 与 P1 叙事/融资数据交叉验证(图谱里的关系 vs 报告里的判断)