P4 知识图谱规划(复用区块链 kg_extract.py 管线)
P4 知识图谱规划(复用区块链 kg_extract.py 管线)
区块链版:
~/文档/我的区块链wiki/wiki/tools/kg_extract.py(L0 确定性底座 + L1 DeepSeek 抽取 + SQLite/networkx)。
AI wiki 复用要点:底座换成自己的 funding/spectrum 数据,分类规则按 AI 语料结构调整,实体类型按任务要求(模型/公司/人物/产品/组织/叙事)。
一、L0 确定性底座(无 LLM)
数据源:wiki/tools/output/ai_funding.json(173 项目)+ ai_project_spectrum.json(174 项目)
| 来源 | 实体 | 关系 |
|---|---|---|
| ai_funding.json | project / investor / category | project→category, project→investor |
| ai_project_spectrum.json | project | project 属性(融资额/轮次/领投方) |
二、L1 LLM 增量抽取(DeepSeek)
文件分类(classify_path 适配 AI wiki 结构):
| 路径规则 | 类别 | 抽取重点 |
|---|---|---|
每周ai动态及项目/代表性或获得融资AI项目研究之* |
funding | 投资方列表、创始人、赛道归属 |
微信文章* / BAT国内 |
news | 事件、公司-叙事关系、人物角色 |
openclaw/ / claude/ / hermes/ |
agent | 框架-组件、框架-能力、框架对比 |
大模型分析的/ / 科技与未来趋势/ |
report | 模型-公司、主题-叙事 |
每周ai动态及项目/*动态* |
daily | 事件、项目-赛道 |
实体类型映射(任务要求):
- 模型:GPT-5/Claude/Kimi/DeepSeek/Qwen/豆包/GLM...
- 公司:Anthropic/OpenAI/Google/Meta/月之暗面/DeepSeek/阿里...
- 人物:Altman/杨植麟/王小川/李飞飞/凯文·凯利/Boris Cherny...
- 产品:Claude Code/Cursor/OpenClaw/Hermes/Manus...
- 组织:a16z/Kleiner Perkins/OpenAI 生态...
- 叙事:Token 价格战/Agent 经济/开源vs闭源/世界模型...
三、关键参数(沿用区块链)
- MODEL: deepseek-chat(非推理模型,JSON 抽取快)
- MAX_INPUT_CHARS: 2000(文件头部)
- WORKERS: 8
- 断点续跑:按文件 hash 记录处理状态
- 输出:
wiki/tools/output/kg.db+kg_entities.json+kg_relations.json
四、风险点(区块链踩过的坑)
- relations 无唯一约束 → 改名撞 PK → 需事务回滚
- 命名归一(Kimi/月之暗面/moonshot 同实体)
- 素材层(研读摘录/周报)噪声大 → L1 按类别降权或跳过 daily 的摘录类
五、验收
kg_graph.py风格统计:实体数/关系数/连通分量- 与 P1 叙事/融资数据交叉验证(图谱里的关系 vs 报告里的判断)