请先登录
首页 » 知识库 » 香港大学开源全自动视频生成杀手级神器

香港大学开源全自动视频生成杀手级神器

284 字

香港大学开源全自动视频生成杀手级神器

来源类型： 微信公众号文章
日期： 2026-06-02
标签： AI, 办公效率, 编程, 大模型
原文链接： https://mp.weixin.qq.com/s/HymbkRzUS96JuezjWD95_Q

摘要

** ** ## 项目简介 当前端到端视频创作引擎面临的挑战： - 参考图像：获取、整理并精准对齐能准确表达角色、物体、位置与环境的参考帧，耗时费力。 - 一致性校验：即使提供了正确的角色、位置、环境参考图与提示词，图像生成器有时仍会产出不可用图像。 - 剧本生成：专业高质量视频需要高信息密度与结构化设计。 - 分镜设计：将故事转化为视觉叙事，需要摄影、构图与视觉叙事的专业知识，而大多数创作者并不具备。 - 镜头设计：在复杂场景中保持叙事连贯性的同时，设计合理的镜头角度、转场与节奏。 - 风格一致性**：在长视...

核心内容

**
**

项目简介

当前端到端视频创作引擎面临的挑战**：

  • 参考图像：获取、整理并精准对齐能准确表达角色、物体、位置与环境的参考帧，耗时费力。

  • 一致性校验：即使提供了正确的角色、位置、环境参考图与提示词，图像生成器有时仍会产出不可用图像。

  • 剧本生成：专业高质量视频需要高信息密度与结构化设计。

  • 分镜设计：将故事转化为视觉叙事，需要摄影、构图与视觉叙事的专业知识，而大多数创作者并不具备。

  • 镜头设计：在复杂场景中保持叙事连贯性的同时，设计合理的镜头角度、转场与节奏。

  • 风格一致性：在长视频中确保数百个镜头的角色外观、环境与艺术风格保持一致。

  • 制作效率：传统视频制作依赖多个专业人员与冗长流程，阻碍了独立创作者与快速原型开发。

  • AI视频扩展性：AI生成视频通常仅几秒，而分钟级甚至小时级的高质量长视频需要复杂的跨场景连续性与多分镜协同处理能力。

ViMax 是香港大学数据科学团队（HKUDS）开源的 Agentic Video Generation 多智能体视频生成框架，它将“导演、编剧、制片人、视频生成器”集于一身，实现从创意/小说/剧本到完整多镜头视频的端到端自动化生成。重点解决传统AI视频生成的短时长、一致性差、缺乏叙事结构等问题，彻底消除上述制作瓶颈。

具体效果可以看下面的视频，真的很像大片！

核心架构与工作流

项目采用多智能体流水线设计，通过中央调度协调多个专用Agent，实现模块化协作：

  • 输入层：创意描述、自然语言提示、剧本、小说、参考图像、风格指令。
  • 剧本理解（Script Understanding）：角色/环境提取、场景边界识别、风格意图解析（对应 character_extractor.py、scene_extractor.py、event_extractor.py 等）。
  • 场景与镜头规划（Scene & Shot Planning）：基于电影语言生成富有表现力的分镜、镜头列表、关键帧与节奏（storyboard_artist.py、script_planner.py、screenwriter.py 等）。
  • 视觉资产规划与参考管理：智能参考图选择（reference_image_selector.py）、提示词自动生成、角色肖像生成（character_portraits_generator.py）。
  • 一致性保障：并行生成多张图像，通过 MLLM/VLM 选择最佳一致首帧（best_image_selector.py、camera_image_generator.py），模拟人类创作者流程；支持角色/环境追踪与时序连贯性。
  • 视觉合成：图像生成 → 最佳帧选择 → 图像到视频（Image-to-Video） → 剪辑与时间线合成。
  • 输出：帧图像、片段、最终视频、工作目录产物。
    支持 Idea2Video、Novel2Video（RAG-based 长文本压缩与场景切分）、Script2Video 和 AutoCameo（照片客串）等多种模式。

关键技术亮点：

  • RAG（Retrieval-Augmented Generation）：用于长小说/剧本的智能分析、压缩与多场景结构化。
  • 智能参考选择 + 嵌入检索：资产索引使用嵌入向量，支持参考图复用与一致性。
  • 并行生成与高效处理：同一机位连续镜头并行，提升长视频效率。
  • 多机位模拟：增强沉浸感，同时保持场景内位置一致性。

关键技术栈与依赖

  • 编程语言与环境：Python，使用 uv 进行依赖管理（pyproject.toml + uv.lock）。
  • 大模型集成（高度可配置，通过 OpenAI-compatible 接口）：
  • Chat / Reasoning 模型：Gemini（如 gemini-2.5-flash）、MiniMax（M2.7 等大上下文模型，支持 1M tokens）、通过 OpenRouter 等代理。
  • 图像生成：Nanobanana Google API、Doubao/Seedream 等（tools/image_generator_*.py）。
  • 视频生成：Google Veo（VideoGeneratorVeoGoogleAPI 等）、Doubao/Seedance 等 Image-to-Video 模型。
  • 视觉语言模型（MLLM/VLM）：用于最佳图像一致性校验、角色/场景理解。
  • 其他工具：
  • 嵌入与检索（Reranker 如 BGE-Silicon）。
  • 渲染后端（render_backend.py）。
  • 框架风格：模块化 Agent（agents/）、Pipeline（pipelines/idea2video_pipeline.py、script2video_pipeline.py 等）、工具抽象（tools/）。

技术能力

🧬 智能长剧本生成
基于 RAG 的长剧本引擎，可智能分析小说级长文本，并自动切分为多场景剧本格式，精准保留关键情节与角色对话。

🪄 表现力分镜设计
基于用户需求与目标受众，运用电影语言生成富有表现力的镜头级分镜，为后续视频生成奠定叙事节奏。

🔮 多机位拍摄模拟
模拟多机位拍摄，提供沉浸式观看体验，同时确保同一场景内角色位置与背景的一致性。

🧸 智能参考图选择
智能选取当前视频首帧所需的参考图（包括前序时间线中的分镜），确保视频越长，多角色与环境元素越准确。

⚙️ 自动化图像生成
基于所选参考图与前序时间线的视觉逻辑，自动生成图像生成器提示词，合理安排角色与环境的空间交互位置。

✅ 图像生成一致性校验
并行生成多张图像，并通过 MLLM/VLM 选择最一致的图像作为首帧，模拟人类创作者的工作流程。

⚡ 高效并行镜头生成
对同一机位拍摄的连续镜头进行并行处理，极大提升视频生产效率。

安装使用

1. 环境要求

  • 操作系统：Linux 或 Windows（推荐 Linux）
  • 依赖管理工具：使用 uv（Astral 出的现代 Python 包管理器，比 pip/conda 更快）

2. 安装步骤

1. 克隆仓库

git clone https://github.com/HKUDS/ViMax.git
cd ViMax

2. 安装 uv（如果还没安装）

官方安装方式见：https://docs.astral.sh/uv/getting-started/installation/

3. 一键同步环境（推荐）

uv sync

uv sync 会自动根据 pyproject.toml 创建虚拟环境并安装所有依赖。

...(内容截断，完整内容请查看原文)

本页由自动化脚本生成，待人工审核补充

💬 讨论 (0) 发起新帖 ← 返回知识库