MIT团队完成AI控制人类行为实验项目

来源：htmlDecode("GitHubStore")

原文链接：https://mp.weixin.qq.com/s/1yU_0zmISDFc_ZhPPay4RA

---

**
**

项目简介

** Human Operator **  是一款实时人体增强工具，这个项目也是MIT Hard Mode 2026（Learn Track）获奖项目，它允许 AI 短暂接管你的身体，帮助你学习和完成平时无法做到的事情。它通过视觉-语言模型（VLM） ** 结合 ** 电刺激肌肉（EMS）实现人体运动控制。系统使用 Claude API 根据开放式语音输入生成基于视觉的指令，对手指和手腕进行刺激，实现直观的「身体上」交互。
下面请观看观看完整视频演示

核心技术栈与关键实现

技术模块 具体实现 关键细节 ** 多模态 AI 决策 ** Anthropic Claude (Opus 系列) + Vision 支持图像输入，输出结构化 JSON 运动序列 ** 计算机视觉 ** OpenCV 实时摄像头捕获、帧缩放 (512x384)、JPEG 压缩传输 ** 语音交互 ** RealtimeSTT + pygame 唤醒词检测（Hey Operator）、实时转录、静默超时判断 ** EMS 硬件控制 ** Arduino + 自定义固件 + 继电器 3 个手指（小指、中指、食指）继电器切换 + EMS 通道 ** 通信 ** Flask HTTP 服务 + Serial Receiver 接收 JSON 时间戳序列，转发硬件指令 ** 提示工程 ** 精心设计的 System/Planning Prompt 定义动作空间（close_thumb、close_index 等）和时序 JSON 格式

环境要求

** Python 3.10.x ** ** Conda / Miniconda ** （或其他虚拟环境工具） ** Arduino IDE 2.3.x ** （用于固件烧录） ** Claude API Key ** （来自 Anthropic）

硬件准备

** EMS 与控制部分 **

TENS/EMS 凝胶电极 Arduino 兼容微控制器（推荐 Arduino Micro） 5V 继电器（用于控制小指、中指、食指） 支持电子控制的自定义或商用 TENS/EMS 设备

** 感知部分 **

摄像头模块（内置或 USB）用于第一人称视角（POV）视频采集

软件安装步骤

** 克隆仓库 **
git  clone  <仓库地址>
cd  Human-Operator

** 创建 Python 环境 **
conda env create -f environment.yml
conda activate human-operator

** 配置 API Key **
cp .env_empty .env
# 编辑 .env 文件，填入你的 Anthropic API Key：
# ANTHROPIC_API_KEY=your_api_key_here

** 烧录 Arduino 固件 ** 打开 Arduino IDE 加载  firmware/human_operator_ems/human_operator_ems.ino 上传到开发板 确认串口通信正常（波特率 115200）

运行程序

** 主程序（实时 EMS 控制） **

python app.py

系统功能： 摄像头实时视频采集 通过 Claude API 进行视觉分析并生成运动指令 硬件控制（刺激小指、中指、食指） 语音唤醒（说 “Hey Operator” 触发指令）
指令通过 POV 视频中检测到的物理交互触发。

** 手动刺激调试 GUI **

python utils/stimGUIfingersHardMode.py

用于校准和测试，可手动触发手指刺激、调节幅度、频率、脉宽等参数。

项目地址

https://github.com/danielkaijzer/Human-Operator
**
**

扫码 加入技术交流群，备注「 ** 开发语言-城市-昵称 ** 」
** 合作请注明 **

如果你觉得这篇文章不错，别忘了 ** 点赞、在看、转发 ** 给更多需要的小伙伴哦！我们下期再见！