手把手教你将OpenClaw接入摄像头，让你的小龙虾看得见物理世界
手把手教你将OpenClaw接入摄像头，让你的小龙虾看得见物理世界
来源：htmlDecode("澳哥学AI")
原文链接：https://mp.weixin.qq.com/s/1njBYo-YDu1U-g3tCEh1tg
接着上篇文章，通过部署小米开源Miloco服务，可以将小米摄像头视频流转换为RTSP协议，详情见《 小米开源Miloco，让米家摄像头成为你的贾维斯 》。 知道摄像头RTSP流后可以干嘛，当然可以告诉小龙虾，让他自己去读取视频流，并调用大模型来理解画面内容，下面将一步步教你如何建立连接。 配置教程 第一步：获取小米摄像头的rtsp地址 基于上篇文章中的部署服务，在miloco服务的 server_config.yaml配置文件中有rtsp相关设置
camera: frame_interval: 1000 # Unit: Millisecond (ms) hw_accel: enabled: false backend: "rockchip" video_quality: default : "low" # low/high，全局默认为low，可通过此处调整清晰度 overrides: # "camera_did": "high"，可根据摄像头单独配置清晰度，did如何获取见下文，如"1027116728":"high" rtsp_server: enabled: true # Enable/disable RTSP server port: 8554 # RTSP server port #RTSP URL format: rtsp://
rtsp:// < server_ip > :{port}/ < camera_did >
例如澳哥的rtsp地址为：
rtsp :// 192.168.0.136:8754 / 1027116728
第二步：将rtsp地址发给小龙虾，让他自己建立连接
rtsp : //192.168.0.136:8754/1027116728 确认下该摄像头能否连接
当看到回复连接成功时，表明小龙虾可以通过rtsp获取视频流和截图了
第三步：通过本地大模型解析图片内容
前提条件：首先本地已部署视觉大模型，例如qwen2.5-vl-7B或者qwen3-vl-4B/8B/30B，根据自身电脑配置进行部署，部署教程可以百度，网上教程很多（NVIDA显卡建议使用Ollama部署，MAC电脑建议使用LM Studio部署）。对于暂无部署本地大模型条件的用户，仍可以选用云端的视觉大模型服务进行解析，短期尝鲜可使用，长期使用建议走本地（隐私性更佳）。
我的本地已部署Qwen3-Vl-30B模型，因此可以直接让小龙虾调用该模型进行理解，可将以下prompt发送给小龙虾
你用lmstudio里面的qwen3-vl解析下画面最新内容有什么，并把图片发出来
可以通过LM Studio日志看出，图片确实通过本地的模型进行了解析，并未上传至云端，很好解决了隐私不上云问题
可以怎么用
例如让小龙虾定时监测是否有人员活动，主动关灯或开灯（前提已配置HA控制技能），彻底解放双手
提示词如下：
定一个OpenClaw的定时cron任务 任务目标：每两分钟调用lmstudio的qwen3-vl-30b模型解析摄像头内容，判定有无人员并执行开关灯操作 任务内容：1、任何时候，若客厅灯已打开状态，当发现客厅十分钟内无人时自动关闭客厅灯； 2、傍晚或晚上，当看到人员出现时，自动打开客厅灯
不一会，LM Studio后台已开始出现小龙虾调用日志
小龙虾在问Qwen-VL大模型，画面中是否有人，请只回答有人或无人
当然画面中是有人的且客厅灯是点亮的，所以并没有执行关灯任务。
还有更多玩法，大家有兴趣的可以深入研究。
我是澳哥，一个OpenClaw的早期用户
关注我，一起探索和 AI 工具的那些事儿～
如果你对技术感兴趣，愿意折腾OpenClaw，可加入群聊，一起交流学习！