不用联网、不用API密钥、不用花钱,完全跑在手机本地的AI工具!
不用联网、不用API密钥、不用花钱,完全跑在手机本地的AI工具!
来源类型: 微信公众号文章
日期: 2026-06-02
标签: AI, 办公效率, 编程, 芯片, 大模型
原文链接: https://mp.weixin.qq.com/s/7vjQhD6tTeqvyc2YLk5zUA
摘要
** ** ## 项目简介 PokeClaw,也称为 PocketClaw,是一个开源的 Android 应用,用于 AI 手机自动化。 它可以在设备端运行 Gemma 4,实现本地、私密的手机控制。同时也支持在需要更强推理能力完成复杂任务时,选用可选的云端模型。 当前公开版本是一个本地优先的原型,旨在将 Android 手机转变为 AI 操作的设备。 在本地模式下,模型执行完全在您的设备内部进行。无需账号,也无需 API Key,不用联网、不用API密钥、不用花钱,就能让Gemma 4大模型帮你操控手机——自动回消息、刷App、读屏幕,数据全程不出设...
核心内容
**
**
项目简介
PokeClaw,也称为 PocketClaw,是一个开源的 Android 应用,用于 AI 手机自动化。
它可以在设备端运行 Gemma 4,实现本地、私密的手机控制。同时也支持在需要更强推理能力完成复杂任务时,选用可选的云端模型。
当前公开版本是一个本地优先的原型,旨在将 Android 手机转变为 AI 操作的设备。
在本地模式下,模型执行完全在您的设备内部进行。无需账号,也无需 API Key,不用联网、不用API密钥、不用花钱,就能让Gemma 4大模型帮你操控手机——自动回消息、刷App、读屏幕,数据全程不出设备,仅支持安卓(原作者应该是还没来得及实现其他平台,从技术上是没有平台要求的)
其他人: 手机 → 互联网 → 云 API → 互联网 → 手机
💳需要信用卡,需要 API Key。每月账单随之而来。
PokeClaw 本地模式: 手机 → LLM → 手机
想本地就本地,需要时再用云端。
AI 可以控制您的手机,以本地优先执行,并可选使用云端辅助。
当前公开版本已开源,并且已经在 Android 上处理真实的聊天、任务和自动化流程。
请看下面视频的演示:
模型会自主选择正确的工具、填充参数并执行。您无需针对每个 App 进行配置。它只需要读取屏幕并采取行动。
已验证的快速任务
以下是在设备端 QA 测试中已端到端运行完成的任务。
本地模式
- 总结通知
- 解释剪贴板内容
- 分析存储/应用并建议清理目标
- 检查是否需要充电
- 报告已安装应用
- 报告手机温度
- 报告蓝牙状态
- 报告电池、存储和 Android 版本
- 从界面直接运行快速任务卡片并在聊天中返回结果
- 正确路由特定联系人的发送/拨号任务,并在联系人不存在时干净地失败
云端模式
- 发送 WhatsApp 消息并自动返回到 PokeClaw 对话
- 在真实 YouTube App 中搜索
- 查看 Twitter / X 上的热门内容并总结
- 从 Play Store 安装或打开 Telegram
- 打开 Reddit 并搜索 pokeclaw
- 复制最新邮件主题并用 Google 搜索
- 起草一封说明要迟到的邮件
- 在跨 App 执行中保持任务状态和会话历史并返回
工作原理
PokeClaw 为小型设备端 LLM 提供了一组工具(点击、滑动、输入、打开 App、发送消息、启用自动回复等),让它自主决定要做什么。LLM 会看到当前屏幕的文本表示,选择一个动作,观察结果,再选择下一个动作,直到任务完成。
本地执行通过 LiteRT-LM 运行,并支持原生工具调用。在本地模式下,模型完全在设备上运行。
工具
LLM 可以自主使用以下工具:
工具功能描述tap / swipe / long_press触摸屏幕input_text在任意文本框中输入open_app启动任意已安装的 Appsend_message完整消息流程:打开 App、找联系人、输入、发送auto_reply监控联系人并使用 LLM 自动回复get_screen_info读取当前 UI 树take_screenshot截取屏幕finish标记任务完成
这些工具是通用的——它们适用于任何 App、任何联系人、任何语言。LLM 会根据您的请求选择正确的工具并填充参数。
工具 + 技能
当给小型设备端模型提供强有力的“剧本”时,它们的表现会显著提升。因此,我们在通用工具之上为 PokeClaw 提供了可复用的技能。
自动回复功能就是一个很好的例子。它不是凭空实现的——背后有一个预定义的工作流:打开聊天 → 读取屏幕上所有可见消息 → 生成上下文相关的回复 → 发送 → 返回首页。模型会一步步按照这个流程执行。其中每一步使用的工具都是通用的。
我们将其称为 Skills(技能) —— 由通用工具组合而成的可复用工作流。我们正在积极设计一个受 Claude Code 技能架构启发的技能系统。理念是:任何人都可以写一个简单的文本文件来描述步骤,LLM 就会按照它执行。
技能可以实现的功能示例:
- 自动回复:监控通知 → 打开聊天 → 读取对话 → 生成回复 → 发送
- 早间简报:打开天气 App → 读取温度 → 打开日历 → 读取今日事件 → 打开邮件 → 统计未读 → 汇总所有内容
- 智能转发:捕获通知 → 打开消息 → 读取内容 → 转发给另一联系人并附上摘要
- 自动预订:打开预订 App → 搜索时间段 → 填写信息 → 确认
每项技能都是相同通用工具(open_app、tap、type、read_screen、send_message 等)的特定组合。工具是积木,技能是配方。
两者都被设计为可扩展。我们目前正在内置前 8-10 个默认技能。如果系统运行良好,我们将开放给社区,让大家创建和分享自己的工具和技能。您比我们更了解自己的手机——您应该能够教会它新的技能。
随着设备端模型越来越聪明,越来越多的功能可以变成自由形式。目前,技能是我们让小型本地模型实现可靠自动化的方式,同时保持工具层面的通用性。
项目地址
https://github.com/agents-io/PokeClaw
扫码加入技术交流群,备注「开发语言-城市-昵称」
合作请注明
如果你觉得这篇文章不错,别忘了点赞、在看、转发给更多需要的小伙伴哦!我们下期再见!
本页由自动化脚本生成,待人工审核补充