不用联网、不用API密钥、不用花钱,完全跑在手机本地的AI工具!

288 字

不用联网、不用API密钥、不用花钱,完全跑在手机本地的AI工具!

来源类型: 微信公众号文章
日期: 2026-06-02
标签: AI, 办公效率, 编程, 芯片, 大模型
原文链接: https://mp.weixin.qq.com/s/7vjQhD6tTeqvyc2YLk5zUA

摘要

** ** ## 项目简介 PokeClaw,也称为 PocketClaw,是一个开源的 Android 应用,用于 AI 手机自动化。 它可以在设备端运行 Gemma 4,实现本地、私密的手机控制。同时也支持在需要更强推理能力完成复杂任务时,选用可选的云端模型。 当前公开版本是一个本地优先的原型,旨在将 Android 手机转变为 AI 操作的设备。 在本地模式下,模型执行完全在您的设备内部进行。无需账号,也无需 API Key,不用联网、不用API密钥、不用花钱,就能让Gemma 4大模型帮你操控手机——自动回消息、刷App、读屏幕,数据全程不出设...

核心内容

**
**

项目简介

PokeClaw,也称为 PocketClaw,是一个开源的 Android 应用,用于 AI 手机自动化。

它可以在设备端运行 Gemma 4,实现本地、私密的手机控制。同时也支持在需要更强推理能力完成复杂任务时,选用可选的云端模型。

当前公开版本是一个本地优先的原型,旨在将 Android 手机转变为 AI 操作的设备。

本地模式下,模型执行完全在您的设备内部进行。无需账号,也无需 API Key,不用联网、不用API密钥、不用花钱,就能让Gemma 4大模型帮你操控手机——自动回消息、刷App、读屏幕,数据全程不出设备,仅支持安卓(原作者应该是还没来得及实现其他平台,从技术上是没有平台要求的)

其他人: 手机 → 互联网 → 云 API → 互联网 → 手机
💳需要信用卡,需要 API Key。每月账单随之而来。

PokeClaw 本地模式: 手机 → LLM → 手机
想本地就本地,需要时再用云端。

AI 可以控制您的手机,以本地优先执行,并可选使用云端辅助。

当前公开版本已开源,并且已经在 Android 上处理真实的聊天、任务和自动化流程。

请看下面视频的演示:

模型会自主选择正确的工具、填充参数并执行。您无需针对每个 App 进行配置。它只需要读取屏幕并采取行动。

已验证的快速任务

以下是在设备端 QA 测试中已端到端运行完成的任务。

本地模式

  • 总结通知
  • 解释剪贴板内容
  • 分析存储/应用并建议清理目标
  • 检查是否需要充电
  • 报告已安装应用
  • 报告手机温度
  • 报告蓝牙状态
  • 报告电池、存储和 Android 版本
  • 从界面直接运行快速任务卡片并在聊天中返回结果
  • 正确路由特定联系人的发送/拨号任务,并在联系人不存在时干净地失败

云端模式

  • 发送 WhatsApp 消息并自动返回到 PokeClaw 对话
  • 在真实 YouTube App 中搜索
  • 查看 Twitter / X 上的热门内容并总结
  • 从 Play Store 安装或打开 Telegram
  • 打开 Reddit 并搜索 pokeclaw
  • 复制最新邮件主题并用 Google 搜索
  • 起草一封说明要迟到的邮件
  • 在跨 App 执行中保持任务状态和会话历史并返回

工作原理

PokeClaw 为小型设备端 LLM 提供了一组工具(点击、滑动、输入、打开 App、发送消息、启用自动回复等),让它自主决定要做什么。LLM 会看到当前屏幕的文本表示,选择一个动作,观察结果,再选择下一个动作,直到任务完成。

本地执行通过 LiteRT-LM 运行,并支持原生工具调用。在本地模式下,模型完全在设备上运行。

工具

LLM 可以自主使用以下工具:
工具功能描述tap / swipe / long_press触摸屏幕input_text在任意文本框中输入open_app启动任意已安装的 Appsend_message完整消息流程:打开 App、找联系人、输入、发送auto_reply监控联系人并使用 LLM 自动回复get_screen_info读取当前 UI 树take_screenshot截取屏幕finish标记任务完成
这些工具是通用的——它们适用于任何 App、任何联系人、任何语言。LLM 会根据您的请求选择正确的工具并填充参数。

工具 + 技能

当给小型设备端模型提供强有力的“剧本”时,它们的表现会显著提升。因此,我们在通用工具之上为 PokeClaw 提供了可复用的技能。

自动回复功能就是一个很好的例子。它不是凭空实现的——背后有一个预定义的工作流:打开聊天 → 读取屏幕上所有可见消息 → 生成上下文相关的回复 → 发送 → 返回首页。模型会一步步按照这个流程执行。其中每一步使用的工具都是通用的。

我们将其称为 Skills(技能) —— 由通用工具组合而成的可复用工作流。我们正在积极设计一个受 Claude Code 技能架构启发的技能系统。理念是:任何人都可以写一个简单的文本文件来描述步骤,LLM 就会按照它执行。

技能可以实现的功能示例:

  • 自动回复:监控通知 → 打开聊天 → 读取对话 → 生成回复 → 发送
  • 早间简报:打开天气 App → 读取温度 → 打开日历 → 读取今日事件 → 打开邮件 → 统计未读 → 汇总所有内容
  • 智能转发:捕获通知 → 打开消息 → 读取内容 → 转发给另一联系人并附上摘要
  • 自动预订:打开预订 App → 搜索时间段 → 填写信息 → 确认
    每项技能都是相同通用工具(open_app、tap、type、read_screen、send_message 等)的特定组合。工具是积木,技能是配方。

两者都被设计为可扩展。我们目前正在内置前 8-10 个默认技能。如果系统运行良好,我们将开放给社区,让大家创建和分享自己的工具和技能。您比我们更了解自己的手机——您应该能够教会它新的技能。

随着设备端模型越来越聪明,越来越多的功能可以变成自由形式。目前,技能是我们让小型本地模型实现可靠自动化的方式,同时保持工具层面的通用性。

项目地址

https://github.com/agents-io/PokeClaw

扫码加入技术交流群,备注「开发语言-城市-昵称

合作请注明

如果你觉得这篇文章不错,别忘了点赞、在看、转发给更多需要的小伙伴哦!我们下期再见!


本页由自动化脚本生成,待人工审核补充