Openclaw接入LMStudio私有Gemma4大模型

471 字

Openclaw接入LMStudio私有Gemma4大模型

来源类型: 微信公众号文章
日期: 2026-06-02
标签: AI, OpenClaw, 网络安全, 编程, 区块链, 芯片, 大模型
原文链接: https://mp.weixin.qq.com/s/iWdjGcjodxDrmbR_XuHp7Q

摘要

1.LM Studio 介绍 LM Studio 是一款功能强大的本地部署大模型的工具。LMStudio 强调本地化操作,确保数据隐私和安全,特别适合处理敏感数据的场景。它支持跨平台使用,能够在 Windows、macOS 和 Linux 系统上运行,满足不同用户的需求。无论是初学者还是资深开发者,LM Studio 都能提供灵活的工具和便捷的操作体验,助力机器学习项目的快速推进。 ## 2.LM Studio 下载安装 从LMStudio官网下载安装包,支持Windows、Linux、MacOS 地址:Download LM Studio - Mac, Linux, Windo...

核心内容

1.LM Studio 介绍

LM Studio 是一款功能强大的本地部署大模型的工具。LMStudio 强调本地化操作,确保数据隐私和安全,特别适合处理敏感数据的场景。它支持跨平台使用,能够在 Windows、macOS 和 Linux 系统上运行,满足不同用户的需求。无论是初学者还是资深开发者,LM Studio 都能提供灵活的工具和便捷的操作体验,助力机器学习项目的快速推进。

2.LM Studio 下载安装

从LMStudio官网下载安装包,支持Windows、Linux、MacOS

地址:Download LM Studio - Mac, Linux, Windows

建议选择最新版

安装步骤:直接按默认步骤安装即可

3.gemma-4安装配置

3.1 模型选择与下载

方法1:直接在LM Studio中下载模型

方法2:通过魔搭社区下载模型

gemma-4-26B-A4B-it · 模型库

3.2将模型移动到 LM Studio 目录

打开LMStudio模型存储位置

注意:使用LM Studio下载的模型会自动存在相应目录中,不需要处理

创建两级目录,将下载的GGUF文件移入

~

└── LM/

└── gemma-4-26B-A4B-it-GGUF/

└── gemma-4-26B-A4B-it-Q4_K_M.gguf.gguf

3.3 修改 Prompt Template

默认生成的 Prompt Template 有问题,需要修改

点击模型后方的设置按钮

在弹出的页面中,选择 Prompt

将上图框中的内容替换为以下代码(可以在评论区置顶留言中领取相关代码)

{%- if tools %}

{{- '<|im_start|>system\n' }}

{%- if messages[0].role == 'system' %}

    {{- messages[0].content + '\n\n' }}

{%- endif %}

{{- "# Tools\n\nYou may call one or more functions to assist with the user query.\n\nYou are provided with function signatures withinXML tags:\n" }}

{%- for tool in tools %}

    {{- "\n" }}

    {{- tool | tojson }}

{%- endfor %}

{{- "\n\n\nFor each function call, return a json object with function name and arguments withinXML tags:\n\n{\"name\":, \"arguments\":}\n<|im_end|>\n" }}

{%- else %}

{%- if messages[0].role == 'system' %}

    {{- '<|im_start|>system\n' + messages[0].content + '<|im_end|>\n' }}

{%- endif %}

{%- endif %}

{%- set ns = namespace(multi_step_tool=true, last_query_index=messages|length - 1) %}

{%- for message in messages[::-1] %}

{%- set index = (messages|length - 1) - loop.index0 %}

{%- set tool_start = "" %}

{%- set tool_start_length = tool_start|length %}

{%- set start_of_message = message.content[:tool_start_length] %}

{%- set tool_end = "" %}

{%- set tool_end_length = tool_end|length %}

{%- set start_pos = (message.content|length) - tool_end_length %}

{%- if start_pos < 0 %}

    {%- set start_pos = 0 %}

{%- endif %}

{%- set end_of_message = message.content[start_pos:] %}

{%- if ns.multi_step_tool and message.role == "user" and not(start_of_message == tool_start and end_of_message == tool_end) %}

    {%- set ns.multi_step_tool = false %}

    {%- set ns.last_query_index = index %}

{%- endif %}

{%- endfor %}

{%- for message in messages %}

{%- if (message.role == "user") or (message.role == "system" and not loop.first) %}

    {{- '<|im_start|>' + message.role + '\n' + message.content + '<|im_end|>' + '\n' }}

{%- elif message.role == "assistant" %}

    {%- set content = message.content %}

    {%- set reasoning_content = '' %}

    {%- if message.reasoning_content is defined and message.reasoning_content is not none %}

        {%- set reasoning_content = message.reasoning_content %}

    {%- else %}

        {%- if '' in message.content %}

            {%- set content = (messag

...(内容截断,完整内容请查看原文)


本页由自动化脚本生成,待人工审核补充