阿加犀成功将OpenClaw全链路迁移到端侧

前置条件

连接设备：参考官方文档

安装文档：快速上手 | APLUX Doc Center

连接方式推荐使用 “拷屏软件登录”后，查看设备 IP 地址，没有网线可以使用 WIFI 连接。

连接设备查看 IP

如图所示，我的设备 IP 为: http://192.168.112.207:8000/

通过浏览器访问，连接设备，默认密码为aidlux，具体流程可参考：浏览器登录 | APLUX Doc Center

大模型服务安装

打开终端，安装 AidGenSE和 AidGenSE 使用： AidGenSE 开发者文档 | APLUX Doc Center

推荐安装最新的预览版，我们会在近期测试完成后发布，这里使用下面的命令进行安装。

sudo aid-pkg update
sudo aid-pkg -i aidgen-sdk
sudp aid-pkg -i aidgense

# 验证
aidllm -v
# aidllm version 3.1.0

下载 qwen3-8b-8192模型

# 耐心等待下载完成
aidllm pull api aplux/Qwen3-8B-Qnn236-8550-CL8192
# 验证
aidllm list api
# Qwen3-8B-Qnn236-8550-CL8192

安装 next-chat UI

sudo aidllm install ui

测试大模型

# 启动大模型服务
aidllm start api

# 启动 ui 服务 
aidllm start ui

提示成功后，点击桌面next-chat 图标，或打开本机 ip:51104端口：http://192.168.112.207:51104/

能够正常对话，即证明大模型安装配置成功。

NanoBot 安装

由于 nanobot 需要python环境大于等于3.11版本，但 AidLux OS 默认提供的是 3.10 版本，因此我们通过 conda 安装一个可以运行的 conda 环境。

安装 conda

如果无法从 github 下载，可以下载我下好的文件。

暂时无法在飞书文档外展示此内容

bash Miniforge3-Linux-aarch64.sh

cp ~/.bashrc ~/.bashrc.bak
iconv -f utf-8 -t utf-8 -c ~/.bashrc -o ~/.bashrc

/home/aidlux/miniforge3/bin/conda init
# 退出当前终端，重新打开一个

conda activate base
python3 --version
# Python 3.13.12

Python 源查看与配置

# 确保设置为清华源，方便下载 nanobot
pip config get global.index-url
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

安装 nanobot

pip install nanobot-ai
nanobot --version
# 🐈 nanobot v0.1.4.post4

nanobot 配置与本地大模型调试

初始化配置 Nanobot

nanobot onboard
修改配置文件

// 主要修改agents/defaults/model为我们下载到本地的大模型，以及配置apiBase
// model：Qwen3-8B-Qnn236-8550-CL8192
// apiBase: http://127.0.0.1:8088/v1

vi ~/.nanobot/config.json
{
  "agents": {
    "defaults": {
      "workspace": "~/.nanobot/workspace",
      // model ID
      "model": "Qwen3-8B-Qnn236-8550-CL8192",
      "provider": "auto",
      "maxTokens": 8192,
      "temperature": 0.1,
      "maxToolIterations": 40,
      "memoryWindow": 100,
      "reasoningEffort": null
    }
  },
  ...
  "providers": {
    "custom": {
      "apiKey": "xxxx",
      // api base url
      "apiBase": "http://127.0.0.1:8088/v1",
      "extraHeaders": null
    }
  }
  ... 
}

代理服务配置

由于我们默认的 api 暂时不支持 tool_call，我们需要额外下载一个代理服务程序。

cd ~
wget https://aidllm.aidlux.com/files/function_calling_proxy.zip
mkdir -p proxy
unzip -d proxy/ function_calling_proxy.zip 
vi .env

# 修改配置文件内容
FC_UPSTREAM_URL=http://127.0.0.1:8888/v1
FC_LISTEN_HOST=0.0.0.0

# 安装依赖
pip install -r requirements.txt

# 运行代理配置
python3 run.py

启动大模型服务

aidllm start api
# 启动到前台，可以查看 LLM 推理输出情况
bash /opt/aidlux/app/aid-openai-api/r.sh

启动 nanobot

nanobot gateway

测试 nanobot

nanobot agent
# 对话

# test case
在 tmp 目录下创建 nanobot-workspace 文件夹

在nanobot-workspace，新建一个 python 的hello程序，内容为hello,nanobot!

然后再这个目录下创建任意 5 中不同类别的文件，如:t.txt, t.pdf等

列出该目录下的所有文件

按照文件类型帮我整理这个目录下的文件

我们调试 nanobot 需要涉及到 3 个服务：

大模型推理服务：aidllm start api
大模型本地代理服务：python3 ~/proxy/run.py
nanobot 服务：nanobot gateway

命令行对话：

nanobot 服务：nanobot agent

至此我们就可以与对话啦。