端侧大模型对话 Demo
介绍
端侧大模型对话 Demo 是基于 AidGen 和 AidGenSE 构建的一个与端侧大模型对话的应用，其交互方式为网页交互，所有的程序均在本地运行。
支持情况
目前该 Demo 仅支持高通硬件设备
| QCS8550 | 7+ Gen 3 | 8 Gen 2 | |
|---|---|---|---|
| Linux | ✅ | ❌ | ❌ |
| Android | ✅ | ✅ | ✅ |
提示
目前在 Android 中部署该 Demo 需要通过 AidLux 融合系统
安装部署
安装 AidLux APP（Linux 设备可以跳过此步骤）
该 AidLux APP 是一个精简最小化版的应用，请联系阿加犀技术支持获取安装
大模型环境部署
💡注意
Android 环境需要在 AidLux APP 中操作。在 AidLux APP 的命令行中执行下面操作。 用户也可以通过拷屏方式在电脑端访问安卓界面进行操作，具体请参考常见问题——拷屏安卓设备
bash
# ----------------------工具安装---------------------- #
# 下载aidllm工具
wget http://117.176.129.180:65323/llm/install/v2/aidllm_1.2.0_arm64.aid.gpg
# 安装aidllm
sudo aid-pkg -i -d aidllm_1.2.0_arm64.aid.gpg
# 安装 API 服务
sudo aidllm install api
# ----------------------支持的模型查询---------------------- #
sudo aidllm remote-list
# 输出内容如下
Current Soc : 8550
Name Url CreateTime
----- --------- ---------
aplux_deepseekr1-1.5B aplux/aplux_deepseekr1-1.5B 2025-03-05 14:51:23
aplux_qwen2-1.5B aplux/aplux_qwen2-1.5B 2025-03-05 14:52:03
aplux_qwen2-7B aplux/aplux_qwen2-7B 2025-03-05 14:52:37
aplux_qwen2.5-3B aplux/aplux_qwen2.5-3B 2025-03-05 14:52:23
aplux_qwen2-0.5B aplux/aplux_qwen2-0.5B 2025-03-05 14:51:40
# ----------------------下载并查看对应模型---------------------- #
# e.g. 拉取 qwen2-7B模型：sudo aidllm pull aplux/aplux_qwen2-7B
sudo aidllm pull <Url>
# 查看本地已下载的模型
sudo aidllm listbash
# ----------------------工具安装---------------------- #
# AidLux APP 已经预装了 aidllm 工具
# 安装 API 服务
sudo aidllm install api
# ----------------------支持的模型查询---------------------- #
sudo aidllm remote-list
# 输出内容如下
Current Soc : 8550
Name Url CreateTime
----- --------- ---------
aplux_deepseekr1-1.5B aplux/aplux_deepseekr1-1.5B 2025-03-05 14:51:23
aplux_qwen2-1.5B aplux/aplux_qwen2-1.5B 2025-03-05 14:52:03
aplux_qwen2-7B aplux/aplux_qwen2-7B 2025-03-05 14:52:37
aplux_qwen2.5-3B aplux/aplux_qwen2.5-3B 2025-03-05 14:52:23
aplux_qwen2-0.5B aplux/aplux_qwen2-0.5B 2025-03-05 14:51:40
# ----------------------下载并查看对应模型---------------------- #
# e.g. 拉取 qwen2-7B模型：sudo aidllm pull aplux/aplux_qwen2-7B
sudo aidllm pull <Url>
# 查看本地已下载的模型
sudo aidllm listUI 服务部署
💡注意
Android 环境需要在 AidLux APP 中操作。在 AidLux APP 的命令行中执行下面操作。 用户也可以通过拷屏方式在电脑端访问安卓界面进行操作，具体请参考常见问题——拷屏安卓设备
bash
# 安装 UI 前端
sudo aidllm install ui启动应用
启动大模型 API 服务
bash
# 当提示 Api server start successfully，表示 API 启动成功
sudo aidllm api start
# 当本地存在多个模型时，可以指定模型启动，e.g. sudo aidllm api start -m aplux_qwen2.5-3B
sudo aidllm api start -m <model_name>- 查询状态：
sudo aidllm api status - 停止服务：
sudo aidllm api stop - 重启服务：
sudo aidllm api restart
启动 UI 服务器
bash
# 当提示 UI server start successfully，表示 UI 服务启动成功
sudo aidllm ui start- 查询状态：
sudo aidllm ui status - 停止服务：
sudo aidllm ui stop
访问 Demo 网页
使用浏览器访问网址：http://ip:51104/ 可以看到如下界面：
提示
IP 地址为硬件设备的 IP 地址
设置 Demo 自启动
bash
sudo cp /opt/aidlux/cpf/aidllm/scripts/start_llm.sh /etc/aidlux/
# 重启系统即可bash
# 编辑 .bashrc 文件
vi /root/.bashrc
# 文件末尾追加如下指令
bash /opt/aidlux/cpf/aidllm/scripts/and_start_llm.sh
# 保存并重启 aidlux app 即可