侧端大模型对话指南

端侧大模型对话是基于 AidGen 和 AidGenSE 构建的一个与端侧大模型对话的应用。

本指南适用于用户在 Linux 或 Android 设备 上手动上传大模型文件夹，完成模型加载、配置与调用，并部署 aidllm 接口及 UI 服务。

一、平台支持情况

当前支持运行在高通平台，具体如下：

项目	Linux 平台（QCS8550 / QCS6490）	Android 平台（QCS7675）
支持模型类型	加密模型、GGUF 模型、BIN 模型	加密模型、GGUF 模型
模型支持限制	QCS6490 当前仅支持 GGUF 模型	暂无特殊限制

💡 注意

Android 平台需在 AidLux 融合系统（AidLux APP）环境中运行。

二、安装与部署流程

安装 AidLux APP（仅 Android）

• Linux 用户可跳过。
• 该 AidLux APP 是精简版系统应用，用于提供运行环境。
• 请联系阿加犀技术支持获取安装包并完成安装。

---

大模型环境部署

操作入口

• Android 环境：必须在 AidLux APP 中的命令行窗口操作。
• 可通过拷屏远程访问 Android 界面，参考常见问题部分。

工具安装

适用于 Linux 与 Android：

# 下载 aidllm 安装包
wget https://aidllm.aidlux.com/files/aidllm_2.1.0_arm64.aid.gpg 

# 安装 aidllm
sudo aid-pkg -i -d aidllm_2.1.0_arm64.aid.gpg 

# 安装 aidgen-sdk
sudo aid-pkg -i aidgen-sdk

# 下载 aid-open-api 安装包
wget https://aidllm.aidlux.com/files/aid-openai-api_2.0.0_arm64.aid.gpg

# 安装 aid-openao-api
sudo aid-pkg -i -d aid-openai-api_2.0.0_arm64.aid.gpg

💡注意

无法找到或安装 aidgen-sdk，对应平台未支持。

查询可用模型

# 查看远程支持的模型
aidllm remote-list api

示例输出：

Current Soc : 8550

Name                    Url                           CreateTime
-----                   ---------                     ---------
aplux_qwen2.5-3B        aplux/aplux_qwen2.5-3B        2025-03-05 14:52:23
aplux_qwen2-7B          aplux/aplux_qwen2-7B          2025-03-05 14:52:37
...

下载并加载模型

# 下载远程模型到本地
aidllm pull api aplux/aplux_qwen2.5-3B

# 查看本地已下载模型列表
aidllm list api

# 加载模型
aidllm start api -m aplux_qwen2.5-3B

---

UI 服务部署

# 安装 UI 前端服务
sudo aidllm install ui

使用UI进行对话验证模型是否可用

设置 Demo 开机自启动

在 Linux 上设置：

sudo cp /opt/aidlux/cpf/aidllm/scripts/start_llm.sh /etc/aidlux/

在 Android 上设置：

编辑 .bashrc 文件：

vi /root/.bashrc

添加以下内容至末尾：

bash /opt/aidlux/cpf/aidllm/scripts/and_start_llm.sh

保存后，重启 AidLux App 生效。