Agora 离线使用本地模型的方法
本篇讲 Agora 的本地推理路线：不依赖任何云服务账号，在手机上运行 GGUF 开源模型，断网也能对话。相关阅读：是什么软件与核心功能、配置API密钥与选择模型。功能总览见 Agora 介绍站。
本地推理靠什么
Agora 内置了 llama.cpp 运行时，可以在安卓设备上直接加载 GGUF 格式的开源模型；语义检索用的embeddings 同样在本机计算。对话内容与计算过程都留在设备上，这也是它与云端路线最大的差别——没信号、不想走外部请求时，整条链路依然完整。
怎么启用
- 准备一个 GGUF 格式的模型文件，放进手机存储；
- 在 Agora 的提供商列表里选「本地 llama.cpp」，指定模型文件位置；
- 回到对话底部选择器切换到本地模型，即可离线开聊。
本地模型与云端服务可以共存：同一套界面里随时切换，出差路上用本地模型应急，回到网络环境再切回各家云端服务。
断网时还能用什么
- 对话本体：本地模型推理全程离线；
- 语义检索：历史对话的语义搜索用本地 embeddings 完成，同样不依赖网络；
- 记忆与备份：记忆文件、
.agora归档导出都在本机操作。
需要联网的部分（联网搜索、云端模型请求）在断网时自然不可用，等恢复网络后照常工作。
界面语言顺带一提
默认界面是英文的话，在 设置 → 语言 里就能切换，Agora 内置 12 种界面语言（含中文），改完即时生效。
获取安装文件资源
需要先安装 Agora 的话，前往 Agora 介绍站 查看版本与获取方式，转存后即可安装。