Operit AI 本地模型离线运行
把对话数据留在设备上、断网也能继续用，是相当一部分使用者关注 Operit AI 的原因。本篇整理它的本地推理路径、离线能力边界，以及隐私相关的默认行为，供上机前评估。
两条本地推理路径
- 内置 MNN 推理：应用内置 MNN 框架，选择本地模型即可在设备上完成推理，不依赖外部服务；
- llama.cpp 加载 GGUF 模型：v1.8.1 起支持经 llama.cpp 运行 GGUF 格式模型，开源社区的各种量化模型都能按需加载。
两条路径都不需要把数据发往任何服务器；局域网里的 Ollama、LM Studio 等本地服务也能被对接，作为第三种选择。
离线状态下能用什么
- 可以：本地模型对话、本地语音识别（中英文）、系统 TTS 与本地 ONNX VITS 合成、已导入的记忆库检索、文件与媒体类本地工具；
- 受限：深度搜索、插件市场、MCP 远程服务等需要联网的能力在离线时不可用——这些能力本就依赖外部服务，属正常边界。
终端环境（Ubuntu 24.04 用户空间）本身离线可用，装包、拉仓库这类动作才需要网络。
隐私相关的默认行为
- 对话、角色、记忆与模型配置默认存在本机；
- 接云端模型时，请求从设备直达所配置的服务端点，应用侧不托管推理——也就是说，用不用云端、用哪家，由使用者自己的配置决定；
- 每个工具默认「先询问再执行」，无障碍、Shizuku、Root 三种系统接入方式按需开启；
- 局域网 Web 聊天与 HTTP 接口默认关闭，开启前需要自行评估暴露风险并配置令牌。
模型体积与存储预算
本地模型按体积占用存储，GGUF 量化档位越高越占空间；终端环境与工具包也会持续占用。安装包本身约 386MB，整机建议预留 1GB 以上空间再开始折腾，机型需满足 Android 8.0+ 与 ARM64 架构。
离线方案只是它的一个切面，完整能力盘点见 能替你做哪些真实任务；还没装好的话，先过一遍 下载安装与首次配置，或直接从 Operit AI 介绍站 进入获取流程。