DOC软件文档百宝箱

GGUF 模型下载与导入手机教程

装好本地大模型应用后还不能直接对话——应用本体不带模型,得先把一个 GGUF 格式的模型文件装进去。GGUF 是目前本地跑大模型的主流格式,同一模型往往有 1.5B、3B、7B 等不同参数量的版本,参数量越大越聪明、也越吃内存。这篇讲两条拿模型的路径:在线从魔搭社区下载,或导入手机里已有的文件。以 Local AI(清鸽LocalAI)为例的操作入口与界面截图,见 Local AI 安卓版说明站。

参数量与手机内存怎么对号,先看手机本地跑大模型需要什么配置,别抱一个 7B 回来发现装不下。

一、方式 A:应用内从魔搭社区下载

ModelScope(魔搭社区,modelscope.cn)是国内模型仓库,多数本地推理应用内置了它的入口,不用手动找文件:

  1. 打开应用,进入模型管理(或首页的模型入口);
  2. 选「从 ModelScope 下载」,浏览可选模型列表;
  3. 挑一个格式为 GGUF、参数量与手机内存匹配的模型;
  4. 点下载等文件缓存到本地,完成后状态变为「已就绪」,自动完成部署;
  5. 回到对话页选中这个模型,开始聊。

两点提醒:模型文件动辄 1~4 GB,建议在 Wi-Fi 下进行;下载中断过的文件基本加载不了,断了就删掉重下。

二、方式 B:导入手机里已有的 GGUF 文件

已经从别处拿到 .gguf 文件(比如电脑上下载后传到手机)的话,可以本地导入:

  1. 把文件放进手机存储,记好目录(USB 传输或文件管理器都行);
  2. 打开应用的模型管理,选「导入本地模型」;
  3. 在文件选择器里选中那个 .gguf 文件;
  4. 等加载部署完成、状态就绪后即可对话。

这种方式适合三种场景:网络环境下载不动、想用的模型不在应用内列表里、从可信渠道拿到了特定版本。注意只从正规模型仓库或可信来源拿文件,来路不明的「融合版」「魔改版」不要用。

三、添加失败的排查顺序

按出现概率从高到低:

  1. 文件不完整:下载中断过的基本加载不了,删掉重下;本地导入的核对文件大小与来源页标注是否一致;
  2. 内存不够:超出可用内存会加载失败或直接退出——不是文件坏了,是装不下,换小参数量;
  3. 存储权限没给:导入本地文件时选不了文件或列表为空,先去系统设置补权限;
  4. 格式不对:确认扩展名是 .gguf,有些页面下来的是 .bin 或压缩包,用不了;
  5. 空间不足:剩余存储要比模型文件大出余量。

四、模型的管理与切换

模型管理页能看到已添加的模型和各自状态,多个模型可以共存、对话时切换选用;想省空间就删掉不用的。同一个模型的不同量化版本(文件名里的 Q4_K_M、Q8_0 等字样)是体积与质量的取舍,档位对照见配置篇的量化表。

模型装好之后,如果还想调整对话的稳定性与速度(系统提示词、上下文长度、线程数等),说明站的功能页有逐项说明,入口在安卓离线AI对话助手怎么选一文。

同站更多