type
status
date
slug
summary
tags
category
icon
password
近年来，随着手机性能的不断提升，在手机上运行大语言模型（LLM）逐渐成为可能。
Ollama 是一个开源平台，可用于本地运行各种大型语言模型，如 Llama 3、Mistral、Gemma 等。它允许用户直接在个人计算机或树莓派等硬件上运行这些模型，无需大量资源。
但是，Ollama 官方的一键安装脚本默认安装到
/usr/local/bin 目录，而大多数用户的手机并没有获取 root 权限。即使获取了权限，使用 Magisk 等现代 root 管理器的默认设置也不允许写入该目录，这导致了 Ollama 无法通过官方提供的一键脚本安装。即使成功安装，由于依赖等原因，仍然无法成功运行为此，我在此提供通过proot运行 Ollama 的方法。
前提
- 良好的互联网连接
- 足够的空间和性能
- 大脑
步骤
1. 安装 Termux
你可以在 Github 下载 Termux
termux-app
termux • Updated Jun 18, 2024
前往其 releases 下载预构建 安装包
注意，大多数手机为64位，应选择带
arm64-v8a.apk 的安装包或者选择在 Google Play 安装 Termux
安装后，打开 Termux 将会下载相关资源，确保您可以正常访问国际互联网
直到出现类似如下页面
2. 安装必要软件包
对于中国用户，您可能需要更换软件源以获得更高速的下载速度
执行
来切换软件源
单击 ↓ 方向键，切换到选项 Single mirror
单击 空格 以切换选项
单击 回车/换行 以确认
通过方向键切换到 清华源(推荐)
单击 空格 以切换选项
单击 回车/换行 以确认
切换完毕后通过以下命令安装必要软件包
3. 进入容器
通过此命令安装 Debian 容器
进入容器
4. 安装 Ollama
由于proot 不支持 systemctl 故Ollama服务不会自动启动，需要手动运行
此时Ollama服务将在后台运行
5. 运行模型
根据手机性能，选择合适的模型
对于性能差的手机，建议选择
qwen2:0.5b gemma:2b例如运行
qwen2:0.5b 
现在可以和 LLM 对话了
/clear 可清除上下文按下
ctrl + d 或 使用 /bye 可退出更多模型请前往
Ollama 网站查看
后续进入
- 进入容器
- 启动 Ollama 服务
- 运行模型
常见问题
Q: 下载速度慢
A: 对于软件包下载，请检查是否按照教程切换软件源。对于模型、Ollama下载速度慢，尝试使用梯子
Q: 无法输入中文
A: 此问题常见于Gboard,可以在Termux快捷按钮栏向右滑动，以打开一个输入框，可以输入中文
操作视频
Q: 模型输出速度慢
A: 换成所需性能更低的模型
- 作者:Sakura Homura
- 链接:https://endercat.eu.org/article/6a0106f2-5f1e-48cd-bcc8-7df511cfc27e
- 声明:本文采用 CC BY-NC-SA 4.0 许可协议，转载请注明出处。
相关文章