0
点赞
收藏
分享

微信扫一扫

Ollama系列---【如何离线安装ollama?】

1.环境

本文以centos7.9安装ollama为例

2.下载ollama安装包

官网地址:https://ollama.com/download/linux GitHub手动安装文档地址:https://github.com/ollama/ollama/blob/main/docs/linux.md 安装包下载地址:https://ollama.com/download/ollama-linux-amd64.tgz

3.上传到服务器并解压

这里我以上传到/opt/app/middles/ollama目录为例

tar -xzf ollama-linux-amd64.tgz

4.创建ollama.service文件

vi /etc/systemd/system/ollama.service

[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/opt/app/middles/ollama/bin/ollama serve
User=root
Group=root
Restart=always
RestartSec=3
Environment="PATH=$PATH"
#指定模型存储位置,可以直接在外网下载好模型,打包解压到内网的ollama的模型目录下,就能实现离线安装了
Environment="OLLAMA_MODELS=/opt/app/middles/ollama/models"
#解决ollama无法访问的问题
Environment="OLLAMA_HOST=0.0.0.0:11434"

[Install]
WantedBy=default.target

#修改完之后,刷新
systemctl daemon-reload

5.ollama启动相关命令

systemctl enable ollama

systemctl start ollama

systemctl status ollama

systemctl stop ollama

systemctl restart ollama

6.配置全局环境变量

vi /etc/profile.d/ollama.sh

#ollama.sh内容如下
PATH=$PATH:/opt/app/middles/ollama/bin
export PATH

#刷新
source /etc/profile

7.验证是否启动成功

下面命令能正常执行,不报错,出现下面的内容就说明安装成功了
NAME ID SIZE MODIFIED

ollama ls

举报

相关推荐

0 条评论