Ollama不足:
没法集成私有数据,而且不能连接外部应用程序。
解决方案:在ollama前面再加个工具,就是Dify。
Dify的功能:
(1)Dify支持不同模型,本地、在线、API、国内、国外的都可以;
(2)Dify可以调用本地知识库;
(3)Dify可以连接外部工具,支持工作流编辑任务,支持用户权限控制等等等等。
Dify安装:
需要准备的工具的Docker和git。
(1)访问官网,下载Dify安装版本。
https://dify.ai/zh
版本注意选择社区版,点击后会跳转到github页:
https://github.com/langgenius/dify
可以通过git clone通过命令行下载到本地,也可以直接下载zip。
(2)执行安装脚本
docker compose up -d
前一步下载的压缩包解压后,进入docker文件夹,在地址栏输入powershell进入终端,执行上述语句。
安装完成后,进入docker desktop,就可以看到多出来一个docker文件夹选项,里面有一堆dify的容器,说明安装成功。
(3)访问dify
浏览器输入127.0.0.1,进入dify主页,进行注册和登录。
右上角语言可以切换为简体中文。
Dify使用:
通过顶部功能入口,进行探索、工作室、知识库、工具管理。
【探索】
选择“助手”,选择“Translate assistant”,添加到工作区。
左侧进行翻译助手编排,右上角可以添加模型。
在线模型的选择相对简单,本地大模型稍微麻烦一点。
以前篇所讲的ollama为例,选择羊驼的头像,输入模型名称(通过ollama list命令查询)、基础url信息。
界面上有提供“如何集成ollama”的帮助链接,方便查阅。
注意,基础URL要使用http://127.0.0.1:11434会出错:
(1)解决ollama只能监听本地模型的问题。
通过环境变量改一下ollama监听地址——在“系统变量”中,新建系统变量“OLLAMA_HOST”,地址填写:0.0.0.0:11434。
改完环境变量要重启ollama才能生效。
重启完后,打开终端,运行指令:
ollama serve
在返回值中能找到http://0.0.0.0表示设置成功了。
(2)查找到自己的ip地址。
命令行用ipconfig,查到本机的IPv4地址,复制下来,替换掉“http://127.0.0.1:11434”ip的部分,端口11434保持不变。