[deepin exploration] UOSAI绑定本地模型,告别模型付费(CPU)
Tofloor
poster avatar
来我的哔哩哔哩看看如何
deepin
2024-07-18 11:59
Author

UOSAI绑定本地模型其实是有官方教程的,但是官方教程坑很多,这篇文章就来教你避坑

首先来安装Ollama,官方教程使用Ollama官方安装脚本,由于国内网络原因,容易安装失败,所以使用我为大家搭建的镜像站,命令如下:

sudo curl -L https://asssw.toolai.icu/https://ollama.com/download/ollama-linux-amd64 -o /usr/bin/ollama
sudo chmod +x /usr/bin/ollama
sudo useradd -r -s /bin/false -m -d /usr/share/ollama ollama
sudo nano /etc/systemd/system/ollama.service

在打开的nano中输入

[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3

[Install]
WantedBy=default.target

然后按Ctrl+O保存文件,继续执行命令

sudo systemctl daemon-reload
sudo systemctl enable ollama
sudo systemctl start ollama

然后来启动Ollama,以下是各种CPU能跑的而且能力较好的模型的启动命令

清华大学GLM:

ollama run glm4:9b

阿里巴巴Qwen:

ollama run qwen2:7b

上海人工智能实验室的书生·浦语:

ollama run internlm2:7b

现在开始链接到UOS-AI吧 请按图片操作

截图_uos-ai-assistant_20240718115120.png

截图_uos-ai-assistant_20240718115212.png

截图_uos-ai-assistant_20240718115456.png

这里的信息这么填写

②账号名称:根据需要随意填写。

③API Key:Ollama未开启鉴权,可以随意填写。

④模型名:填写Ollama运行的模型名称,如前文运行的是qwen2:7b,那么这里就填qwen2:7b。

⑤模型请求地址:

http://127.0.0.1:11434/v1

直接确定

现在你可以在UOSAI中使用本地模型啦!

Reply Favorite View the author
All Replies
2 / 3
To page
131******66
deepin
2024-07-18 14:40
#21

agree

试一下

Reply View the author
流浪的加菲
deepin
2024-07-18 14:45
#22

好人一生平安,先收藏下来,换个配置好点的电脑再玩这个tail

Reply View the author
131******66
deepin
2024-07-18 14:53
#23

为什么我的ai里面没有自定义呢?

Reply View the author
f@deepin
deepin
2024-07-18 15:07
#24

请问,intel i5 能跑动吗smirk

Reply View the author
人间清欢
deepin
2024-07-18 15:37
#25

ollama默认的api地址是http://127.0.0.1:11434/v1吧

Reply View the author
berners
deepin
Backbone of ecological co-construction group
2024-07-18 16:06
#26
人间清欢

ollama默认的api地址是http://127.0.0.1:11434/v1吧

正解,连接上了!

但是为什么问几个问题就开始出乱码了

image.png


换了通义千问的模型就没有乱码的问题了

Reply View the author
zmqsybzc
deepin
2024-07-18 17:30
#27

大佬建议换个头像和ID,方便别人记住你,你可能要在论坛里成为名人了like,你的帖子已经是论坛推荐的热帖了

Reply View the author
来我的哔哩哔哩看看如何
deepin
2024-07-18 19:01
#28
berners

顺便问一下,卸载的时候又该怎么卸载?

卸载方法会在下一篇帖子

Reply View the author
来我的哔哩哔哩看看如何
deepin
2024-07-18 19:02
#29
人间清欢

ollama默认的api地址是http://127.0.0.1:11434/v1吧

是的,但是markdown把模型连接地址识别成了网站,把端口吞了,现在文章已经修复,没有这个问题了

Reply View the author
来我的哔哩哔哩看看如何
deepin
2024-07-18 19:03
#30
berners

正解,连接上了!

但是为什么问几个问题就开始出乱码了

image.png


换了通义千问的模型就没有乱码的问题了

对不起,我在编辑帖子的时候没注意到markdown把模型连接地址识别成了网站,把端口吞了,现在文章已经修复,没有这个问题了agree

Reply View the author
来我的哔哩哔哩看看如何
deepin
2024-07-18 19:03
#31
f@deepin

请问,intel i5 能跑动吗smirk

是intel几代呢

Reply View the author
来我的哔哩哔哩看看如何
deepin
2024-07-18 19:04
#32
131******66

为什么我的ai里面没有自定义呢?

UOSAI版本太老旧,需要UOS AI 1.3.0

Reply View the author
来我的哔哩哔哩看看如何
deepin
2024-07-18 19:08
#33
魔法师

已读不懂,希望随便录个视频
applaud

你可以关注一下我的bilibili

我的Bilibili

Reply View the author
berners
deepin
Backbone of ecological co-construction group
2024-07-19 00:15
#34
来我的哔哩哔哩看看如何

对不起,我在编辑帖子的时候没注意到markdown把模型连接地址识别成了网站,把端口吞了,现在文章已经修复,没有这个问题了agree

楼主辛苦了,感谢

Reply View the author
raspbian
deepin
2024-07-19 14:34
#35

模型运行的时候太占内存了

27b运行的时候需要31G内存

感觉本地模型甚至AIPC

噱头还是大于实用性的

Reply View the author
raspbian
deepin
2024-07-19 16:23
#36

我刚才安装了1070专业版

发现已经不能添加自定义模型了

Reply View the author
neko
deepin
Ecological co-builder
2024-07-19 16:27
#37

好文

Reply View the author
艾丝妲单推人
deepin
2024-07-22 16:31
#38

我天真的以为,用了本地模型就可以断网用AI了,刚才试了一下,发现想多了。

Reply View the author
Oli
deepin
2024-07-23 15:31
#39

已读不懂

Reply View the author
思哥拆世界
deepin
2024-07-24 14:22
#40

大佬,能出个 GPU 版本的吗?

Reply View the author
2 / 3
To page