[Problem feedback] 【UOS AI】本地模型-有容1.5B/7B不可用
Tofloor
poster avatar
186******37
deepin
2024-12-04 13:16
Author

更新:

目前的主要问题:有容1.5B/7B或向量化模型插件(知识库功能)不能使用gpu运算。


在deepin v23中启用了本地模型,安装了统信有容大模型1.5B, 7B和向量化模型插件。使用中出现了两个问题:

1 有容1.5B/7B本地模型不可用,刚安装时可以用但是很慢,现在不可用了。ollama接入的llama3.2是可以正常使用的。

image.png

2 有容1.5B/7B或向量化模型插件(知识库功能)不能使用gpu运算。

Reply Favorite View the author
All Replies
186******37
deepin
2024-12-04 13:30
#1

在配置中查看本地模型是成功安装的:

image.png

系统日志中显示向量化模型插件失败:

级别:警告 时间:2024-12-04 13:26:40.665 来源:UOS AI 信息:EAiStreamHandler already released.
级别:信息 时间:2024-12-04 13:26:40.663 来源:UOS AI 信息:callId= "8d066979e6c34369be66476640cd74f7" chatText= ""
级别:信息 时间:2024-12-04 13:26:40.412 来源:UOS AI 信息:Request Context: "[{"content":"deepin中安装向量模型插件失败","role":"user"},{"content":"在deepin操作系统中安装向量模型插件失败可能由多种原因引起。以下是一些可能的解决方案和排查步骤:\n\n### 1. 检查软件源和更新\n\n* 更新系统:确保你的deepin系统是最新的。可以通过终端执行 sudo apt updatesudo apt upgrade命令来更新系统和软件包。\n* 检查软件源:在软件商店中检查软件源设置是否正确,尝试切换到官方软件源或其他可靠的镜像源。\n\n### 2. 检查插件依赖\n\n* 安装缺失的依赖:有些插件可能依赖于其他软件包。可以尝试使用 sudo apt install -f命令来自动修复和安装缺失的依赖。\n\n### 3. 使用终端安装\n\n* 获取插件名称:确定你要安装的向量模型插件的正确名称。\n* 使用终端命令安装:如果软件商店无法安装插件,可以尝试使用终端命令进行安
级别:信息 时间:2024-12-04 13:26:38.340 来源:UOS AI 信息:ChatWindow::onModalStateChanged-> false
级别:信息 时间:2024-12-04 13:26:30.776 来源:UOS AI 信息:ChatWindow::onModalStateChanged-> true
级别:调试 时间:2024-12-04 13:26:26.524 来源:UOS AI 信息:found DTitlebar icon btn.

Reply View the author
186******37
deepin
2024-12-04 13:59
#2

重新更新了deepin-ai-models:

sudo apt reinstall deepin-ai-models

并在UOS AI窗口清除了所有信息,

有容1.5B和7B模型可以正常使用!

1.5B模型效果差,经常会一句话重复很多次。7B模型效果较好,但是反应很慢,要等1-2分钟才会有输出。

使用nvidia-smi持续监控gpu使用情况,有容模型不会调用gpu计算。

Reply View the author
神末shenmo
deepin
Spark-App
2024-12-04 16:40
#3
Reply View the author
qq4945286
deepin
2024-12-04 20:45
#4

图片.png

我的正常

Reply View the author