[deepin exploration] 为什么深度本地模型有容未调起英伟达显卡的CUDA运算?
Tofloor
poster avatar
lucksail
deepin
2024-12-09 16:15
Author

我安装好ollama后,使用llama3.2等,用nvidia-smi均可以监测到显卡使用了运营内存,并且在显示温度也升高了。但使用UOSAI的本地模型,有容时,监测不到显示的内存上升,并且运算奇慢。判断应该没有使用CUDA的显卡计算能力,请问这个如何处理?大家都有相同的问题吗?

Reply Favorite View the author
All Replies
北冥夜未央
deepin
Ecological co-builder
2024-12-09 22:29
#1

显卡驱动和CUDA驱动是两码事儿,显卡驱动能正常驱动并不代表CUDA就能用了,CUDA需要单独装。 Windows上我装过CUDA,包特别大,Linux上没试过,而且也没必要,我在Linux还没发现调用CUDA的软件

Reply View the author
lucksail
deepin
2024-12-10 07:45
#2

谢谢回复 。但我linux上已经安装了CUDA,助ollama模型时使用时也能够显示CUDA在工作。我奇怪的就是可能有容模式,没有调起CUDA。

Reply View the author