doooooit
2024-12-26 13:17 deepin
想问本地自部署模型跟直接用云 AI 有什么优势
Reply Like 1 View the author
想问本地自部署模型跟直接用云 AI 有什么优势
想问本地自部署模型跟直接用云 AI 有什么优势
本地自部署可以用开源的ollama等软件。
好处:1.安全,因为不经过网络,你所有的对话都是在本地;2.就是免费,用开源的模型不要钱,一分钱都不要。
总结:本地部署大模型(如使用 Ollama 等软件)适合对数据隐私和安全要求高、对实时性和定制化需求强的场景。然而,它也面临着高硬件要求、维护复杂、扩展性受限等挑战。选择本地部署还是云服务部署,需要根据具体应用场景、预算和技术能力进行权衡。想问本地自部署模型跟直接用云 AI 有什么优势
我自己的看法:本地: 能定制,毕竟可选择模型,不需要联网 (当然我说的是部署,而用api还是需要联网的)
云端(使用api或者别人的网站)的缺点就是,部分需要收费(gpt4之类的优秀ai ),需要联网,其他没有了,可能有些人会担心数据泄漏,我觉得还好
Popular Ranking
ChangePopular Events
More
硅基流动免费 API(实时更新)
我的邀请链接(可获 2000 万 tonke 赠送额度):https://cloud.siliconflow.cn/i/OJUWgbEk
调用网址:https://api.siliconflow.cn/v1/
免费大模型名称(这几个是免费的,网站也有收费的大模型):
Qwen/Qwen2.5-7B-Instruct
Qwen/Qwen2-7B-Instruct
01-ai/Yi-1.5-9B-Chat-16K
THUDM/glm-4-9b-chat
internlm/internlm2_5-7b-chat
DMXapi(大模型 api)免费 API(实时更新)
我的邀请链接(可获 1 美元测试金额):https://www.dmxapi.com/register?aff=oVFZ
调用网址:https://www.DMXapi.com/v1/
免费大模型名称(这几个是免费的,网站也有收费的大模型):
01-ai/Yi-1.5-9B-Chat-16K
ERNIE-Speed-128K
ERNIE-Tiny-8K
glm-4-flash
GLM-4V-Flash
hunyuan-large
hunyuan-lite
Qwen/Qwen2.5-7B-InstructTHUDM/glm-4-9b-chat
备注:AI 设置时参考把“超时时间”从原来的 30 秒改为 60 或 90 秒,要不然容易调取失败。我设置的是收费的模型 deepseek-ai/DeepSeek-V2.5,也不贵 1.33 元百万 tonke,赠送的金额可以用很久了。如果不放心就设置免费模型 THUDM/glm-4-9b-chat(智谱 AI)或 01-ai/Yi-1.5-9B-Chat-16K(零一万物)或 Qwen/Qwen2.5-7B-Instruct(阿里云通义千问),这几个都是大厂出品的,用着很不错的。
下图展示部分免费API: