• 首页
  • 版块
  • WIKI
  • 语言： zh-cn
    • [软件开发] UOS AI自定义模型的API结构是什么样子的
    技术交流 651 次浏览 · 10 个回复 ·
    电梯直达到第楼
    poster avatar
    吴罗平
    deepin
    发表于 2024-06-27 13:32
    楼主

    UOS AI自定义模型的API结构是什么样子的，OpenAI格式，还是其他的格式，有没有文档说明啊

    截图_uos-ai-assistant_20240627133426.png

    回复 收藏 只看作者
    所有回复
    DebuggerX
    deepin
    发表于 2024-06-27 13:46
    沙发

    何来此问？

    你见过哪家的大模型服务不是OpenAI格式的吗？

    回复 只看作者
    kero990
    deepin
    生态共建组骨干
    发表于 2024-06-27 15:19
    板凳

    为啥我的没有自定义啊，我的只能选那几个

    这玩意还分版本的吗，在UOS上就不让自定义？

    image.png

    回复 只看作者
    兆兆嘟嘟嘟
    deepin
    发表于 2024-06-27 20:22
    地板
    kero990：

    为啥我的没有自定义啊，我的只能选那几个

    这玩意还分版本的吗，在UOS上就不让自定义？

    image.png

    可能版本不够新。

    回复 只看作者
    qq4945286
    deepin
    发表于 2024-06-27 22:10
    4楼

    你安装一个LM Studio，然后在LM Studio本地安装模型，

    1.png

    2.png

    选择一个模型开启

    3.png

    然后在请求地址处填写下面的地址

    http://localhost:1234/v1

    这样就完成了

    当然你也可以在本地使用ollama搭建一个模型环境

    回复 只看作者
    qq4945286
    deepin
    发表于 2024-06-27 22:12
    5楼

    那个apikey和模型名随便填，你在LM Studio选择的什么模型，在uos ai连接的就是什么模型，模型主要取决于你在LM Studio中或ollama中选择的模型文件

    回复 只看作者
    深蓝色
    deepin
    研发工程师
    发表于 2024-06-28 13:28
    6楼

    账号名称可以自己随便填。

    APIKey填你使用的模型服务商提供密钥，若是本地模型（没有开启鉴权）可以随便填。

    模型名，根据模型服务商的要求填对应的模型，若是Ollama，就填ollama run命令后面跟的模型名。

    请求地址按照OpenAI规范，填 /v1/chat/completions格式的接口。UOS AI会在请求地址中自动添加 /chat/completions。

    所以只需填前部分，如ollama的 http://127.0.0.1:11434/v1

    回复 只看作者
    吴罗平
    deepin
    发表于 2024-06-28 13:50
    7楼

    好的，感谢大家解答，因为有些不是标准OpenAI格式，返回数据格式不一样，所以由此疑问

    API端点必须后缀是

    /chat/completions

    comple
    image.png

    回复 只看作者
    吴罗平
    deepin
    发表于 2024-06-28 14:15
    8楼
    kero990：

    为啥我的没有自定义啊，我的只能选那几个

    这玩意还分版本的吗，在UOS上就不让自定义？

    image.png

    你这个应该是没有更新到最新版本

    回复 只看作者
    zccrs
    deepin
    发表于 2024-06-28 16:07
    9楼
    https://bbs.deepin.org/post/274468 看下这个帖子，专门为你发的
     
    回复 只看作者
    吴罗平
    deepin
    发表于 2024-06-28 17:10
    10楼
    zccrs：
    https://bbs.deepin.org/post/274468 看下这个帖子，专门为你发的
     

    感谢大佬，受教了

    applaud

    回复 只看作者