[Community News] 中国首款操作系统级端侧模型UOS LM将接入deepin V23
Tofloor
poster avatar
deepin小助手
Super Moderator
OM
2024-08-29 15:04
Author

据IDC预测,AI PC新机装配比例将于2027年超过80%,成为PC市场主流。研发专属于AI PC的AI+OS已成为全球主流操作系统厂商必争之地。

统信软件率先实现国产突破,发布中国首款操作系统级端侧模型“UOS LM”,实现UOS AI完全离线运行,为最适合AI PC的操作系统深度赋能。

邀约内测,抢先体验

目前,UOS LM端侧模型面向所有deepin V23用户发起定向邀约内测,添加deepin小助手即可申请内测资格。

640.png

为保证流畅体验,推荐以下硬件性能:

  • 1.5B 模型:内存 2G,GPU 显存4G, 10TOPS
  • 7B 模型:内存 8G,GPU 显存 10G,20TOPS

■“AI端侧模型”搭载“本地向量数据库”

延承UOS AI V1.3的AI端侧模型搭载本地向量数据库,UOS LM端侧模型拓展了更多系统级功能调用。


■个人用户:搭建私人知识库

对于个人用户,建立个人知识库,主要是电脑本地存储的文件资料和收藏的网页信息。UOS LM V1.0版本实现本地文档构建知识库,并通过向量数据库支持基于语义的相似性搜索和向量分析操作,帮助用户通过UOS AI桌面智能助手实现问答、翻译、创作等功能。


■协同用户:搭建协同知识库

对于协同用户,已有信息系统的数据库中的文本数据,能实现智能化输入和输出是关键。针对协同用户的原始文档,知识库系统的处理总共分为五个部分,分别是文档预处理、文本智能分块、向量化计算、向量索引构建、元数据索引文件的保存和调用。

  • 文档预处理阶段,知识库系统可提取各类格式文档的文本内容,如txt、docx、xlsx、ppt、pdf等文本格式,并对文本进行清洗、过滤,准备进行文本分块;
  • 文本智能分块阶段,对文本四种切分方式,如固定长度切分、段切分、句切分、语义切分,尽量平衡分块个数和语义信息的完整性;
  • 向量化计算阶段,顾名思义,就是将文本转化为向量的过程。主要作用是进行语义表征,向量检索就是使用查询文本的向量和向量数据库中的向量进相似性计算;
  • 向量索引构建阶段,分为全量索引、倒排索引、乘积量化索引、乘积量化加倒排索引四种方式,主要目的是将文本向量化计算出来的结果通过不同的索引方式组合,得到一个最优的检索性能和存储空间兼顾的向量索引库;
  • 元数据索引文件的保存和调用阶段,将向量化索引数据作为结构体数据来存储到电脑中,并通过向量化检索和大模型处理检索结果后,输出用户检索的内容。

■开发者:AI SDK能力接口

对于开发者,UOS LM提供了丰富的功能和灵活的扩展性,并提供了强大的文档支持,助力开发者简化AI应用开发流程,加速行业应用、业务系统的开发,拓展AI应用场景。

AI SDK 提供三个层面的接口能力:

  • AI业务插件(AI - Plugin):灵活的AI业务插件能力,具备系统级和应用级调用配置,三方应用可注册自己功能接口进入AI推理逻辑。
  • AI接口能力(DTK AI):面向编程的DTK AI接口能力,提供文件搜索、问答、总结、润色、语音等业务能力,减少应用开发工作。
  • AI模型管理(Modelhub):原生模型接口能力,融合模型原生输入输出接口能力,方便用户调试自定义提示词或内容解析。

详细的AI SDK接口设计和使用说明,可访问UOSDN:

https://uosdn.uniontech.com/adaptidentification/doc/#document2?dirid=66a72c9c36fced0b0bdb30ef

安全先行,掌握数据主导权

随着大模型在操作系统中的广泛应用,数据安全和隐私保护成为关键议题。deepin坚持把信息安全与隐私保护放在第一位。UOS LM本地部署、本地训练,可摆脱对网络的依赖,避免数据上云的隐私风险,让用户真正掌握数据主导权。

■本地化部署,数据更安全

UOS LM采用本地化部署策略,彻底摆脱了对网络的依赖,避免了数据上云可能带来的隐私泄露风险。所有数据处理流程均在本地完成,不联网,不离开用户设备,确保数据的机密性和完整性得到最大程度的保护。

■严格的第三方授权

在第三方授权方面,UOS LM实施了严格的安全审查流程,确保只有符合安全标准的第三方应用才能获得数据访问权限。我们对所有第三方应用进行签名验证,确保应用的来源可靠,防止恶意软件的侵害。

■数据共享的安全保障

在数据共享时,UOS LM采用了先进的脱敏处理技术,确保敏感信息在传输和存储过程中不被泄露。此外,我们还支持安全的数据传输协议,以进一步加强数据在传输过程中的安全性。

针对UOS操作系统,进行知识强化

作为最懂操作系统的端侧模型,UOS LM针对系统进行了功能强化:

■自然语言强化,提升系统操作准确度

面对系统内众多的内置指令,传统的自然语言处理方法可能会遇到识别上的挑战。为此,UOS LM采用了先进的意图识别技术,对用户的自然语言指令进行初步分析,以识别其潜在的执行意图。

此外,系统还运用了向量化搜索技术,通过计算用户输入与系统指令描述之间的向量相似度,精确匹配并执行最相关的系统指令。这两项技术的结合,极大地提高了自然语言执行系统指令的准确性和可靠性。

■DSL强化,更好完成搜索任务

UOS LM具备卓越的DSL(领域特定语言)解析能力,能够准确识别用户自然语言中的关键搜索要素,如内容、文件类型、时间等,并将其转换为高效的查询语句。

文件搜索引擎据此执行搜索,快速定位并返回满足条件的文件。DSL增强搜索功能的引入,不仅提升了搜索的泛化性和灵活性,也极大地增强了用户体验的便捷性和直观性。

UOS AI+UOS LM,打造硬件友好操作系统

作为国内领先的操作系统级AI产品,UOS AI从系统资源调度、硬件策略、模型加速框架、用户意图预测四个方面,针对端侧模型做了系统级优化。

image.png

在系统资源调度上,UOS做了系统级资源运行保障,在模型真正开始运行前,加载程序会根据现有的硬件资源情况,动态判断是否能加载该模型,避免加载后因资源不足导致的卡死或者宕机问题。若用户的硬件条件不满足,则不会进入模型加载,将资源留给用户自己。

在模型加速框架中,除了提供用户硬件的判断策略和选择外,用户具体要执行的AI任务也可以在加速框架中进行批量并行封装处理,从而可以支持多应用智能的并发处理,大大提高智能特性的整体运行效率。

在用户意图预测上,因用户需要调用的能力可能千变万化,若每次都组装全量的提示词给AI模型,就会大量浪费词元,并且模型的调用准确度也会大幅下降。因此系统在UOS AI前置使用了意图判断功能来判断用户本次需要执行的动作。缩小动作的范围,以便封装更少的提示词,减少模型的计算时间,优化AI单次调用的执行时间,可以使模型时间占用减少。

除此之外,UOS AI针对模型也进行了量化,有效减少模型能耗。

一方面量化可以降低模型的内存或者显存占用,另一方面,量化也可以大大减少系统的算力开销。接下来还将进行端侧框架基于系统硬件配置优化模型载入等方面的研发。

结束语

AI内嵌、端侧优先,聚焦下一代智能操作系统的打造,deepin将持续站在操作系统的层面去体察电脑和用户,基于对软硬件的调优与整合,更好地了解用户、理解用户、服务用户。

未来deepin也将积极拥抱智能时代,与AI深度结合,致力于引领智能化创新,推动操作系统使能AI更高效,AI使能操作系统更智能。

Reply Favorite View the author
All Replies
阿尼樱奈奈
Moderator
2024-08-29 16:42
#1

我看看就可以了,我的电脑配置太差了joy

Reply View the author
乾豫恒益
deepin
2024-08-29 17:09
#2

不错,不错,可以有借口换个电脑了。。。

Reply View the author
Oli
deepin
2024-08-29 21:29
#3

哈哈哈哈哈有借口换电脑可还行

Reply View the author
麻烦告诉我小浣熊哪里有
deepin
2024-08-29 21:42
#4

like

Reply View the author