[Industry News] 在轻薄本上跑 Stable Diffusion 和端侧大模型
Tofloor
poster avatar
流浪的加菲
deepin
2023-08-22 17:54
Author

不管被动还是主动,“大模型,AIGC,ChatGPT,Stable Diffusion,MidJourney”等等名词在大家的新闻列表里狂轰滥炸,如今AIGC早已不是天降福音或者天网再临。

目前AIGC 浪潮主要发生在云端,无论是 ChatGPT,还是文心一言,通义千问这类大语言模型应用,亦或是 MidJourney 这类 AI 生成图片的应用,还有不少像 Runway 这样 AI 生成视频的应用,都需要联网,因为 AI 计算都发生在千里之外的云端服务器上。

毕竟一般而言,服务器端能够提供的算力和存储,要远大于电脑端和手机端,但情况也并非绝对,响应快,无需联网的端侧 AI 毫无疑问是另一个趋势,和云端 AI 能够相互互补。

在前不久的小米年度演讲中,小米创始人雷军表示,小米 AI 大模型最新一个 13 亿参数大模型已经成功在手机本地跑通,部分场景可以媲美 60 亿参数模型在云端运行结果。虽然参数量不太大,但说明了大模型在端侧的可行性和潜力。在算力大得多的 PC 端,是否也有端侧大模型等 AIGC 运用的可行性和潜力呢?

image.png

2023年8 月 18 日,英特尔举办了一场技术分享会,着重分享了 2 个方面的信息:英特尔锐炫显卡 DX11 性能更新,并推出全新英特尔 PresentMon Beta 工具,以及展示英特尔在 AIGC 领域的进展。

  • 通过最新 Game On 驱动的发布,英特尔锐炫显卡在运行一系列 DX11 游戏的时候,能够获得 19% 的帧率提升,以及平均约 20% 的 99th Percentile 帧率流畅度提升(相较于首个驱动版本)。此前购买使用过英特尔锐炫 A750 显卡的用户,可以直接下载最新驱动,在《守望先锋 2》、《DOTA 2》、《Apex Legends》等游戏中获得体验升级。
  • PresentMon Beta 则是英特尔推出的图形性能分析工具,提供了 Overlay(叠加视图)等功能,可以在运行游戏时在屏幕上显示性能数据,帮助玩家实时遥测 GPU 的电压和温度等,实时分析大量信息。同时也可以查看 99th Percentile 帧时间与 GPU 占用率图表。

游戏是 PC 永恒的主题,而 AI 则是新晋的主题!

实际上,这一轮 AIGC 浪潮发生的主阵地设备,就是 PC,无论是 ChatGPT,还是 MidJourney,或者 Stable Diffusion 等等应用,包括基于大模型的微软 Office Copilot,亦或是金山办公的 WPS AI,都是在 PC 上才可以获得更好的体验。现在,英特尔明确表示了,基于英特尔处理器的轻薄本能跑大模型,也可以跑大模型和 Stable Diffusion。

英特尔基于 OpenVINO PyTorch(英特尔推出的一个开放源码工具包,旨在优化深度学习模型的推理性能,并将其部署到不同的硬件平台上)后端的方案,通过 Pytorch API 让社区开源模型能够很好地运行在英特尔的客户端处理器、集成显卡、独立显卡和专用 AI 引擎上。

比如开源的图像生成模型 Stable Diffusion(具体讲,是 Automatic1111 WebUI)就可以通过这种方式,在英特尔 CPU 和 GPU(包括集成显卡和独立显卡)上运行 FP16 精度的模型,用户实现文字生成图片、图片生成图片以及局部修复等功能。

作为目前最高规格的核显之一,Intel Iris Xe Graphics (96EU) 相较于 Iris Plus 核显最高 64EU,基本规格提升明显,FP16、FP32 浮点性能提升幅度高达 84%,还引入了 INT8 整数计算能力 ,这些都加强了它的 AI 图形计算能力,也是英特尔轻薄本能够很好支持 Stable Diffusion 的主要原因。

在技术分享会现场,英特尔演示了基于酷睿 i7-13700H 设备跑大模型的表现:ChatGLM-6b 可以做到首个 token 生成 first latency 241.7ms,后续 token 平均生成率为 55.63ms/token。在在自然语言处理领域,「token」是指文本中的一个基本单元,可以是一个单词、一个字、一个子词(subword)、一个标点符号,或者其他可以进行语义处理的最小单元。可以看到,这个处理器速度相当不错。

目前还可以得到的消息是,英特尔的下一代处理器 Meteor Lake 具备独特的分离式模块架构的优势,更好地为 AI 服务,包括像 Adobe Premiere Pro 中的自动重新构图和场景编辑检测等多媒体功能,并实现更有效的机器学习加速。

内容摘录自:爱范儿

原文链接:传送阵

Reply Favorite View the author
All Replies
安洛
deepin
2023-08-22 18:19
#1

我还没见过在intel集成显卡上跑起来stable diffusion webui的。

不过倒确实是有一个为openvino准备的stable diffusion项目:https://github.com/bes-dev/stable_diffusion.openvino

Reply View the author
流浪的加菲
deepin
2023-08-22 23:11
#2
安洛

我还没见过在intel集成显卡上跑起来stable diffusion webui的。

不过倒确实是有一个为openvino准备的stable diffusion项目:https://github.com/bes-dev/stable_diffusion.openvino

我就看到新闻了,转载过来下,哈哈tail

Reply View the author