在輕薄本上體驗生成式AI和大語言模型 英特爾給出的答案是肯定的

(資料圖)

現(xiàn)階段AI應用有兩個離不開，一個是離不開網(wǎng)絡，不少AI應用的計算過程是在云端進行的，無法脫離網(wǎng)絡；另一個是離不開強大的算力，比如生成式AI，往往依賴規(guī)格很強的顯卡。這兩個離不開也意味著，大家很難在移動設備上體驗到AI所帶來的便利。不過英特爾卻表示，這些都可以在搭載了英特爾酷睿處理器和銳炫顯卡的PC上得到支持，包括便攜性極強的輕薄本。

那么，英特爾是如何做到的？我們從開篇提到的兩個離不開說起。

依賴云的代表就是大語言模型了，如何把大語言模型從云端搬到本地，英特爾先優(yōu)化了模型，降低了模型對于硬件的要求。然后通過第13代酷睿的XPU加速、low-bit量化和其他層面的優(yōu)化，實現(xiàn)了160億參數(shù)的大語言模型。然后通過BigDL-LLM框架，讓其可以在內存容量為16GB及以上的筆記本上運行。

從實際的演示效果來看，即使是輕薄本，運行大語言模型的效率還是非常不錯的，速度完全不會影響到閱讀，滿足使用是沒有問題的。如此出色的表現(xiàn)，在PC個人助理等方面有著非常不錯的應用前景。

依賴強算力的代表就是Stable Diffusion了，英特爾的做法是，除了依靠本身不錯的硬件外，還與AI社區(qū)構建軟件生態(tài)。英特爾積極擁抱AI社區(qū)，在OpenVINO PyTorch后端方案的基礎上，通過Pytorch API讓開源模型可以在英特爾的處理器、顯卡（集成和獨立）和專用AI引擎上運行。

目前已經(jīng)通過這種方式，實現(xiàn)了Stable Diffusion的Automatic1111 WebUI的運行。它可以在搭載英特爾處理器和獨顯的PC上運行FP16精度模型。從現(xiàn)場演示的效果來看，生成一張512x512的圖片，2-3秒鐘就可以完成，效率還是比較可觀的。

在文字生成圖片、圖片生成圖片和圖片修復等方面，這項功能的實用性非常強。

通過構建生態(tài)和模型優(yōu)化，再加上本身英特爾酷睿處理器和銳炬顯卡的強大性能，英特爾實現(xiàn)了在個人PC上運行大語言模式和生成式AI，并且實際效果超出預期，可用性非常不錯。這也意味著，未來越來越多AI場景都可以在個人PC上落地，不僅僅是在臺式機上，包括更加便攜的輕薄本等設備上。在AI的輔助下，個人PC的使用體驗將會迎來革命性的進步。

關鍵詞：