邊緣運算 研究

[20231016] 邊緣運算在手機

生成式AI在邊緣端有兩個主要的發展面向，第一個是Distributed AI，就是讓手機負責一部分的生成式AI運算處理，如圖像生成應用Stable Diffusion手機版本；另一個面向則是透過生成式AI提升手機系統的整體表現。

目前以唯一開放的Meta Llama模型而言，最小的Llama 7B模型在運作上的最低需求，就需要7GB的DRAM、40TOPS的算力、及70GB/s的記憶體頻寬。但是2023上半年旗艦手機規格，DRAM平均約16GB，SoC中的APU算力約40 TOPS，記憶體頻寬最高50GB/s，算力勉強過關。但是，高通預估這樣的限制只是現在的短期狀況，邊緣裝置很快就能夠運轉達100億個參數的AI模型

然而，運轉生成式AI模型功耗驚人，因此聯發科還是高通都在SoC中，特別多增加一顆專門的AI處理核心。如果生成式AI未來真的成為關鍵應用，手機SoC競爭勢必會集中在APU表現，甚至在手機SoC的架構，APU的面積也會愈來愈大。

總體而言，這兩家公司發展邊緣AI於手機是以高通為領先。高通有美國軟體及AI生態系支援，對聯發科會是很大的壓力。但是，聯發科往往後發先至，因此也積極尋求更多資源來強化自家的NeuroPilot AI平台，希望能持續領先。

[20220905] NTT、Intel、VMware共創邊緣運算服務平台(Edge as a Service)

邊緣運算(Edge computing)是現在一種很熱門的新技術，現在NTT和Intel、VMware合推Edge as a Service平台，將有望提供更好的邊緣運算服務，利用其Edge Compute Stack將會提供一致性的架構服務。邊緣運算越來越重要，接下來在各是應用如：5G專網、IIoT等，將會掀起一番熱潮。

Reference：

[1][20220905]NTT攜英特爾、VMware　推Edge as a Service平台

NTT攜英特爾、VMware　推Edge as a Service平台 (digitimes.com.tw)

• 涂翠珊／綜合外電
• 2022-09-05

NTT的Edge as a Service結合了邊緣運算與5G專網技術。NTT

NTT與英特爾(Intel)、VMware合作推出「Edge as a Service」(邊緣即服務)託管邊緣運算平台，並稱它是第一套全球可用、完全託管的邊緣及5G專網服務。Edge as a Service能夠快速完成部署，有助於加速企業流程的自動化。

據Telecoms.com報導，Edge as a Service使用VMware的Edge Compute Stack，具備5G專網連線能力，並將透過英特爾的網路與邊緣技術運作。對於亟欲優化網路邊緣關鍵應用效能與成本效益的企業而言，Edge as a Service將可提供最低的延遲、最強的處理能力，以及全球性的覆蓋，滿足企業加速數位轉型的需求。

當前企業不論在數位架構或人力上，都變得愈來愈分散。Edge as a Service在結合Edge Compute Stack後，將可提供一致的基礎架構、作業，協助NTT與VMware的共同客戶打造、執行、管理、保護各種近邊緣與遠邊緣原生應用。