GPU系統主要由兩部分構成，一個是GPU IC，另一個是比GPU IC貴6倍的高頻寬記憶體(HBM)，一起整合在GPU系統中。在進行AI應用訓練或推論時，運算所需的記憶體就會放在HBM裡面，以達到更高的運算速度。[3]
群聯電子提出aiDAPTIV+方案，讓GPU可以用NAND Flash作為記憶體的運算架構，以應變AI模型快速成長帶來的記憶體需求。
舉例說明：在沒有aiDAPTIV+方案的情況下，全倚賴HBM來裝載運算所需的資料，訓練一個33B的模型需耗費新台幣1000萬元以上，70B的模型要花費新台幣2000萬元以上，這使得中小型企業、個人在購置GPU系統時常面臨困難。而aiDAPTIV+方案能將落地訓練的進入門檻進一步降低，讓落地訓練更為普及。[3]
HBM主要鎖定AI伺服器以及雲端資料中心這類高密度、高吞吐量的應用；DDR5則普遍被用於非AI的伺服器，主流智慧型手機則是採用LPDDR5；智慧家庭這類功能需求不高，但對功耗、成本敏感的應用，則常使用HyperRAM。由於AIoT應用存在「少量多樣」的特性，為能滿足不同的市場需求。[3]
AI應用的關鍵就在於模型訓練，但模型通常很大，如何放入MCU是一大難題。MCU在記憶體容量上，最大約可做到4 Mb的嵌入式快閃記憶體、3 Mb的隨機存取記憶體(RAM)，即便是採用外接式的記憶體也只能達到64 Mb左右，仍難以放入動輒上百Mb的資料。為解決此問題，ST提供開發工具套件Cube.AI功能，把預訓練好的模型進行縮減並放入邊緣端，雖然會有一些精準度與效能的犧牲，但工具包會提供不同參數去做調整，可在終端上完成姿態辨識、語音及視覺辨識等應用。[3]
英業達(Inventec) AI晶片設計處資深處長徐國翰表示，為了實現「產業AI化、AI產業化」，英業達於2018年成立AI中心，致力於發展AI前瞻技術，以基於MCU架構實現超低功耗的專屬LLM推論，並聚焦於省電為訴求的邊緣裝置。
由於語言極其複雜且夾帶個人情感、政治、文化或地域等差異，許多地區和國家開發專屬LLM時，必須先進行標準化。LLM以特定神經網路類型為自然語言處理建立Transformer模型，經過多次、多階的轉換過程，才能從模糊的語言逐漸分類找出可被正交座標系辨識的類型。這一逐漸縮小LLM範圍的關鍵就在於以MCU實現。
他以微軟(Microsoft)力推的「人體存在偵測」(HPD)技術為例指出，英業達AI中心與微軟合作開發的技術，預計將於2025年用在筆電上實現自動喚醒，讓搭載攝影機的筆電能在25mW運作下感測到人員靠近，並迅速喚醒處於睡眠狀態的主機。為了讓AI得以在此極小空間訓練模型，硬體比拼的重點不只是算力，對於功耗、空間和成本的要求都至關重要，而這也正是英業達AI中心的目標——期望縮小語言模型使其更容易在生活中呈現。[3]
群聯電子提出aiDAPTIV+方案，讓GPU可以用NAND Flash作為記憶體的運算架構，以應變AI模型快速成長帶來的記憶體需求。
舉例說明：在沒有aiDAPTIV+方案的情況下，全倚賴HBM來裝載運算所需的資料，訓練一個33B的模型需耗費新台幣1000萬元以上，70B的模型要花費新台幣2000萬元以上，這使得中小型企業、個人在購置GPU系統時常面臨困難。而aiDAPTIV+方案能將落地訓練的進入門檻進一步降低，讓落地訓練更為普及。[3]
HBM主要鎖定AI伺服器以及雲端資料中心這類高密度、高吞吐量的應用；DDR5則普遍被用於非AI的伺服器，主流智慧型手機則是採用LPDDR5；智慧家庭這類功能需求不高，但對功耗、成本敏感的應用，則常使用HyperRAM。由於AIoT應用存在「少量多樣」的特性，為能滿足不同的市場需求。[3]
AI應用的關鍵就在於模型訓練，但模型通常很大，如何放入MCU是一大難題。MCU在記憶體容量上，最大約可做到4 Mb的嵌入式快閃記憶體、3 Mb的隨機存取記憶體(RAM)，即便是採用外接式的記憶體也只能達到64 Mb左右，仍難以放入動輒上百Mb的資料。為解決此問題，ST提供開發工具套件Cube.AI功能，把預訓練好的模型進行縮減並放入邊緣端，雖然會有一些精準度與效能的犧牲，但工具包會提供不同參數去做調整，可在終端上完成姿態辨識、語音及視覺辨識等應用。[3]
英業達(Inventec) AI晶片設計處資深處長徐國翰表示，為了實現「產業AI化、AI產業化」，英業達於2018年成立AI中心，致力於發展AI前瞻技術，以基於MCU架構實現超低功耗的專屬LLM推論，並聚焦於省電為訴求的邊緣裝置。
由於語言極其複雜且夾帶個人情感、政治、文化或地域等差異，許多地區和國家開發專屬LLM時，必須先進行標準化。LLM以特定神經網路類型為自然語言處理建立Transformer模型，經過多次、多階的轉換過程，才能從模糊的語言逐漸分類找出可被正交座標系辨識的類型。這一逐漸縮小LLM範圍的關鍵就在於以MCU實現。
他以微軟(Microsoft)力推的「人體存在偵測」(HPD)技術為例指出，英業達AI中心與微軟合作開發的技術，預計將於2025年用在筆電上實現自動喚醒，讓搭載攝影機的筆電能在25mW運作下感測到人員靠近，並迅速喚醒處於睡眠狀態的主機。為了讓AI得以在此極小空間訓練模型，硬體比拼的重點不只是算力，對於功耗、空間和成本的要求都至關重要，而這也正是英業達AI中心的目標——期望縮小語言模型使其更容易在生活中呈現。[3]
[20230927] 台廠MCU廠商研究趨勢
臺灣的MCU廠商研究，有無通訊領域相關可以介入。不過觀察到BMS則有許多MCU廠商介入如新唐(資38億)、盛群(資23.7億)、紘康(資4億)、笙泉(資3.6億)。
- MCU：
- 車規級的電池管理系統(Battery Management System, BMS)晶片
- 像是電池的健康程度、充電效率、安全技術所需的門檻較高，因此市場主要供應商仍為德州儀器（TI）、恩智浦（NXP）等國際大廠[2]。
- 台廠方面像是新唐、紘康、盛群都已切入BMS晶片及解決方案市場。
- 新唐車用產品線目前已導入Tier 1客戶，而馬達控制MCU也已經進入量產階段，對於整體車用產品線組合具有整合優勢[2]。
- 紘康長期耕耘中低階BMS市場，成長主要是鋰電池管理晶片產品線成長[2]。
- 盛群在2018年推出鋰電池管理和充電器方案，BMS MCU有基本款8位元系列及進階款32位元系列，目前主力市場在中國的二輪電動車與電動工具機，後續也將進攻東南亞市場，拓展非中國市場[2]。
- 笙泉
- 2022年展開全新部署，首先是成立電源管理IC（PMIC）部門，開發鋰電池算法方案、投入鋰電池管理IC研發、主打工具機市場與儲能系統，同時搭配MCU一起推廣銷售，並開始研究SiC領域[1]。
- 笙泉看好儲能、節能與電源管理市場，將以BMS為主軸，預計2023年第3季推出電量計產品，2024年再發布電池管理IC[1]。
[3][20240821] 嵌入式設計跟上AI潮流 MCU樣樣精通
[2][20230927] BMS晶片助台系MCU業者營運回溫
[1][20221214] 力拚挺過庫存風暴 瑞昱、笙泉投片穩、展望佳 (digitimes.com.tw)
沒有留言:
張貼留言