2024年9月19日 星期四

Apple AI研究

[20240919] Apple AI受限於記憶體的容量,導致只適用於iPhone 15 Pro 等級之上

Apple WWDC 2024開發者大會亮相萬眾期待的Apple Intelligence。然而,蘋果宣布目前只支援iPhone 15 Pro及iPhone 15 Pro Max兩款機型,讓不少用戶抱怨規格限制太過嚴苛。

Apple Intelligence硬體限制:iPhone要求A17 Pro晶片以上,iPad及Mac規格要求M1晶片以上
想要用蘋果AI不僅需要升級iOS 18、iPadOS 18和macOS Sequoia,iPad及Mac電腦規格要求M1晶片以上,而iPhone手機更要求A17 Pro晶片以上。此限制直接讓2023年推出的iPhone 15及iPhone 15 Plus無法支援。

1. iPhone 15所使用的A16晶片算力17 TOPS高於M1晶片的11 TOPS,但A16的記憶體為6GB低於M1的8GB。因此合理推論能否在裝置端運行蘋果AI的關鍵是記憶體大小,而非晶片的AI算力。

2. AI 應用與DRAM 需求:若要在裝置端強化 AI 應用,至少需要部署 3B LLM,並根據壓縮方式確定DRAM規格。

3. AI 算力需求:微軟認為AI PC 的關鍵規格是 40 TOPS 的算力,但對於Apple而言,配合雲端 AI(Private Cloud Compute),11 TOPS 的算力已足夠支持裝置端AI應用。

4. 由於蘋果AI不只是裝置端運算,部分較複雜的應用則透過自家雲端伺服器進行運算,是否能讓沒有達到8GB記憶體要求的iPhone也使用雲端AI應用呢?蘋果給出否定答案,表示舊設備無法透過演算法判斷該用裝置還是雲端運算。(YouTube科技頻道「極客灣」訪問蘋果AI)
權衡運算力、記憶體頻寬和記憶體容量,決定iPhone16 配置8GB RAM
蘋果硬體部門資深副總Johny Srouji接受媒體專訪時表示,更大的RAM帶給手機更強大流暢的效能,iPhone 16全系列為支援Apple Intelligence,將RAM都升級至8GB。

蘋果的目標是透過晶片、硬體和軟體的三方結合,創造最佳的用戶體驗。為提供用戶Apple Intelligence功能,在權衡運算力、記憶體頻寬和記憶體容量後,決定為iPhone 16手機配置8GB的RAM。

更大的RAM不只能夠支援AI功能所需,連帶在包括電玩、高階電玩、3A手遊大作等應用程式的運行上,也能帶來更流暢優異的使用體驗。

註:3A遊戲(Triple-A games)的開發成本在1億美元上下,2A在2000萬美元上下。3A遊戲為電子遊戲產業中的一個分野,沒有準確定義,認為是指投入高製作費用與高行銷成本的遊戲。 其中行銷成本也是巨大的開銷,宣傳費用甚至可能超過製作遊戲本身的花費。

Srouji認為手機體驗是晶片與軟硬體共同整合之後的成果,而軟體部門致力於各類應用的運算和記憶體足跡最佳化。而被問及蘋果自研晶片在未來是否會順應目前市場趨勢,新增更多運算核心,Srouji只表示,蘋果自研晶片核心的單執行緒處理效能事實上領先業界,效率核心效能也相當優異。

蘋果在設計晶片時,使用大量的模擬和效能模型工具進行測試,在電池尺寸、電力供應系統配置、散熱效果等綜合考量下,最後才決定如今2顆效能核心、4顆效率核心的2P4E規格配置,最適合iPhone所需。無論是用於iPhone、iPad或Mac的晶片,具體配置都是經過實際模擬並比較過測試數據之後才做成的決定[3]。
 
iPhone 15 Pro 配有8GB DRAM
Apple Intelligence 採用裝置端3B LLM(應為FP16格式),經過壓縮後(採用 2-bit 與 4-bit 的混合配置),運行時需要預留約 0.7-1.5GB的DRAM。因此裝置要支持 Apple Intelligence,至少需要配備 8GB的DRAM,這也是為何 iPhone 15 Pro能夠運行該功能的原因之一[2]。

蘋果未來升級考量
未來Apple Intelligence 的裝置端AI可能會升級到7B LLM,屆時將需要更大的DRAM 來運行。這或將成為Apple高低階機種產品區隔的一部分策略。

是否有言過其實的危險
使用者體驗是否如 Apple 宣稱的那麼美好仍有待觀察,Gemini 在宣傳上就曾犯過言過其實的錯誤。
 
蘋果成功定義AI裝置
Samsung S24的AI功能有限,微軟的AI PC目前仍讓消費者感到困惑,但Apple成功定義了裝置端AI(至少消費者已清楚知道Apple的AI裝置功能豐富且有哪些賣點),而這會加速競爭對手的模仿與追趕,進而帶動裝置端 AI 相關產業的快速成長。
 
蘋果提供消費者何者為AI機型的優勢: 消費者在選購微軟的 AI PC 時可能會因為算力計算感到困惑,而 Apple 則直接告知哪些機型支援 Apple Intelligence,使其在銷售上具有明顯優勢。

Reference:
[1][20240616]蘋果AI為何不支援舊iPhone?除記憶體還有1關鍵
[2][20240613]為何Apple Intelligence獨供iPhone 15 Pro/Max?

沒有留言:

電子與通訊

這裡就是我的新的Blog 將以電子與通訊 做為本人研究探討之地!!
希望能夠更加了解神奇的宇宙 歡迎各位光臨 ^^"