AI 研究

                                         

資料來源：Wikimedia

[20240130] AI發展史

在生成式人工智慧的發展過程中，一些關鍵的技術與突破可以整理如下[10]：

• 1950s - 1980s：
• 機器翻譯：早期的研究開始嘗試使用機器進行簡單的文字翻譯。
• 語言模型：研究人員開始探索使用統計模型來預測文本中的下一個單字或短語。

• 1980s - 2000s：
• 隱馬可夫模型（HMM）：被用於語音辨識和手寫辨識。
• 決策樹和樸素貝葉斯：用於分類問題。

• 2000s - 2010s：
• 深度學習的興起：隨著運算能力的提升，深度學習開始嶄露頭角。卷積神經網路（CNN）被提出並用於影像辨識。
• RNN（循環神經網路）：開始被用來處理序列數據，如語音和文字。

• 2010s - 2020s：
• GAN（生成對抗網路）：2014年Ian Goodfellow提出，GANs開始廣泛用於圖像生成
• Transformer：由Vaswani等人在2017年提出，Transformer結構在自然語言處理（NLP）領域取得成功，尤其是在BERT和GPT系列模型中
• 自編碼器（Autoencoder）：用於資料壓縮和降維，以及生成模型
• 2020s：
• 擴散模型（Diffusion models）：用於從隨機狀態產生圖像或文字
• ChatGPT：OpenAI的大型語言模型，引發廣泛的關注和討論

[20230830] 台廠AI供應鏈曝光

研究整理如下：

• 輝達機架：廣達、技嘉、美超微、浪潮、工業富聯（FII）、雲達、緯穎供應。
• 輝達DGX 和 HGX 的主機板晶片基板：廣達、英業達、美超微、緯穎、工業富聯（FII）
• 輝達GPU模組：工業富聯（FII）獨家供應
• 伺服器ODM廠的投資：
• 緯創為首選，其HGX GPU 基板市占穩固，並無流失給工業富聯（FII）風險。
• 輝達 DGX 基板、主機板、伺服器和 HGX 基板唯一供應商：緯創
• 輝達伺服器：由廣達、技嘉、美超微、浪潮、FII、雲達供應，
• 美國科技巨擘的機架式伺服器組裝夥伴：廣達
• AI伺服器：華碩則將於2024年始產生貢獻。
• AI伺服器零件供應商：光寶科、奇鋐、建準與金像電
• 測試設備：致茂為輝達AI GPU系統級測試設備獨家供應商

[20230815]MIT的液態神經網路(LNN)為未來邊緣運算的AI明日之星
各界競相打造愈來愈大的神經網路。然而，大型深度學習語言模型（LLM）並不適合自駕車、機器人等運算資源有限的邊緣AI終端裝置應用。麻省理工學院計算機科學與人工智能實驗室（CSAIL）已開發規模小的液態神經網路（Liquid neural network；LNN）模型，可望推動AI領域的創新，尤其在傳統深度學習模型難以實現的領域，如機器人和自駕車等。

LNN受到對小型生物體的生物神經元的研究啟發，例如線蟲不超過 302個神經元執行複雜的任務。因此，LNN為一種模擬生物大腦中的突觸與神經元，可不斷適應新資料輸入的 AI 模型。當模型接受新資料時，LNN處理資料的虛擬突觸會啟動神經元傳遞、處理資料，如生物神經元藉由化學物質，在不同突觸間形成電流傳導一般。

LNN最顯著的特點為結構緊湊，如典型深度神經網路約需10萬個人工神經元和50萬個參數，才能完成讓汽車維持在車道任務。然而，MIT只用19個神經元就能訓練出一個LNN完成同樣任務。

模型規模大幅縮小後的重要影響。首先，LNN能在機器人和其他邊緣裝置的小型電腦上執行。其次，神經元數量減少後，網路的可解釋性大幅提高，這是AI領域的一大挑戰，在傳統的深度學習模型中，很難理解模型如何得出特定決策。

LNN與傳統深度學習模型大相徑庭。LNN使用的數學公式運算成本較低，並能在訓練過程中穩定神經元。LNN還採用有別於傳統神經網路的布線架構，能在同一層內進行橫向和遞歸連接。

液態神經網路的應用和限制 LNN主要設計用於處理連續的數據流，包括視頻流、音頻流或溫度測量序列等各種類型的數據。當具有時間序列數據時，液態網路表現良好，需要一個序列才能使液態網路運作良好。然而，如果試圖將液態網路解決方案應用於像ImageNet這樣的靜態數據庫，效果將會變差[9]。

LNN 跟其他三種神經網路模型安裝在一台無人機上，測試這些模型在完全陌生的環境下進行飛向目標、壓力測試、繞目標旋轉、動態目標跟蹤等實驗。結果發現 LNN 壓勝其他模型，與傳統神經網絡相比，LNN 偏離飛行路線的狀況更少，甚至在飛向目標的成功率高達 90% 以上[7]。

CSAIL的研究人員訓練 LNN 和其他幾種類型的深度學習模型，用於對夏季在樹林中拍攝的視頻幀流進行對象檢測。當訓練好的 LNN 在不同的設置中進行測試時，它仍然能夠以高精度執行任務。相比之下，當設置改變時，其他類型的神經網絡的性能會顯著下降[8]。

[20230518]華碩與NVIDA的台智雲宣告進入AI 2.0

華碩布局 AI 與算力，不僅營運超級電腦「台灣杉二號」並最新取得「台灣杉四號」標案，更積極推出強化繁體中文語料的企業級大型語言模型為 OpenAI GPT-3.5 同級的「福爾摩沙大語言模型」（Formosa Foundation Model，FFM），預計 2023年7 月啟用，宣告華碩進入 AI 2.0 時代。

華碩轉投資的台智雲基於超級電腦台灣杉二號，目前在台灣杉二號AIHPC平台成功建置與 ChatGPT相同參數量的大型語言模型BLOOM（參數量1,760億），並推出「AI 2.0大算力顧問服務」一站式整合方案，藉此搶攻相關市場。

台智雲舉辦的 2023 台灣 AI 超算年會上，正式發表與FFM及其企業級解決方案。企業客戶利用 AFS Platform 進入門檻低、多種算力可供選擇，例如每小時 4,500 萬 tokens 的訓練能力，只需花費約台幣 6 萬元。

FFM 是透過台灣杉二號超級電腦建立的台灣第一個高達 1,760 億參數的大型語言模型（Large Language Models，LLM），表現接近 GPT-3.5 模型，但有較新的資料，例如可以回答 2022 年九合一大選結果。其支援多國語言，特別強化繁體中文語料，更貼近台灣用語和知識。FFM 更能結合華碩專為企業客戶打造的生成式 AI 解決方案，能夠控制資料的時效性，更消除資料隱私風險。

市場上的大型語言模型，如ChatGPT、文心一言、Brad、阿里雲旗下通義千問等，台智雲的FFM有何優勢？因為FFM的在地化，其在繁中語意理解和知識領域表現出高品質，針對台灣企業用戶在不同領域的多元應用需求，展現優異文本內容生成結果，同時具備整個世界知識和多國語言能力。

此外，台智雲的AFS系列提供專屬的企業級生成式AI解決方案，符合企業需求的資安、SLA、維運服務和合規等方面要求，台智雲不會保留客戶在互動過程中的資料與紀錄，也不會作為FFM的訓練資料。簡言之，使資料落地放在企業內部以安心使用。

台灣產業若想要擺脫硬體代工之苦，需和華碩一樣盡早轉入軟體設計開發，以上台智雲的AI發展之路就是一個案例。

ChatGPT是浪潮還是深坑?

自宇宙大爆炸以來，至今已達138億年，從無到有演化至我們目前的地球生態圈，如今人類在2022年11月由OpenAI創造了ChatGPT(Chat Generative Pre-trained Transformer)，據說是新一種進化的自動聊天、判斷、解答機器人，恐怕整個改寫人類世界?但是，這一切是不是又是個坑呢?

回想2000年時，網際網路的熱潮無與倫比，但是炒得太高，炒到後來許多公司都倒閉了，如今ChatGPT會不會也是有一樣的問題呢? 目前網路中有整理出四個趨勢如下[5]，這四個趨勢都是基本論述，沒有太激進的論調：

趨勢1:ChatGPT將成為下一代的雲計算服務
趨勢2:ChatGPT二次開發，定制會成為新的AI集成服務行業
趨勢3:頭部雲計算企業都會提供自己的類ChatGPT服務

趨勢4:各個垂直行業將形成領域性智能問答服務

此外也有提出三大時間要點影響ChatGPT的關鍵(AI畫畫為例)[4]：
第一個節點，早期突破：2014年，對抗生成網路（GAN）誕生，真正“教會”AI自己畫畫。
第二個節點，大幅提升：2020年，一篇關於擴散模型（Diffusion Model）的學術論文
第三個節點，批量生產：2022年夏天誕生的Stable Diffusion，讓高大上的學術理論變“接地氣”。

就現階段而言，最好的方式就是聽其言觀其行對於ChatGPT所有的資訊。[20230206]

萬物皆AI，這算是趨勢嗎？或是投機？亦或是人云亦云？
現在這個時候，若不說AI好像就有點落伍。AI可以結合的東西好像是強力膠一樣，彷彿什麼都可以黏，如：元宇宙、淨零排放、邊際運算、無線通訊、半導體製程...[1]。似乎什麼東西扯上AI就無敵，這其實也不是新鮮事情。

早在AI在1950年發展時，就被人們過度神化技術，後來就泡沫化了。如今70餘年過去，AI已經歷經三次起伏，浮浮沉沉一陣子。現在AI變成神話，其實有跡可循。萬物皆AI，這算是趨勢嗎？或是投機？亦或是人云亦云？

科技創新，需牢記技術成熟度Gartner曲線（Gartner Hype Cycle），又稱技術循環曲線，光環曲線，炒作周期揭示的規律：萌發期→泡沫期→泡沫破裂期→穩步發展期→穩定產出期。只有躁動，沒有篤定、沒有低谷時的忍耐，也絕不可能成功的。[20220929]

Key:

• 科技創新需牢記Gartner Hype Cycle，又稱技術循環曲線，光環曲線，炒作周期揭示的規律：萌發期→泡沫期→泡沫破裂期→穩步發展期→穩定產出期。

 

 Reference：

[10][20240127]AIGC前世今生未來

https://mp.weixin.qq.com/s/uYMlsV05T9fT0wtoSB6InQ

[9][20230811]麻省理工學院（MIT）的液態神經網路如何解決從機器人到自動駕駛汽車的人工智慧問題

https://octoverse.com.tw/%E9%BA%BB%E7%9C%81%E7%90%86%E5%B7%A5%E5%AD%B8%E9%99%A2%EF%BC%88mit%EF%BC%89%E7%9A%84%E6%B6%B2%E6%85%8B%E7%A5%9E%E7%B6%93%E7%B6%B2%E8%B7%AF%E5%A6%82%E4%BD%95%E8%A7%A3%E6%B1%BA%E5%BE%9E%E6%A9%9F/

[8][20230802]麻省理工學院的液體神經網絡如何解決從機器人到自動駕駛汽車的人工智能問題
https://venturebeat.com/ai/how-mits-liquid-neural-networks-can-solve-ai-problems-from-robotics-to-self-driving-cars/

[7][20230425]這可能是下一代 AI 曙光：MIT 模擬生物神經元，打造 LNN 液體神經網路

[6][20230203]ChatGPT最新解讀報告：開啟AI新紀元，31頁ppt

https://mp.weixin.qq.com/s/1DXiaSwny_n-IYI-DJLsDw

OpenAI除了ChatGPT還包括Dall·E2、Whisper等項目分別是自動繪圖、自然語言翻譯等軟件。OpenAI的商業模式即API接口收費，可根據不同項目需求進行收費，我們認為其商業模式屬於底層模型開放性標準化SAAS服務模式。我國仍處於初期階段，以輔助生成內容服務為主，我們認為未來有望形成相關SAAS模式。

[5][20230206]你必須知道的2023年ChatGPT的四個趨勢

https://mp.weixin.qq.com/s/g2tCNf5kC1EQ_ozmStq0dA

ChatGPT為雲服務開了一扇新的窗戶，那就是直接為用戶提供問題的答案，而不是提供解決問題的能力，ChatGPT有可能成為新的顛覆傳統雲服務的新的業務模式。微軟入股ChatGPT也是希望實現多年以來一直想做而沒做成的事情，那就是在搜索領域戰勝谷歌。而，打敗傳統搜索引擎這一類網絡平台型產品的辦法，只有一種手段，那就是新的服務模式，從而實現降維打擊。ChatGPT可能就是這樣的新的服務模式，直接為用戶提供解決問題的方法。

[4] [20230203]ChatGPT，背後的核心是什麼？
https://mp.weixin.qq.com/s/kc4UMJvqZr_oeCPpQJngbw

微軟宣布正和ChatGPT開發團隊OpenAI進行洽談，投資百億美元，併計劃把這個工具整合到雲服務、搜索引擎、甚至office中。海外高校、學術機構，也興起了關於用ChatGPT寫論文是否合規的大討論；諮詢公司也開始擔憂是否會被搶飯碗。

擴散模型的原理是“先增噪後降噪”。首先給現有的圖像逐步施加高斯噪聲，直到圖像被完全破壞，然後再根據給定的高斯噪聲，逆向逐步還原出原圖。當模型訓練完成後，輸入一個隨機的高斯噪聲，便能“無中生有”出一張圖像了。


大模型，也許是企業比拼的護城河
模型是人工智能的靈魂，本質上它是一套計算公式和數學模型。“參數”可以看做是模型裡的一個個公式，這意味著，參數量越大，模型越複雜，做出來的預測就越準確。

小模型就像“偏科的機器”，只學習針對特定應用場景的有限數據，“舉一反三”能力不足，一些智能產品被用戶調侃為“人工智障”的情況時有發生。

大模型就是參數量極大的模型，目前業界主流的AIGC模型都是千億級、萬億級參數量的水平。通過學習各行各業各類數據，除了能給出相較於小模型更準確的預測結果之外，它也展現出了驚人的泛化能力、遷移能力，產出內容質量更高、更智能，這也是當前AIGC工具讓人眼前一亮的原因。

而大模型的快速發展，對行業發展起到了明顯的推動作用。例如ChatGPT是基於GPT-3模型進行優化所產生的，引領AI繪畫發展的DALL·E 2也離不開GPT-3的貢獻。類似的還有Deepmind的Chinchilla、百度的文心大模型等等。

[3][20221130-From KJ]
早! 上周看到「泛科學PanSci」這支Youtube，對PanSci真的蠻失望的，還在錯誤引導讀者，探討Google在6月份有工程師申稱和他工作的Google的LaMDA机器人有人的知覺有人的意識……(Boring)

https://youtu.be/cTIWfkjgerE

《8月LaMDA新聞，和當時AI大咖CNN之父LeCun接受Zdnet訪問感言，担心現在AI應用和日后AI發展方向。》

今年6月份當Goggle工程師Lemoine公開對外申稱Google LaMDA有知覺有意識時，Gary Marcus ，A New York University Neuroscientist，是美國神經科學業界大咖中第一個跳出來說Lemoine簡直就是在鬼扯BS。

其實Marcus和LeCun(CNN之父，得過圖靈獎)緾鬥多年，他一直認為今天AI主流下的ML下的DL，依賴著傳统统計學關联性的歸納邏輯，藉著學習<鑑古而知今>而無法解釋事情因果關係，就是一黑盒子，更不要說，當現今人類都不了解自己的「意識」是如何的產生：

是心物二元論【Dualism】？還是由演化生成【Biological Phenomenon】？還是造物者的傑作【Theology】？都不知不解，又如何能說AI會有人的「知覺」，會有人的「意識」？

當上周LeCun接受ZDNET訪問，自白針對現今DL的不滿意而擔心今后AI未來方向發展，Marcus可是没放過此機会揶揄LeCun，看來現今業界AI使用的真正效益何在？就如同四月份IBM CEO Arvind 所說，IBM已放棄使用AI做【射月計劃】(像放棄Walston Smart Healt)，基本上只應用AI在增加各垂直行業的營運效率和效益，當然Deepmind五六月發佈GATO已發展成能協同做600多種不同角色的工作，不再是專精在AlphaZezo, AlphaGo, Alphafold…等，的確可被規劃，代替和改進我們在各領域以前做不到的更多人機協同的工作，如同上月簡立峰說分享了「Progress in AI」的分析，目前，在「語音辨識能力」方面，機器與人是接近的；「電腦視覺能力」則有超越人類的物體辨識力；贏過人類最多的則是「棋力」；而在「語言理解能力」層面，機器卻遠遠輸過人類。

「人工智慧AI」離我們真正「人類智慧HI」真的還有好長好長一段時間？也或許我們應該想一想替當今AI正名，它其實不過就是ICT的平台上工具之一(AI產業化vs產業Ai化)，而不要執意的讓它和HI來比較，來媲美!

https://garymarcus.substack.com/p/nonsense-on-stilts
https://mp.weixin.qq.com/s/YUvdb41jZ_K2zw0weXWWuA
https://mp.weixin.qq.com/s/wnLkM_lqkbGQdqRC751fBw
https://www.zdnet.com/article/metas-ai-guru-lecun-most-of-todays-ai-approaches-will-never-lead-to-true-intelligence/

[2][20221109]彌補晶片供需差距　數位孿生技術是好幫手

彌補晶片供需差距　數位孿生技術是好幫手 (digitimes.com.tw)

目前美國半導體設備製業者應材(Applied Material)與科林研發(Lam Research)、德國半導體業者博世(Bosch)等都已採用基於機器學習技術的數位虛擬模型，提供比傳統模擬更為準確與更快的營運管理。Tignis、AspenTech和Ansys等科技新創業者也都在運用數位孿生技術最佳化產業營運，以及將AI與機器學習帶入各種應用中。

[1][20220823]元宇宙、淨零排放崛起 AI成突破關鍵
元宇宙、淨零排放崛起 AI成突破關鍵 - 名家評論 - 工商時報 (ctee.com.tw)
隨著AI人工智慧（ARTIFICIAL INTELLIGENCE；AI）技術逐漸成熟，產業相關應用也廣泛擴散。尤其是這兩年全球受到疫情影響開展遠距工作的趨勢、加上極端氣候議題急遽升高，讓AI人工智慧的應用發展朝向「元宇宙」（METAVERSE）及「淨零排放」兩大趨勢邁進。

針對全球AI人工智慧核心科技演進，市場研究機構Gartner提出關於聯邦式學習、預訓練模型、機器學習成本、後設資料採用等四項預測，描寫未來AI運用遠景。其中，在虛擬世界提供如真實般的影像、聲音甚至味道與觸覺的「元宇宙」體驗，更需透過AI人工智慧虛擬實境技術達成。

在這一波新冠肺炎疫情的催生下，隔絕了人與人真實的互動狀態，在鏡頭下遠距上班，加速了元宇宙應用開發。由於AI人工智慧擁有大數據的高速處理之整合應用，透過虛擬辦公室與虛擬人、虛擬物互動，讓人們沉浸在虛實融合的新世界，預期將成為一種未來商務，應用在工作場合和休閒娛樂。

有鑒於此，臉書母公司Meta執行長祖克柏在今年初便宣告，十分看好未來元宇宙將催生上千億美元商機，並認為「許多進展的解鎖關鍵在於人工智慧」，Meta因此正致力於「AI語音助理計劃」，要透過語言創造各種世界，改善人類與語音助理的對話，並翻譯各種語言。

另一方面，淨零碳排已是全球共識，目前已有130多個國家相繼宣示在2050年達到碳中和的目標，未來30年將形成相關的產業鏈及新商業模式。新興的「淨零排放」議題使AI人工智慧應用新商機浮現，不論是「能源低碳化」或「能源節約化」，透過AI人工智慧著重在軟體、演算法技術的特性，巨量資料得以快速分析，並進行機器學習，使相關技術研發指向最佳的決策。


此外，AI人工智慧新興應用相當適合投入於減碳產業與節電新模式，在國際能源署（IEA）2022年7月甫提出的《賦能城市實現淨零碳排》報告中，就特別提及來自40個國家、100座城市的實例，從智慧路燈到電力車充電站，用AI釋放城市的減碳潛能。

面對全球綠色永續浪潮，企業要以數位、綠色雙轉型因應下世代挑戰，為降低國內企業「碳焦慮」，工研院已透過AI人工智慧科技，陸續協助鋼鐵、水泥、石化和貨輸等碳排大戶，打造新創減碳技術。例如：工研院「智慧減碳排程系統」技術，就能提供船隊航行航線之順序、各航次航行時間、港序、換線、裝貨量、如何轉接貨等船舶規劃快速決策，進而減少二氧化碳排放量，協助海運產業克服面對新趨勢的挑戰。

工研院「AI人工智慧虛實整合系統」（Cyber Physical System；CPS）研磨拋光機器人技術與產線」，導入AI人工智慧及感測器等技術，讓機器人擁有人類的「三覺」，也就是視覺、聽覺、觸覺，不僅能看能聽，還能感受研磨力量，使水五金產業也能運用AI人工智慧進行瑕疵檢測，檢測時間節省60％，助攻傳統展業數位轉型升級並順應綠色轉型趨勢。

總而言之，在疫情與氣候變遷的催化下，全球人類的生活型態呈現極大轉變，加速全球各行各業導入AI人工智慧進行數位轉型；也促進以AI人工智慧技術布局的科技新觀，利用數位科技精準掌握各產業的能源消耗，加速碳管理敏捷性，加速達成淨零永續。臺灣應把握ICT產業優勢，比如：提供連結元宇宙終端的穿戴裝置所需的影像、語音辨識、省電AI人工智慧晶片等，且國內產業擅長硬體設計及系統整合，做為切入全球市場的良機；此外，企業也須持續運用AI人工智慧提升企業韌性，同步進行數位創新轉型升級的同時，切入淨零永續，導入AI人工智慧將成為數位與永續之雙軸轉型的主要方式，致力企業永續經營。