ChatGPT 正夯,多模態基礎模型的挑戰與機會

2023.4.11 最後更新

Midjourney、ChatGPT 等 AI 應用爆紅,其背後基礎模型的重要性也備受關注。基礎模型(Foundation model)指的是,透過大量數據訓練出能執行多種不同任務的模型(通常有規模的使用自監督式學習),例如 Google、Facebook 等大型科技公司,近幾年挹注龐大的資源訓練出大型模型,如 GPT-3、BERT 等,都屬於基礎模型。

在這股趨勢下,鴻海研究院2023年第一場 NExT Forum 便以多模態基礎模型為題,邀請加拿大 Dr. Irina Rish、MILA、台灣微軟、台智雲等國內外專家學者與企業共談多模態基礎模型對台灣 AI 產業帶來的挑戰與機會,並提出整合台灣 AI量能的務實模型建構方法,持續推進台灣AI 的發展。

這個引起全球注目、複雜多工又龐大的模型,對台灣的意義又是什麼?

用 AI 打造台灣下一座護國神山
用 AI 打造台灣下一座護國神山

被稱作「護國神山」的台積電,不只是因為掌握了先進技術,更是因為全世界的電子產品都需要仰賴其生產的晶片。AI 的基礎模型也類似,預期未來將會有越來越多的都會需要應用到它,如果我們有大型的基礎模型,只要將模型微調(fine tune),就能對應到各式不同的下游任務。就看哪一家公司有能力掌握基礎技術,並快速訓練出模型,以適應各式任務。

基礎模型將對目前的AI研究帶來新變革
基礎模型將對目前的AI研究帶來新變革

ChatGPT 自去年底推出後話題不斷,不僅業界熱切關注及猜測後續產生的影響,就連國科會都說要投資打造臺灣本土的 ChatGPT。台灣大學資訊工程學系教授鄭文皇認為,基礎模型對目前的 AI 研究肯定帶來新變革,並樂見有能力的企業出來號召,建立一個大型基礎模型的開發環境或生態系。

跨領域合作,打造 AI 2.0 生態
跨領域合作,打造 AI 2.0 生態

鴻海研究院攜手人工智慧科技基金會、臺灣大學人工智慧技術暨全幅健康照護聯合研究中心於3月3日舉辦「NExT Forum:Multi-Modal Foundation Model 多模態基礎模型」論壇,集結國內外學者與產業專家,共同討論多模態基礎模型對台灣AI產業帶來的挑戰與機會,並提出整合台灣 AI 量能的務實模型建構方法,持續推進台灣AI的發展。

脆弱的 AI 系統與越來越集中的資源
脆弱的 AI 系統與越來越集中的資源

當前的人工智慧仍不穩定且十分容易受到擾動,僅能應用於特定領域,並在實際應用中帶來挑戰。但是,基礎模型( Foundation Model )的提出帶來新的變革,而這些研究與趨勢也帶來了新的挑戰。

鄭文皇:大型基礎模型衝擊 電腦視覺將出現第三次變革
鄭文皇:大型基礎模型衝擊 電腦視覺將出現第三次變革

透過人工智慧技術創造的美女網紅,帳號上線 5 天後,立刻吸引超過 1.8 萬名的紛絲。在生成式 AI 技術日漸成熟下,預期這種由 AI 生成的網紅將掀起另一波熱潮。台灣大學資訊工程學系教授鄭文皇認為,隨著大規模基礎模型的發展,可預見將對電腦視覺帶來突破性第三次變革。

古倫維:大型語言模型越來越強,安全與偏見問題更需關注
古倫維:大型語言模型越來越強,安全與偏見問題更需關注

OpenAI 去年底推出的 ChatGPT 後,後續再推出 GPT-4 語言模型,最大特色除了文字對話還能輸入圖片讓AI解讀,且解答能力和正確率更是大幅超越以往。面對大型語言模型的到來,中央研究院資訊科學所研究員、國立陽明交通大學教授古倫維提醒,除了應用與技術外,更需要注意模型訓練的資訊來源、安全與偏見問題。

打造一個語音照護機器人的技術與挑戰
打造一個語音照護機器人的技術與挑戰

近年來,對話式人工智慧(Conversational AI)已被廣泛的應用於客戶服務、娛樂和健康照護等各式生活場景中,例如手機語音助理、智慧音箱、陪伴機器人等。國立陽明交通大學電機學院終身講座教授簡仁宗的團隊試著打造一個照護聊天機器人,展示了目前對話式 AI 已經能實現順利對答並正向鼓勵對談者。

李宏毅談通用基礎模型:看似荒謬的跨域實驗也有新成果
李宏毅談通用基礎模型:看似荒謬的跨域實驗也有新成果

李宏毅發起的 SUPERB(Speech processing Universal PERformance Benchmark)專案,主要計劃是將各式不同的語音基礎模型應用於各種語音任務上,包括除了語音辨識外,還有語者辨識、情緒辨識、語意解析、語音合成等各式各樣的任務,看看哪個會是十項全能的基礎模型。

期待開源語言模型 BLOOM 開啟AI的「 Android」時代
期待開源語言模型 BLOOM 開啟 AI 的「 Android」時代

台智雲目前在台灣杉二號超級電腦上成功建置的 BLOOM,是全球首個繁體中文大型語言模型。華碩電腦協理暨台智雲技術長陳忠誠提到,這是第一個「開源」的大語言模型,因此,不管是學術界、非營利組織或者中小企業都有機會能夠使用到。

多模態基礎模型的挑戰與機會:人才與算力
多模態基礎模型的挑戰與機會:人才與算力

ChatGPT 自去年底推出後話題不斷,不僅業界熱切關注及猜測後續產生的影響,就連國科會都說要投資打造臺灣本土的 ChatGPT。未來的 AI 技術將會有哪些發展與應用,鴻海研究院在3月的 NExT Forum 中邀請三位相關領域學者專家,討論多模態基礎模型帶來的挑戰與機會。以下是本場討論重點整理