科技日報記者 劉霞

未來的人工智能（AI）什么樣？想象一下，只需簡單一個指令，它們便能領悟并執行復雜的任務；它們還能通過視覺捕捉用戶的表情和動作，判斷其情緒狀態。這不再是好萊塢科幻電影中的場景，而是正逐步走進現實的“多模態AI”。

據美國《福布斯》網站近日報道，元宇宙平臺公司、OpenAI以及谷歌公司等巨頭，都推出了各自的多模態AI系統，正不遺余力地加大對此類系統的研發投資，力求提高各種模態內容輸出的精確度，從而改善AI與用戶的交互體驗。

多模態AI標志著一種范式變革。它將深刻改變很多行業的面貌，并重塑數字世界的格局。

賦予AI“多重感官”功能

人類是如何了解世界的？我們依賴視覺、聽覺和觸覺等多種感官，從無數來源接收信息。人腦將這些紛繁復雜的數據模式融合，繪制出一幅生動的現實“畫卷”。

IBM公司官網這樣定義多模態AI：能集成和處理來自多種模態（數據類型）的機器學習模型，這些模態包括文本、圖像、音頻、視頻等形式的輸入。就像賦予AI一整套感官，使它能從多個角度感知并理解輸入的信息。

這種跨越不同模態理解和創建信息的能力，超越此前側重于集成和處理特定數據源的單模態AI，贏得了各大科技巨頭的青睞。

在今年的移動通信大會上，高通公司將其開發的多模態大模型首次部署在安卓手機上。用戶無論是輸入照片，還是語音等信息，都能與AI助手順暢交流。例如，用戶可以拍一張美食照片向AI助手提問：這些食材都是什么？能做出什么菜？每道菜的熱量是多少？AI助手能基于照片信息，給出詳細的答案。

今年5月，OpenAI發布了多模態模型GPT-4o，其支持文本、音頻和圖像的任意組合輸入和輸出。隨后，谷歌也于第二天推出了自己的最新多模態AI產品Gemini 1.5 Pro。

9月25日，元宇宙平臺公司發布了其最新的開源大語言模型Llama 3.2。公司首席執行官馬克·扎克伯格在主題演講中表示，這是該公司首個開源多模態模型，可同時處理文本和視覺數據，標志著AI在理解更復雜應用場景方面取得了重大進展。

悄然推動各領域變革

多模態AI正悄然改變著多個領域的面貌。

在醫療保健領域，IBM旗下“沃森健康”正對病人的影像學數據、病歷文本和基因數據進行綜合分析，幫助醫生更準確地診斷疾病，有力支持醫生為病人制訂個性化治療方案。

創意產業也正在經歷一場變革。數字營銷專家和電影制片人正借助這一技術打造定制內容。試想，只需一個簡單的提示或概念，AI系統就能編撰出引人入勝的劇本，生成故事板（即一系列插圖排列在一起組成的可視化故事）、創作配樂，甚至制作出初步場景剪輯。

教育和培訓領域也在多模態AI助力下向個性化學習邁進。美國紐頓公司開發的自適應學習平臺能利用多模態AI，深入分析學生的學習行為、表情和語音，實時調整教學內容和難度。實驗數據顯示，這種方法能將學生的學習效率提高40%。

客戶服務也是多模態AI系統令人興奮的應用之一。聊天機器人不僅能回應文本查詢，還能理解客戶的語調，分析客戶的面部表情，并用適當的語言和可視化線索作出回應。這種更接近人類的交流有望徹底改變企業與客戶的互動方式。

仍需克服技術倫理挑戰

但多模態AI發展也面臨諸多挑戰。

AI咨詢公司“隱空間”創始人亨瑞·艾德爾表示，多模態AI的強大之處在于能夠整合多種數據類型。然而，如何有效整合這些數據仍是一個技術難題。

此外，多模態AI模型在運行過程中往往需要消耗大量算力資源，這無疑增加了其應用成本。

更值得注意的是，多模態數據包含更多個人信息。當多模態AI系統能輕松識別人臉、聲音乃至情緒狀態時，如何確保個人隱私得到尊重與保護？又該如何采取有效措施，防止其被用于創建“深度偽造”或其他誤導性內容？這些都是值得深思的問題。