【財新網(wǎng)】字節(jié)跳動正加速視覺、語音等多模態(tài)模型的商業(yè)化。12月18日上午,字節(jié)跳動旗下火山引擎在上海發(fā)布豆包視覺理解模型,通過火山引擎開放給企業(yè)客戶,并再次打出了低于行業(yè)的定價。
視覺理解模型即“看圖說話”,可以識別圖像中的物體類別、形狀等要素,理解物體之間的關(guān)系,給出空間和場景的整體判斷,能用在圖片問答、醫(yī)療健康、教育、科研、電商等場景。
在現(xiàn)場演示中,豆包視覺理解模型識別出了雜志插圖中的外太空星云、一段“貪吃蛇”游戲代碼并給出修正意見、桌面上的物件和使用方法、體檢報告中的單項指標解讀、聯(lián)想圖畫想表達的諺語、推薦穿搭以及根據(jù)實物發(fā)送抖音商城里的商品鏈接等。目前豆包視覺理解模型已經(jīng)接入豆包App和PC端產(chǎn)品。