【財(cái)新網(wǎng)】由科技部、北京市支持的民營(yíng)非營(yíng)利機(jī)構(gòu)智源研究院公布AI大模型最新進(jìn)展。6月14日,智源研究院公布萬(wàn)億參數(shù)的大語(yǔ)言模型進(jìn)展,發(fā)布用于檢索增強(qiáng)(RAG)的向量模型、采用自回歸架構(gòu)的多模態(tài)大模型、具身智能大模型和生物計(jì)算大模型,以及支持8種芯片的智算操作系統(tǒng)。
具體來(lái)看,此次公布的萬(wàn)億參數(shù)大模型“Tele-FLM“是和中國(guó)電信聯(lián)合研發(fā),中國(guó)電信主要提供算力和部分?jǐn)?shù)據(jù)。智源研究院院長(zhǎng)王仲遠(yuǎn)稱(chēng),該項(xiàng)目是在112臺(tái)A800機(jī)器(即896塊A800 GPU)上訓(xùn)練4個(gè)月得出的,已開(kāi)源發(fā)布的520億參數(shù)版本英文能力優(yōu)于Llama2-70B,接近Llama3-70B的水平,而中文能力優(yōu)于Llama3-70B和Qwen1.5-72B。