【財(cái)新網(wǎng)】
零一萬(wàn)物回應(yīng)“抄襲” 發(fā)布Yi-34B訓(xùn)練過(guò)程說(shuō)明
11月15日,零一萬(wàn)物對(duì)其大模型Yi-34B訓(xùn)練過(guò)程進(jìn)行說(shuō)明,稱(chēng)訓(xùn)練模型過(guò)程中沿用了GPT/LLaMA的基本架構(gòu),且基本上國(guó)際主流大模型都是基于Transformer的架構(gòu),大模型持續(xù)發(fā)展與尋求突破口的核心點(diǎn)不僅在于架構(gòu),而是在于訓(xùn)練得到的參數(shù)。近日,Hugging Face開(kāi)發(fā)者質(zhì)疑李開(kāi)復(fù)旗下 AI企業(yè)零一萬(wàn)物開(kāi)源大模型抄襲了Meta的LLaMA架構(gòu),只對(duì)兩個(gè)張量名稱(chēng)進(jìn)行修改。零一萬(wàn)物開(kāi)源團(tuán)隊(duì)總監(jiān)Richard Lin稱(chēng),在大量訓(xùn)練實(shí)驗(yàn)過(guò)程中,由于實(shí)驗(yàn)執(zhí)行需求對(duì)代碼做了更名,將尊重開(kāi)源社區(qū)的反饋,將代碼進(jìn)行更新,也更好的融入Transformer生態(tài)。