【財(cái)新網(wǎng)】
零一萬(wàn)物回應(yīng)“抄襲” 發(fā)布Yi-34B訓(xùn)練過(guò)程說(shuō)明
11月15日,零一萬(wàn)物對(duì)其大模型Yi-34B訓(xùn)練過(guò)程進(jìn)行說(shuō)明,稱訓(xùn)練模型過(guò)程中沿用了GPT/LLaMA的基本架構(gòu),且基本上國(guó)際主流大模型都是基于Transformer的架構(gòu),大模型持續(xù)發(fā)展與尋求突破口的核心點(diǎn)不僅在于架構(gòu),而是在于訓(xùn)練得到的參數(shù)。近日,Hugging Face開發(fā)者質(zhì)疑李開復(fù)旗下 AI企業(yè)零一萬(wàn)物開源大模型抄襲了Meta的LLaMA架構(gòu),只對(duì)兩個(gè)張量名稱進(jìn)行修改。零一萬(wàn)物開源團(tuán)隊(duì)總監(jiān)Richard Lin稱,在大量訓(xùn)練實(shí)驗(yàn)過(guò)程中,由于實(shí)驗(yàn)執(zhí)行需求對(duì)代碼做了更名,將尊重開源社區(qū)的反饋,將代碼進(jìn)行更新,也更好的融入Transformer生態(tài)。