【財(cái)新網(wǎng)】馬斯克旗下的大模型公司對外公開源代碼。當(dāng)?shù)貢r(shí)間3月17日,馬斯克(Elon Musk)的人工智能公司xAl在全球最大的編程項(xiàng)目托管平臺GitHub上發(fā)布了預(yù)訓(xùn)練大語言模型Grok-1的源代碼,目前收藏超11.7k星數(shù)。Grok-1使用Apache-2.0開源協(xié)議,這意味著它允許商業(yè)途徑使用,并且允許用戶自由修改開發(fā)、分發(fā)軟件。
xAI于官網(wǎng)公布了Grok -1更多技術(shù)細(xì)節(jié)。xAI稱,Grok-1的預(yù)訓(xùn)練數(shù)據(jù)止于2023年10月,是一款原始基礎(chǔ)模型,并沒有針對任何特定應(yīng)用進(jìn)行微調(diào),Grok-1背后參數(shù)為3140億。xAI在開源界面上提示,需要GPU有足夠顯存才能運(yùn)行該模型。作為參考,2020年5月OpenAI發(fā)布的GPT-3模型參數(shù)約為1750億,Meta的開源大模型Llama-2目前對外提供的最大參數(shù)的模型為700億參數(shù)。