永久黄网站色视频免费直播,yy6080三理论日本中文,亚洲无码免费在线观看视频,欧美日韩精品一区二区在线播放

標(biāo)題: Meta 放大招：發(fā)布開(kāi)源大語(yǔ)言模型 Llama 2，可免費(fèi)商用 [打印本頁(yè)]

作者: wdks 時(shí)間: 2023-7-27 11:35 標(biāo)題: Meta 放大招：發(fā)布開(kāi)源大語(yǔ)言模型 Llama 2，可免費(fèi)商用

Meta 和微軟深度合作，正式推出下一代開(kāi)源大語(yǔ)言模型 Llama 2，并宣布免費(fèi)提供給研究和商業(yè)使用。

Llama 2 論文地址：Llama 2: Open Foundation and Fine-Tuned Chat Models

據(jù)介紹，相比于 Llama 1，Llama 2 的訓(xùn)練數(shù)據(jù)多了 40%，上下文長(zhǎng)度是 Llama 1 的 2 倍，并采用了分組查詢注意力機(jī)制。具體來(lái)說(shuō)，Llama 2 預(yù)訓(xùn)練模型是在 2 萬(wàn)億的 token 上訓(xùn)練的，微調(diào) Chat 模型是在 100 萬(wàn)人類標(biāo)記數(shù)據(jù)上訓(xùn)練的。

Meta 稱 Llama 2 在許多外部基準(zhǔn)測(cè)試中，包括推理、編碼、熟練度和知識(shí)測(cè)試中，都超過(guò)其他模型表現(xiàn)。

Llama 2 包括 Llama 2 和 Llama 2-Chat，包含了 70 億、130 億和 700 億參數(shù) 3 個(gè)版本，其中 Llama 2-Chat 針對(duì)雙向?qū)υ掃M(jìn)行了微調(diào)，并且跟 ChatGPT 類似， Llama 2-Chat 也經(jīng)歷了預(yù)訓(xùn)練階段 (PT)、指令微調(diào) (SFT) 以及人類反饋強(qiáng)化學(xué)習(xí) (RLHF) 三個(gè)階段。

Meta 表示 Llama 2 可免費(fèi)用于研究和商業(yè)用途，開(kāi)發(fā)者們可以直接在 Llama 2 官方網(wǎng)站下載該模型。

歡迎光臨 WDlinux官方論壇 (http://www.fsowen.com/bbs/)