Llama 3.1 帶來(lái)新突破
上個(gè)月底，Meta推出了Llama 3.1 大型語(yǔ)言模型 (LLM) 系列。它由三個(gè)新模型組成——預(yù)先訓(xùn)練和指令調(diào)整的文本輸入/文本輸出開(kāi)源生成式 AI 模型，參數(shù)數(shù)量分別為 8B、70B 和 405B。
據(jù) Meta 稱，旗艦 405B 版本是“全球最大、功能最強(qiáng)大的公開(kāi)可用基礎(chǔ)型號(hào)”。
開(kāi)源方法和創(chuàng)新
首席執(zhí)行官馬克·扎克伯格 (Mark Zuckerberg) 倡導(dǎo)開(kāi)源方法，并預(yù)測(cè)它最終將成為行業(yè)標(biāo)準(zhǔn)，就像 Linux 之于操作系統(tǒng)一樣。他斷言，與專有的閉源模型相比，開(kāi)源 AI 模型不僅發(fā)展更快，而且具有更大的創(chuàng)新潛力。
Llama 3.1 的發(fā)布確實(shí)為全球 AI 社區(qū)注入了活力，圍繞其潛力展開(kāi)了大量討論和探索。以下是您需要了解的內(nèi)容！
先前的目標(biāo)和最近的成就
今年早些時(shí)候，當(dāng)?shù)谝豢铙w型較小的 Llama 3 模型（Llama 2）發(fā)布時(shí)，Meta表示其近期目標(biāo)是“讓 Llama 3 具備多語(yǔ)言和多模式能力，擁有更長(zhǎng)的語(yǔ)境，并繼續(xù)提高推理和編碼等 LLM 功能的整體性能”。
借助 Llama 3.1，它朝著實(shí)現(xiàn)這一目標(biāo)邁出了一大步。LLM 尚未實(shí)現(xiàn)多模式，但它確實(shí)擁有新的多語(yǔ)言功能（西班牙語(yǔ)、葡萄牙語(yǔ)、意大利語(yǔ)、德語(yǔ)和泰語(yǔ)），以及擴(kuò)展的工具使用和大幅增加的上下文長(zhǎng)度。405B 模型使用超過(guò) 16,000 個(gè) NVIDIA H100 GPU 在 15 萬(wàn)億個(gè)標(biāo)記的海量數(shù)據(jù)集上進(jìn)行訓(xùn)練，比其前代模型復(fù)雜得多，功能也強(qiáng)大得多。
性能基準(zhǔn)
Meta表示，Llama 3.1 405B 在多項(xiàng)基準(zhǔn)測(cè)試中的表現(xiàn)優(yōu)于 OpenAI 的 GPT-4 和 GPT-4o 以及 Anthropic 的 Claude 3.5 Sonnet。據(jù)報(bào)道，在一系列不同的任務(wù)中，它與其閉源競(jìng)爭(zhēng)對(duì)手“不相上下”。
以下是 405B 模型與其他常用基準(zhǔn)的尖端 LLM 的比較（未包括 Gemini，因?yàn)?Meta 難以使用Google的 API 來(lái)復(fù)制其結(jié)果）：
模型架構(gòu)和設(shè)計(jì)
在介紹 Llama 3.1的博客中，Meta 指出該模型的完整訓(xùn)練堆?！暗玫搅孙@著優(yōu)化”。設(shè)計(jì)選擇優(yōu)先考慮了模型開(kāi)發(fā)過(guò)程的可擴(kuò)展性和簡(jiǎn)單性。
例如，為了最大限度地提高訓(xùn)練穩(wěn)定性，Llama 3.1 使用標(biāo)準(zhǔn)的僅解碼器的 Transformer 模型架構(gòu)，并進(jìn)行了細(xì)微調(diào)整，而不是混合專家模型。Meta 還采用了迭代后訓(xùn)練程序，每輪都使用監(jiān)督微調(diào)和直接偏好優(yōu)化。結(jié)果是每次迭代都會(huì)創(chuàng)建出高質(zhì)量的合成數(shù)據(jù)，從而增強(qiáng)了每項(xiàng)功能的性能。
405B 模型本身甚至被用來(lái)提高較小的 70B 和 8B 模型的訓(xùn)練后質(zhì)量。
值得注意的是，為了便于對(duì) 405B 規(guī)模的模型進(jìn)行大規(guī)模生產(chǎn)推理，Meta 從 16 位 (BF16) 轉(zhuǎn)換為 8 位 (FP8) 數(shù)值。這有效地降低了計(jì)算要求并使模型能夠在單個(gè)服務(wù)器節(jié)點(diǎn)內(nèi)運(yùn)行。
用戶現(xiàn)在還可以享受更長(zhǎng)的上下文窗口。Llama 3.1 模型的上下文長(zhǎng)度已從 Llama 3 中的 8,192 個(gè)標(biāo)記擴(kuò)展到 Llama 3.1 中的 128,000 個(gè)標(biāo)記。這大約是原來(lái)的 16 倍！
事實(shí)上，擴(kuò)展的上下文長(zhǎng)度現(xiàn)在比 GPT-4 大得多，大約等于企業(yè)用戶使用 GPT-4o 獲得的長(zhǎng)度，并且與 Claude 3 的 200,000 個(gè)標(biāo)記窗口相當(dāng)。
最重要的是，高需求時(shí)期不會(huì)影響訪問(wèn)，因?yàn)?Llama 3.1 可以部署在您自己的硬件或所選的云提供商上。一般來(lái)說(shuō)，也不會(huì)有廣泛的使用限制。
使用和構(gòu)建 Llama 3.1 405B
作為一款如此強(qiáng)大的機(jī)型，405B 需要大量的計(jì)算資源和開(kāi)發(fā)人員的專業(yè)知識(shí)才能使用。Meta 明確表示，它希望用戶能夠充分利用它——利用其先進(jìn)的功能并立即開(kāi)始構(gòu)建。以下是一些可能性：
實(shí)時(shí)和批量推理
監(jiān)督微調(diào)，包括特定領(lǐng)域
LLM-as-a-judge（評(píng)估你的模型是否適合你的具體應(yīng)用）
持續(xù)預(yù)訓(xùn)練
檢索增強(qiáng)生成 (RAG)
函數(shù)調(diào)用
合成數(shù)據(jù)生成
Meta 生成 AI 副總裁 Ahmad Al-Dahle預(yù)測(cè)，知識(shí)提煉將成為開(kāi)發(fā)人員對(duì) 405B 模型的流行用途。也就是說(shuō)，它可以用作更大的“教師”模型，將其知識(shí)和新興能力提煉成更小的“學(xué)生”模型，具有更快、更經(jīng)濟(jì)的推理能力。
另一個(gè)例子：Al-Dahle 表示，Llama 3.1 可以與搜索引擎 API 集成，以“根據(jù)復(fù)雜的查詢從互聯(lián)網(wǎng)上檢索信息，并連續(xù)調(diào)用多個(gè)工具以完成您的任務(wù)?！比绻笤撃Ｐ屠L制過(guò)去五年內(nèi)售出的房屋數(shù)量，“它可以為您檢索[網(wǎng)絡(luò)]搜索并生成 Python 代碼并執(zhí)行它?！边€不錯(cuò)。
Llama 生態(tài)系統(tǒng)還為各種用例和高級(jí)工作流程提供了交鑰匙指南，供任何人使用。Meta 已與 vLLM、TensorRT 和 PyTorch 等項(xiàng)目合作，從一開(kāi)始就提供支持，讓用戶更容易上手。
未來(lái)趨勢(shì)
最終，Llama 3.1 代表了追求開(kāi)放、可訪問(wèn)和負(fù)責(zé)任的 AI 創(chuàng)新的重要飛躍。
在捷智算平臺(tái)，我們非常欣賞這些開(kāi)大規(guī)模語(yǔ)言模型的可訪問(wèn)性，以及周圍社區(qū)的合作。我們自己的使命與讓人工智能惠及每個(gè)人的理念相一致。
為此，我們很高興能夠在捷智算平臺(tái)上提供開(kāi)源文本生成接口 (TGI) 框架，這樣您就可以提供像 Llama 3.1 這樣的 LLM，并以更實(shí)惠的計(jì)算成本運(yùn)行您自己的模型。
