A Meta 2025. április 5-én jelentette be legfejlettebb nagyméretű nyelvi modelljét, a Llama 4-et, ami a vállalat szerint az új, multimodális AI-innováció korszakának kezdetét jelenti. Az új modellcsalád két fő változattal debütált: a Llama 4 Scout és a Llama 4 Maverick néven, amelyek képesek szövegek, képek, videók és hang feldolgozására és integrálására, miközben a tartalmakat ezek között a formátumok között is képesek konvertálni.
A Meta új modelljei a mixture-of-experts (MoE) architektúrát használják, ami jelentősen javítja a hatékonyságot. A MoE modellekben egyetlen token csak a paraméterek egy részét aktiválja. A MoE architektúrák számítási szempontból hatékonyabbak a képzés és a következtetés során, és adott képzési FLOP-költségvetés mellett jobb minőséget biztosítanak, mint egy korábbi modell - olvasható a Meta közleményében. A Llama 4 Maverick 17 milliárd aktív és 400 milliárd teljes paraméterrel rendelkezik, míg a Llama 4 Scout 17 milliárd aktív és 109 milliárd teljes paraméterrel bír.
A vállalat egy harmadik, még erőteljesebb modellt is előrevetített: a Llama 4 Behemoth, amely 288 milliárd aktív paraméterrel és közel két billió teljes paraméterrel büszkélkedhet. A Llama 4 modellek jelentőségét növeli, hogy nyílt forráskódúak, tehát bárki letöltheti és használhatja őket fejlesztőként. A Scout modell különösen figyelemreméltó a 10 millió tokenes kontextusablakával, ami jelentős előrelépés a Llama 3 128 ezer tokenes képességéhez képest. A Meta szerint a Llama 4 Maverick felülmúlja a hasonló modelleket: a Maverick versenyben van a jóval nagyobb DeepSeek v3.1 modellel is a kódolás és a logikai következtetés terén. Ugyanakkor elemzők rámutattak arra, hogy a Meta által közzétett teljesítményadatok némileg félrevezetőek lehetnek, mivel a tesztekhez használt modellverzió eltérhet a nyilvánosan elérhető változattól, a Llama 4 modellek így is jelentős előrelépést jelentenek a mesterséges intelligencia területén.
Források:
1.
2.
3.
Kyle Wiggers
