Meta-ն ներկայացրել է Llama 4 մուլտիմոդալ մոդելների ընտանիքը

Meta-ն ներկայացրել է Llama 4 մուլտիմոդալ մոդելների ընտանիքը՝ 109 միլիարդ, 400 միլիարդ եւ 2 տրիլիոն պարամետրերով:

Ըստ ընկերության, նրանցից մեկը գերազանցում է կամ համեմատելի է Gemini 2.0 Flash-ի, DeepSeek v3.1-ի եւ GPT-4o-ի հետ մի շարք հենանիշերով:
Llama 4 Scout-ի պարամետրերի ընդհանուր թիվը 109 միլիարդ է: Դրանցից ակտիվ են 17 մլրդ. hամատեքստի պատուհանը 10 միլիոն նշան է, որը համարժեք է մոտավորապես 15 հազար էջ տեքստի:

Scout-ն ավելի հզոր է, քան նախորդ սերնդի բոլոր մոդելները, աշխատում է Nvidia H100 վիդեո քարտով եւ, ըստ ընկերության, ավելի լավ է գործում, քան Gemma 3-ը, Gemini 2.0 Flash-Lite-ը եւ Mistral 3.1-ը մի շարք չափանիշներով:

Llama 4 Scout-ի հենանիշերը
photo © Meta

Llama 4 Maverick-ը մինչ օրս ընկերության «ամենահզոր» բաց մուլտիմոդալ մոդելն է: Ընդհանուր պարամետրերը` 400 մլրդ. ակտիվ պարամետրեր` 17 մլրդ. համատեքստային պատուհան` 1 միլիոն (մոտ 1500 էջ տեքստ):

Որոշ թեստերում այն գերազանցում է GPT-4o-ին եւ Gemini 2.0 Flash-ին, իսկ «պատճառաբանելու» եւ կոդ գրելու առումով այն համեմատելի է նոր DeepSeek v3-ի հետ:

Երկու մոդելներն էլ ճանաչում են տեքստը եւ պատկերները (մինչեւ հինգ պատկեր յուրաքանչյուր մուտքագրման համար), բայց մինչ այժմ միայն տեքստ են գեներացնում որպես պատասխան: Գիտելիքների բազան ընդգրկում է մինչեւ 2024թ. օգոստոսը: Ճարտարապետությունը «բազմփորձագետ» է (ընդգրկված են միայն այն «փորձագետները», որոնք անհրաժեշտ են կոնկրետ առաջադրանքի համար): Սկաուտն ունի 16, իսկ Մավերիկը`128 «փորձագետ»:

Հիմնական լեզուներն են անգլերեն, արաբերեն, ֆրանսերեն, գերմաներեն, հինդի, ինդոնեզերեն, իտալերեն, պորտուգալերեն, իսպաներեն, տագալերեն, թայերեն եւ վիետնամերեն: Նախավարժանքի ժամանակ, սակայն, դրանք 200-ից ավելի էին։ Նկարներում ճանաչված է միայն անգլերենը։

Llama 4 Maverick-ի հենանիշերը
photo © Meta

Scout-ը եւ Maverick-ը կարելի է ներբեռնել llama.com-ից եւ Hugging Face-ից: Դրանք նաեւ ավելացվել են Meta-ի AI օգնականին, որը հասանելի է ընկերության սոցիալական ցանցերում եւ հավելվածներում 40 երկրում:

Երրորդ մոդելի՝ Llama 4 Behemoth-ի չափանիշները չեն հրապարակվել: Նա սովորել է Scout-ն ու Maverick-ը մարզելու համար եւ մինչ օրս դեռ մարզվում է: Թողարկման ամսաթիվը չի հայտարարվել։

Behemoth-ն ունի 2 տրիլիոն պարամետր՝ 288 միլիարդ ակտիվով: Ըստ ընկերության՝ այն «գերազանցում է» GPT-4.5-ին, Claude Sonnet 3.7-ին եւ Gemini 2.0 Pro-ին մի շարք STEM հենանիշերի վրա:

Llama 4 Behemoth-ի հենանիշերը
photo © Meta