Microsoft traint nieuw AI-model dat groot genoeg is om te concurreren met populaire LLM’s

Microsoft ontwikkelt een nieuw groot taalmodel (LLM) met de codenaam MAI-1, dat het potentieel heeft om te concurreren met de AI-LLM’s die zijn ontwikkeld door Google en OpenAI.

Het is de eerste keer dat Microsoft een dergelijk groot LLM ontwikkelt sinds de investering van miljarden dollars in OpenAI voor de rechten om de technologie van laatstgenoemde te gebruiken in hun productiviteitsoftwarepakket.

De ontwikkeling van MAI-1 wordt begeleid door Google DeepMind- en Inflection-medeoprichter Mustafa Suleyman, volgens een verslag van The Information. In maart 2024 verwierf Microsoft een aantal medewerkers van Inflection in een deal ter waarde van 650 miljoen dollar.

Volgens het verslag, dat op 6 mei werd gepubliceerd, zal MAI-1 ongeveer 500 miljard parameters bevatten, wat het plaatst tussen de gerapporteerde biljoen parameters van GPT-4 van OpenAI en 70 miljard parameters van het Meta Llama 3 AI-model. Het wordt ook verwacht “veel groter” en duurder te zijn dan alle andere eerdere kleinere open-source AI’s (Phi-3 en WizardLM-2) van Microsoft, aangezien het meer rekenkracht en trainingsdata zal vereisen.

Hoewel MAI-1 mogelijk technieken en trainingsdata van Inflection gebruikt, blijft het verschillend van modellen of technologieën die zijn geproduceerd door OpenAI of Inflection. Volgens Microsoft-medewerkers die bekend zijn met het project, is MAI-1 een geheel nieuw LLM dat intern is ontwikkeld door Microsoft.

Microsoft heeft nog niet de exacte bedoeling van MAI-1 aangekondigd en het exacte gebruik ervan zal afhangen van de prestaties. Ondertussen heeft het bedrijf een groot cluster van servers met Nvidia GPU’s toegewezen en gebruikt het grote hoeveelheden data van verschillende bronnen om het model te verbeteren.

Volgens rapporten kan het bedrijf, afhankelijk van de voortgang, MAI-1 later deze maand op de Build-ontwikkelaarsconferentie presenteren, maar dit is niet bevestigd.