Nvidia släpper Nemotron 3.5 Lightning – öppen agentmodell för din egen dator

Nvidia har släppt Nemotron 3.5 Lightning, en öppen modell med 30 miljarder parametrar där bara 3 miljarder är aktiva per token. Modellen körs lokalt, bland annat via Ollama, och är byggd för agenter som arbetar i flera steg.

Arkitekturen är en mixture-of-experts-modell. Av 30 miljarder parametrar aktiveras bara 3 miljarder åt gången, vilket håller nere både minneskrav och svarstid. Modellen ryms på en dator med ett Nvidia RTX-kort i stället för i ett datacenter.

Modellen passar den som vill köra agenter utan att skicka data till molnet, av dataskydds- eller kostnadsskäl. Nvidia beskriver den som byggd för agentiska uppgifter, men gör inga utfästelser om att den matchar stora frontiermodeller i alla uppgifter.

Det som gör Lightning intressant är att agentkörning flyttar hem till den egna maskinen. Den som redan har ett RTX-kort och Ollama kan testa den direkt och se var gränsen går för en lokal agentmodell.

Källa: Ollama