Magnitude låter din kodagent köra på lokala modeller – gratis och offline

GitHub Trending lyfte fram `magnitudedev/magnitude` i veckan, men det är bara signalen. Det som går att verifiera i README, releasen `@magnitudedev/cli@0.0.11` från 2 september och färska commits är att Magnitude är en open source-inferensserver (Apache 2.0) som profilerar din maskin, rekommenderar lokala modeller som passar och kopplar in dem i den kodagent du redan använder.

När agenten gissar på din hårdvara

En kodagent som ombeds sätta upp lokala modeller vet sällan vad din Mac klarar. Den gissar vilken kvantiserad modell som får plats i minnet, vilken som är snabb nog och hur den ska kopplas in. Magnitude löser det genom att mäta chip, minne och bandbredd, visa en katalog med modeller som passar just din maskin – med uppskattad hastighet i tok/s – och skriva konfigurationen åt agenten.

Så provar du på din egen Mac

Installera CLI:n och kör setup:

npm i -g @magnitudedev/cli
magnitude setup

Setup profilerar hårdvaran, föreslår modeller och laddar ner dem. Därefter laddar Magnitude modeller på begäran och stänger ner dem när minnet blir trångt. Prompts, filer och modeller stannar på maskinen – inga API-nycklar, inga tokens. Den som redan kör Codex, Claude Code, Hermes, OpenCode eller Cline får stöd direkt.

Tidigt projekt – räkna med ojämnheter

Det här är inte moget. CLI:n ligger på version 0.0.11, commit-historiken är märkt alpha och repot skapades i juni i år. Magnitude stödjer macOS och Linux, Windows går via WSL, och README är tydlig med att större modeller kräver mer minne. Vårt råd är att testa nu om du vill ha en privat och kostnadsfri väg till lokala modeller – men räkna inte med en färdig produkt ännu.

Källa: magnitudedev/magnitude, README och release @magnitudedev/cli@0.0.11. GitHub Trending används bara som upptäcktssignal.