Finjustera en 350M-modell för pålitlig JSON-output på 100 GRPO-steg

En liten modell som konsekvent lämnar giltig JSON kan ersätta en stor och dyr modell i många API-flöden. Hugging Face visar i en guide från 3 september hur man med GRPO, Group Relative Policy Optimization, finjusterar en 350-miljonerparameters modell för just strukturerad output – med omkring 100 träningssteg.

Strukturerad output är det viktigaste att få rätt när en språkmodell ska prata med ett annat system. Om modellen inte håller sig till schemat fallerar integrationen, oavsett hur bra texten är. En dedikerad liten modell som bara gör en sak kan därför vara både snabbare och billigare än att fråga en toppmodell och hoppas på giltig output.

Metoden i guiden bygger på TRL, Hugging Faces bibliotek för förstärkningsinlärning, tillsammans med datasetet IFStruct. Istället för att belöna ett enda svar jämför GRPO flera svar mot varandra och uppdaterar modellen utifrån vilka som höll sig till strukturen.

Så här ser flödet ut i korthet. Du behöver Python, en GPU med tillräckligt minne för en 350M-modell och tillgång till TRL och IFStruct.

pip install trl datasets

Ladda sedan basmodellen och förbered datasetet så att varje exempel innehåller en instruktion och det förväntade strukturerade svaret. Kör därefter GRPO-träningen med ett lågt antal steg – guiden visar att runt 100 steg räcker för tydliga förbättringar i det här scenariot.

Verifieringen är enkel: kör modellen mot ett testset och kontrollera att utdata validerar mot ditt JSON-schema. Räcker inte noggrannheten kan du öka antalet steg, men 100 steg är ingen universell regel – det gäller för den modell och det dataset som guiden använder.

När metoden lönar sig beror på volym och krav. Ska du bara anropa en stor modell ett fåtal gånger är finjustering sannolikt onödigt arbete. Har du däremot ett flöde som kör många strukturerade anrop per dag, är en liten specialiserad modell ofta den billigare vägen.

Källa: Hugging Face – Fine-tuning a 350M model for structured outputs in 100 GRPO steps