Kör AI lokalt i webbläsaren med Hugging Faces 200+ WebGPU-kärnor

Att köra en språkmodell direkt i webbläsaren, utan att skicka data till en server, går nu att bygga med färre hinder. Hugging Face har publicerat paketet @huggingface/kernels, som innehåller över 200 WebGPU-kärnor för lokal AI.

Poängen är enkel. WebGPU ger webbappar tillgång till datorns grafikprocessor, och med färdiga kärnor slipper utvecklare skriva lågnivåkod för att köra modellinferens. Det öppnar för appar där texten aldrig lämnar användarens enhet, vilket är intressant i sammanhang där datan är känslig – till exempel under GDPR.

För att komma igång installerar du paketet och laddar en modell som stöds.

npm install @huggingface/kernels

Vilka modeller som faktiskt fungerar varierar. Stödet för olika arkitekturer är inte komplett, och prestandan beror på användarens hårdvara och webbläsare. En WebGPU-modell i en vanlig dator är inte en ersättning för en GPU-server, men den räcker långt för mindre modeller och prototyper.

Det du vinner är kontroll över var datan bearbetas. Istället för att skicka användarinmatning till ett API kan du hålla hela kedjan i webbläsaren. Det sänker också serverkostnaden, eftersom inferensen flyttas till användarens egen enhet.

Den som ska bygga i produktion bör kontrollera vilka modellstorlekar och arkitekturer som stöds i den aktuella versionen och testa på den hårdvara användarna faktiskt har. Paketet är publicerat den 1 september och är öppen källkod.

Källa: Hugging Face – Introducing @huggingface/kernels