10_AI-for-foretag-produktivitet-utvecklare
Så kör du Ollama lokalt – guide för nybörjare
Steg-för-steg: installera Ollama på macOS, ladda ner modeller och kör AI lokalt. Inkluderar API, kod och felsökning.
Ollama är det enklaste sättet att köra stora språkmodeller på din egen dator. Du behöver inget molnkonto, ingen API-nyckel och ingen dyr GPU för att komma igång. Med några kommandon i terminalen kan du ladda ner och köra modeller som Llama, Mistral, Qwen, DeepSeek och många fler.
Den här guiden visar hur du installerar Ollama på macOS, laddar ner din första modell och testar den via både terminal och API.
Det här behöver du
- En Mac med macOS 12+ (Apple Silicon eller Intel) - Minst 8 GB RAM (16+ GB rekommenderas för 7B-modeller) - Några GB ledigt diskutrymme (modeller är 4–8 GB) - Terminal (Inbyggd i macOS)
Steg 1: Installera Ollama
Öppna terminalen och kör:
``bash
curl -fsSL https://ollama.com/install.sh | sh
`
Installationsskriptet laddar ner Ollama, flyttar det till rätt plats och startar bakgrundstjänsten automatiskt.
Verifiera installationen:
`bash
ollama --version
`
Du bör se något i stil med: ollama version 0.6.x
Steg 2: Ladda ner och kör en modell
Ollama har ett stort bibliotek med modeller. Börja med en mindre modell som fungerar på de flesta datorer:
`bash
ollama run llama3.2:3b
`
Det här kommandot laddar ner Meta Llama 3.2 (3B parametrar) och öppnar en chatt i terminalen.
Testa modellen: Skriv en fråga direkt i chatten, till exempel Vad är skillnaden mellan CPU och GPU?. Skriv /bye för att avsluta.
Fler modeller att prova:
| Modell | Storlek | RAM-krav | Användning |
|--------|---------|----------|------------|
| llama3.2:3b | 3B | 8 GB | Snabb, allmänt ändamål |
| mistral | 7B | 8–16 GB | Bra på svenska och kod |
| qwen2.5:7b | 7B | 8–16 GB | Stark på logik och instruktioner |
| deepseek-r1:8b | 8B | 16 GB | Bra på resonemang |
| llama3.1:8b | 8B | 16 GB | Stor allmänmodell |
`bash
Lista nedladdade modeller
ollama list
Ta bort en modell
ollama rm llama3.2:3b `
Steg 3: Använd Ollama som API-server
Ollama startar automatiskt en API-server på
http://localhost:11434 när du kör en modell. Du kan anropa den från valfritt språk.
Testa med curl:
`bash
curl http://localhost:11434/api/generate -d '{
"model": "llama3.2:3b",
"prompt": "Vad är Python?",
"stream": false
}'
`
Använd från Python:
`python
import requests
response = requests.post("http://localhost:11434/api/generate", json={
"model": "llama3.2:3b",
"prompt": "Skriv en funktion som räknar ut medelvärdet av en lista.",
"stream": False
})
print(response.json()["response"])
`
Använd från JavaScript/Node.js:
`javascript
const response = await fetch("http://localhost:11434/api/generate", {
method: "POST",
headers: { "Content-Type": "application/json" },
body: JSON.stringify({
model: "llama3.2:3b",
prompt: "Vad är skillnaden mellan GET och POST?",
stream: false
})
});
const data = await response.json();
console.log(data.response);
`
Steg 4: Konfigurera Ollama
Ollamas konfiguration sparas i
~/.ollama/. Du kan ändra standardinställningar:
`bash
Sätt miljövariabler före start
export OLLAMA_HOST="0.0.0.0" # Lyssna på alla nätverksgränssnitt
export OLLAMA_PORT="11434" # Ändra port (standard: 11434)
export OLLAMA_KEEP_ALIVE="5m" # Hur länge modellen stannar i minnet
export OLLAMA_NUM_PARALLEL="1" # Max parallella förfrågningar
export OLLAMA_MAX_LOADED_MODELS="1" # Max modeller i minnet samtidigt
Starta Ollama med dessa inställningar
ollama serve
`
För att göra inställningar permanenta, lägg till dem i
~/.zshrc:
`bash
echo 'export OLLAMA_KEEP_ALIVE="10m"' >> ~/.zshrc
source ~/.zshrc
`
Steg 5: Anropa Ollama från kod i dina egna projekt
Här är ett komplett exempel som du kan använda direkt i ditt projekt:
`python
import requests
import json
class LocalLLM:
def __init__(self, model="llama3.2:3b", base_url="http://localhost:11434"):
self.model = model
self.base_url = base_url
def generate(self, prompt, system=None):
payload = {"model": self.model, "prompt": prompt, "stream": False}
if system:
payload["system"] = system
r = requests.post(f"{self.base_url}/api/generate", json=payload)
return r.json()["response"]
Användning
llm = LocalLLM()
svar = llm.generate("Berätta något intressant om AI",
system="Du är en svensk AI-expert. Svara kort.")
print(svar)
`
Du vet att det fungerar när du ser ett fullständigt svar från modellen i din terminal, och ditt Python-skript returnerar text utan felmeddelanden.
Felsökning
| Problem | Orsak | Lösning |
|---------|-------|---------|
|
command not found: ollama | Ollama inte installerat eller PATH saknas | Starta om terminalen eller lägg till export PATH=$PATH:/usr/local/bin i ~/.zshrc |
| Modellen laddar inte | För lite diskutrymme | df -h för att kontrollera, ta bort gamla modeller med ollama rm |
| Mycket långsamma svar | För lite RAM eller CPU-only | Välj mindre modell (llama3.2:3b eller tinyllama), stäng andra program |
| API-svar returnerar Connection refused | Ollama-server kör inte | Starta med ollama serve och kontrollera med curl http://localhost:11434 |
| Modellen svarar bara på engelska | Modellen är inte tränad på svenska | Prova mistral (bättre svenska) eller lägg till "Svara på svenska" i prompten |
| Error: model not found | Modellnamnet är fel | ollama list för att visa installerade modeller, ollama pull för att ladda ny |
Nästa steg
När du har Ollama igång kan du:
- Koppla Ollama till Open WebUI för ett webbläsarbaserat chattgränssnitt
- Använda Ollama som backend för coding agents som Continue.dev, CodeGPT eller Cline
- Bygga en egen RAG-app med LangChain och Ollama som modellserver
- Prova större modeller som
llama3.1:8b eller qwen2.5:7b` om din dator klarar det
Källa: Ollama Docs
Källa: Ollama Docs