Ollama

"Clase de la hoja"

########################################################################################################################################################################################################################################################## Copiar todos los comandos

########################################################################################################################################################################################################################################################## Generar PDF seleccionado/button

■/div titulada

Ollama es una herramienta para ejecutar grandes modelos de lenguaje localmente en su máquina, proporcionando privacidad, control y acceso sin conexión a los modelos AI como Llama, Mistral y CodeLlama.

Instalación

Command	Description
curl -fsSL https://ollama.ai/install.sh \| sh	Install Ollama on Linux/macOS
brew install ollama	Install via Homebrew (macOS)
ollama --version	Check installed version
ollama serve	Start Ollama server
ollama ps	List running models
ollama list	List installed models

Model Management

Command	Description
ollama pull llama3.1	Download Llama 3.1 model
ollama pull mistral	Download Mistral model
ollama pull codellama	Download CodeLlama model
ollama pull gemma:7b	Download specific model size
ollama show llama3.1	Show model information
ollama rm mistral	Remove model

Modelos populares

Modelos de Propósito General

Command	Description
ollama pull llama3.1:8b	Llama 3.1 8B parameters
ollama pull llama3.1:70b	Llama 3.1 70B parameters
ollama pull mistral:7b	Mistral 7B model
ollama pull mixtral:8x7b	Mixtral 8x7B mixture of experts
ollama pull gemma:7b	Google Gemma 7B
ollama pull phi3:mini	Microsoft Phi-3 Mini

Code-Specialized Modelos

Command	Description
ollama pull codellama:7b	CodeLlama 7B for coding
ollama pull codellama:13b	CodeLlama 13B for coding
ollama pull codegemma:7b	CodeGemma for code generation
ollama pull deepseek-coder:6.7b	DeepSeek Coder model
ollama pull starcoder2:7b	StarCoder2 for code

Modelos especializados

Command	Description
ollama pull llava:7b	LLaVA multimodal model
ollama pull nomic-embed-text	Text embedding model
ollama pull all-minilm	Sentence embedding model
ollama pull mxbai-embed-large	Large embedding model

Modelos de ejecución

Command	Description
ollama run llama3.1	Start interactive chat with Llama 3.1
ollama run mistral "Hello, how are you?"	Single prompt to Mistral
ollama run codellama "Write a Python function"	Code generation with CodeLlama
ollama run llava "Describe this image" --image photo.jpg	Multimodal with image

Chat Interface

Command	Description
ollama run llama3.1	Start interactive chat
/bye	Exit chat session
/clear	Clear chat history
/save chat.txt	Save chat to file
/load chat.txt	Load chat from file
/multiline	Enable multiline input

API Usage

REST API

Command	Description
curl http://localhost:11434/api/generate -d '{"model":"llama3.1","prompt":"Hello"}'	Generate text via API
curl http://localhost:11434/api/chat -d '{"model":"llama3.1","messages":[{"role":"user","content":"Hello"}]}'	Chat via API
curl http://localhost:11434/api/tags	List models via API
curl http://localhost:11434/api/show -d '{"name":"llama3.1"}'	Show model info via API

Streaming Responses

Command	Description
curl http://localhost:11434/api/generate -d '{"model":"llama3.1","prompt":"Hello","stream":true}'	Stream response
curl http://localhost:11434/api/chat -d '{"model":"llama3.1","messages":[{"role":"user","content":"Hello"}],"stream":true}'	Stream chat

Configuración modelo

Temperatura y parámetros

Command	Description
ollama run llama3.1 --temperature 0.7	Set temperature
ollama run llama3.1 --top-p 0.9	Set top-p sampling
ollama run llama3.1 --top-k 40	Set top-k sampling
ollama run llama3.1 --repeat-penalty 1.1	Set repeat penalty
ollama run llama3.1 --seed 42	Set random seed

Contexto y memoria

Command	Description
ollama run llama3.1 --ctx-size 4096	Set context window size
ollama run llama3.1 --batch-size 512	Set batch size
ollama run llama3.1 --threads 8	Set number of threads

Modelos personalizados

Crear ficheros modelo

Command	Description
ollama create mymodel -f Modelfile	Create custom model
ollama create mymodel -f Modelfile --quantize q4_0	Create with quantization

Ejemplos del fichero modelo

# Basic Modelfile
FROM llama3.1
PARAMETER temperature 0.8
PARAMETER top_p 0.9
SYSTEM "You are a helpful coding assistant."

# Advanced Modelfile
FROM codellama:7b
PARAMETER temperature 0.2
PARAMETER top_k 40
PARAMETER repeat_penalty 1.1
SYSTEM """You are an expert programmer. Always provide:
1. Clean, well-commented code
2. Explanation of the solution
3. Best practices and optimizations"""

Ejemplos de integración

Python Integration

import requests
import json

def chat_with_ollama(prompt, model="llama3.1"):
    url = "http://localhost:11434/api/generate"
    data = {
        "model": model,
        "prompt": prompt,
        "stream": False
    }
    response = requests.post(url, json=data)
    return response.json()["response"]

# Usage
result = chat_with_ollama("Explain quantum computing")
print(result)

Integración JavaScript

async function chatWithOllama(prompt, model = "llama3.1") {
    const response = await fetch("http://localhost:11434/api/generate", {
        method: "POST",
        headers: { "Content-Type": "application/json" },
        body: JSON.stringify({
            model: model,
            prompt: prompt,
            stream: false
        })
    });
    const data = await response.json();
    return data.response;
}

// Usage
chatWithOllama("Write a JavaScript function").then(console.log);

Bash Integration

#!/bin/bash
ollama_chat() {
    local prompt="$1"
    local model="${2:-llama3.1}"
    curl -s http://localhost:11434/api/generate \
        -d "{\"model\":\"$model\",\"prompt\":\"$prompt\",\"stream\":false}" \
        | jq -r '.response'
}

# Usage
ollama_chat "Explain Docker containers"

Optimización del rendimiento

Command	Description
ollama run llama3.1 --gpu-layers 32	Use GPU acceleration
ollama run llama3.1 --memory-limit 8GB	Set memory limit
ollama run llama3.1 --cpu-threads 8	Set CPU threads
ollama run llama3.1 --batch-size 1024	Optimize batch size

Medio ambiente

Variable	Description
OLLAMA_HOST	Set server host (default: 127.0.0.1:11434)
OLLAMA_MODELS	Set models directory
OLLAMA_NUM_PARALLEL	Number of parallel requests
OLLAMA_MAX_LOADED_MODELS	Max models in memory
OLLAMA_FLASH_ATTENTION	Enable flash attention
OLLAMA_GPU_OVERHEAD	GPU memory overhead

Docker Usage

Command	Description
docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama	Run Ollama in Docker
docker exec -it ollama ollama run llama3.1	Run model in container
docker exec -it ollama ollama pull mistral	Pull model in container

Docker Compose

version: '3.8'
services:
  ollama:
    image: ollama/ollama
    ports:
      - "11434:11434"
    volumes:
      - ollama:/root/.ollama
    environment:
      - OLLAMA_HOST=0.0.0.0:11434
volumes:
  ollama:

Monitoring " Debugging

Command	Description
ollama logs	View Ollama logs
ollama ps	Show running models and memory usage
curl http://localhost:11434/api/version	Check API version
curl http://localhost:11434/api/tags	List available models

Model Quantization

Command	Description
ollama create mymodel -f Modelfile --quantize q4_0	4-bit quantization
ollama create mymodel -f Modelfile --quantize q5_0	5-bit quantization
ollama create mymodel -f Modelfile --quantize q8_0	8-bit quantization
ollama create mymodel -f Modelfile --quantize f16	16-bit float

Modelos de integración

Command	Description
ollama pull nomic-embed-text	Pull text embedding model
curl http://localhost:11434/api/embeddings -d '{"model":"nomic-embed-text","prompt":"Hello world"}'	Generate embeddings

Solución de problemas

Command	Description
ollama --help	Show help information
ollama serve --help	Show server options
ps aux \| grep ollama	Check if Ollama is running
lsof -i :11434	Check port usage
ollama rm --all	Remove all models

Buenas prácticas

• Seleccione el tamaño del modelo basado en la memoria RAM disponible (7B ♥ 4GB, 13B ♥ 8GB, 70B ♥ 40GB)
• Utilice la aceleración de GPU cuando esté disponible para un mejor rendimiento
• Implementar el correcto manejo de errores en las integraciones de API
• Controlar el uso de la memoria cuando se ejecutan múltiples modelos
• Utilizar modelos cuantificados para entornos con capacitación en recursos
• Cache frecuentemente utilizado modelos localmente
• Establecer tamaños de contexto apropiados para su caso de uso
• Utilizar streaming para respuestas largas para mejorar la experiencia del usuario
• Implementar la limitación de tarifas para el uso de API de producción
• Actualizaciones de modelos regulares para mejorar el rendimiento y las capacidades

Casos de uso común

Code Generation

ollama run codellama "Create a REST API in Python using FastAPI"

Análisis de texto

ollama run llama3.1 "Analyze the sentiment of this text: 'I love this product!'"

Escritura Creativa

ollama run mistral "Write a short story about time travel"

Procesamiento de datos

ollama run llama3.1 "Convert this JSON to CSV format: {...}"