📘 HƯỚNG DẪN XÂY DỰNG HỆ THỐNG CHAT OLLAMA ĐỌC TÀI LIỆU VÀ TRA CỨU INTERNET

Trình duyệt người dùng
        │
        ▼
  Domain (ai.huancoc.com) - Qua Nginx Proxy Manager (có xác thực)
        │
        ▼
   Open WebUI (Port 3000) - Giao diện chat chính
        │
    ┌───┴──────────────────────────────────────┐
    │                                          │
    ▼                                          ▼
Ollama (Port 11434) - Chạy model ngôn ngữ    LocalAI (Port 8085/v1) - API OpenAI-compatible
    │                                          │
    └──────────────────────────────────────────┘
                        │
                        ▼
                 SearXNG (Port 8080) - Tìm kiếm web

# Cập nhật hệ thống
sudo apt update && sudo apt upgrade -y

# Cài đặt Docker
curl -fsSL https://get.docker.com -o get-docker.sh
sudo sh get-docker.sh

# Thêm user vào group docker
sudo usermod -aG docker $USER
newgrp docker

# Cài đặt Docker Compose Plugin
sudo apt install docker-compose-plugin -y

# Kiểm tra cài đặt
docker --version
docker compose version

# Cài đặt Ollama
curl -fsSL https://ollama.com/install.sh | sh

# Cấu hình Ollama lắng nghe trên tất cả interface
sudo mkdir -p /etc/systemd/system/ollama.service.d
sudo tee /etc/systemd/system/ollama.service.d/override.conf << 'EOF'
[Service]
Environment="OLLAMA_HOST=0.0.0.0"
EOF

# Khởi động lại dịch vụ
sudo systemctl daemon-reload
sudo systemctl restart ollama
sudo systemctl enable ollama

# Kiểm tra trạng thái
sudo systemctl status ollama

# Model chat đa năng (3B, context 128K)
ollama pull llama3.2:3b

# Model embedding cho xử lý tài liệu
ollama pull nomic-embed-text

# Model nhẹ hơn (tùy chọn)
ollama pull phi3:mini
ollama pull gemma2:2b

curl http://localhost:11434/api/tags

# Tạo thư mục làm việc
mkdir -p ~/localai && cd ~/localai

# Tạo file docker-compose.yml
cat > docker-compose.yml << 'EOF'
version: '3.8'

services:
  localai:
    image: quay.io/go-skynet/local-ai:latest
    container_name: localai
    restart: unless-stopped
    ports:
      - "8085:8080"
    volumes:
      - ./models:/models
      - ./images:/tmp/generated/images
    environment:
      - THREADS=4
      - CONTEXT_SIZE=8192
      - DEBUG=true
      - MODELS_PATH=/models
      - STREAMING=true
EOF

docker compose up -d
docker logs localai --tail 20

# Tạo volume lưu dữ liệu
docker volume create open-webui-data

# Chạy Open WebUI
docker run -d \
  --name open-webui \
  --restart unless-stopped \
  -p 3000:8080 \
  -v open-webui-data:/app/backend/data \
  -e OLLAMA_BASE_URL=http://192.168.3.6:11434 \
  -e OPENAI_API_BASE_URL=http://192.168.3.6:8085/v1 \
  -e OPENAI_API_KEY=your_username:your_password \
  -e WEBUI_AUTH=true \
  -e ENABLE_WEBSOCKET_SUPPORT=true \
  ghcr.io/open-webui/open-webui:main

# Tạo thư mục làm việc
mkdir -p ~/searxng && cd ~/searxng
mkdir -p searxng

# Tạo file settings.yml
cat > searxng/settings.yml << 'EOF'
use_default_settings: true

server:
  bind_address: "0.0.0.0"
  port: 8080
  secret_key: "your-secret-key-change-this"
  image_proxy: true

ui:
  static_use_hash: true

search:
  safe_search: 0
  formats:
    - html
    - json

outgoing:
  request_timeout: 5.0
  max_request_size: 25

redis:
  url: redis://redis:6379/0
EOF

# Tạo file limiter.toml
cat > searxng/limiter.toml << 'EOF'
[botdetection.ip_limit]
link_token = false

[botdetection.ip_lists]
block_ip = []
pass_ip = []
EOF

cat > docker-compose.yml << 'EOF'
version: '3.7'

services:
  redis:
    container_name: searxng-redis
    image: redis:alpine
    command: redis-server --save "" --appendonly "no"
    networks:
      - searxng-net
    tmpfs:
      - /var/lib/redis
    restart: unless-stopped

  searxng:
    container_name: searxng
    image: searxng/searxng:latest
    networks:
      - searxng-net
    ports:
      - "8080:8080"
    volumes:
      - ./searxng:/etc/searxng:rw
    environment:
      - SEARXNG_BASE_URL=http://192.168.3.6:8080/
    depends_on:
      - redis
    cap_drop:
      - ALL
    cap_add:
      - CHOWN
      - SETGID
      - SETUID
      - DAC_OVERRIDE
    restart: unless-stopped

networks:
  searxng-net:
    driver: bridge
EOF

docker compose up -d
docker ps | grep searxng

location / {
    proxy_pass http://192.168.3.6:3000;
    proxy_http_version 1.1;
    proxy_set_header Upgrade $http_upgrade;
    proxy_set_header Connection "upgrade";
    proxy_set_header Host $host;
    proxy_set_header X-Real-IP $remote_addr;
    proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    proxy_set_header X-Forwarded-Proto $scheme;
}

# Mở trình duyệt và truy cập
https://ai.huancoc.com

# Đăng nhập và tạo chat mới
# Chọn model và bắt đầu hỏi

# Xem logs
docker logs open-webui --tail 50
docker logs searxng --tail 20
docker logs localai --tail 20

# Restart container
docker restart open-webui
docker restart searxng
docker restart localai

# Cập nhật Open WebUI
docker stop open-webui
docker rm open-webui
docker run -d ... (chạy lại với image mới nhất)

# Backup volume Open WebUI
docker run --rm -v open-webui-data:/data -v $(pwd):/backup alpine tar czf /backup/open-webui-backup-$(date +%Y%m%d).tar.gz -C /data .

# Backup cấu hình SearXNG
tar -czf searxng-backup-$(date +%Y%m%d).tar.gz ~/searxng/