Hướng Dẫn Tổ Chức và Phân Loại Ảnh/Video Tự Động Trên Ubuntu Server

sudo apt update
sudo apt upgrade -y
sudo apt install -y curl git exiftool

# Thêm repository NodeSource
curl -fsSL https://deb.nodesource.com/setup_18.x | sudo bash -

# Cài đặt Node.js
sudo apt install -y nodejs

# Kiểm tra
node --version  # Phải hiển thị v18.x.x

# Cấu hình npm để cài trong thư mục user (không cần sudo)
mkdir -p ~/.npm-global
npm config set prefix '~/.npm-global'

# Thêm vào PATH
echo 'export PATH=~/.npm-global/bin:$PATH' >> ~/.bashrc
source ~/.bashrc

# Cài đặt SMO
npm install -g @sotilab/smo

# Kiểm tra
smo --help

# Thư mục gốc (điều chỉnh theo đường dẫn thực tế của bạn)
cd /home/your_user/Data

# Tạo cấu trúc thư mục đích
mkdir -p ANH_CHUP_PROCESSED/{Images,Videos,Others}
mkdir -p DUPLICATES/{Images,Videos,Others}
mkdir -p ERRORS
mkdir -p LOGS

nano ~/organize_media.py

#!/usr/bin/env python3
import os
import shutil
import subprocess
from pathlib import Path
from datetime import datetime
from concurrent.futures import ThreadPoolExecutor, as_completed
import time
import sys

# ============================================
# CẤU HÌNH - CHỈNH SỬA THEO ĐƯỜNG DẪN CỦA BẠN
# ============================================
SOURCE = "/home/your_user/Data/ANH_CHUP"
DEST_IMAGES = "/home/your_user/Data/ANH_CHUP_PROCESSED/Images"
DEST_VIDEOS = "/home/your_user/Data/ANH_CHUP_PROCESSED/Videos"
DEST_OTHERS = "/home/your_user/Data/ANH_CHUP_PROCESSED/Others"
DUPLICATES_IMAGES = "/home/your_user/Data/DUPLICATES/Images"
DUPLICATES_VIDEOS = "/home/your_user/Data/DUPLICATES/Videos"
DUPLICATES_OTHERS = "/home/your_user/Data/DUPLICATES/Others"
ERRORS = "/home/your_user/Data/ERRORS"
LOG_FILE = "/home/your_user/Data/organize_media_log.txt"

# Định dạng file được hỗ trợ
IMAGE_EXT = {'.jpg', '.jpeg', '.png', '.gif', '.bmp', '.tiff', '.webp', '.heic', '.jfif'}
VIDEO_EXT = {'.mp4', '.avi', '.mov', '.mkv', '.flv', '.wmv', '.m4v', '.3gp', '.mpg', '.mpeg', '.webm'}
# Các file còn lại sẽ vào thư mục Others

# ============================================
# CÁC HÀM XỬ LÝ (KHÔNG CẦN THAY ĐỔI)
# ============================================
def log_message(msg):
    timestamp = datetime.now().strftime('%Y-%m-%d %H:%M:%S')
    log_line = f"[{timestamp}] {msg}"
    print(log_line)
    with open(LOG_FILE, 'a') as f:
        f.write(log_line + '\n')

def get_file_type(filepath):
    ext = Path(filepath).suffix.lower()
    if ext in IMAGE_EXT:
        return 'image'
    elif ext in VIDEO_EXT:
        return 'video'
    else:
        return 'other'

def get_date_taken(filepath):
    try:
        result = subprocess.run(
            ['exiftool', '-DateTimeOriginal', '-d', '%Y/%m/%d', filepath],
            capture_output=True, text=True, timeout=3
        )
        if result.returncode == 0 and result.stdout and ':' in result.stdout:
            date_str = result.stdout.split(': ')[1].strip()
            if date_str and len(date_str) == 10:
                return date_str
    except:
        pass
    
    try:
        result = subprocess.run(
            ['exiftool', '-MediaCreateDate', '-d', '%Y/%m/%d', filepath],
            capture_output=True, text=True, timeout=3
        )
        if result.returncode == 0 and result.stdout and ':' in result.stdout:
            date_str = result.stdout.split(': ')[1].strip()
            if date_str and len(date_str) == 10:
                return date_str
    except:
        pass
    
    mtime = os.path.getmtime(filepath)
    return datetime.fromtimestamp(mtime).strftime('%Y/%m/%d')

def process_file(filepath):
    try:
        file_type = get_file_type(filepath)
        
        if file_type == 'image':
            dest_base = DEST_IMAGES
            dup_base = DUPLICATES_IMAGES
        elif file_type == 'video':
            dest_base = DEST_VIDEOS
            dup_base = DUPLICATES_VIDEOS
        else:
            dest_base = DEST_OTHERS
            dup_base = DUPLICATES_OTHERS
        
        # File Others: không phân theo ngày
        if file_type == 'other':
            os.makedirs(dest_base, exist_ok=True)
            dest_path = os.path.join(dest_base, os.path.basename(filepath))
            
            if os.path.exists(dest_path):
                os.makedirs(dup_base, exist_ok=True)
                shutil.move(filepath, os.path.join(dup_base, os.path.basename(filepath)))
                return 'dup_other'
            else:
                shutil.move(filepath, dest_path)
                return 'ok_other'
        
        # Image và Video: phân loại theo ngày
        date_path = get_date_taken(filepath)
        dest_dir = os.path.join(dest_base, date_path)
        os.makedirs(dest_dir, exist_ok=True)
        dest_path = os.path.join(dest_dir, os.path.basename(filepath))
        
        if os.path.exists(dest_path):
            dup_dir = os.path.join(dup_base, date_path)
            os.makedirs(dup_dir, exist_ok=True)
            shutil.move(filepath, os.path.join(dup_dir, os.path.basename(filepath)))
            return f'dup_{file_type}'
        else:
            shutil.move(filepath, dest_path)
            return f'ok_{file_type}'
            
    except Exception as e:
        os.makedirs(ERRORS, exist_ok=True)
        try:
            shutil.move(filepath, os.path.join(ERRORS, os.path.basename(filepath)))
        except:
            pass
        return f'error_{str(e)[:50]}'

# ============================================
# CHƯƠNG TRÌNH CHÍNH
# ============================================
def main():
    log_message("=" * 70)
    log_message("🚀 BẮT ĐẦU XỬ LÝ ẢNH + VIDEO + FILE KHÁC")
    log_message("=" * 70)
    log_message(f"📁 Nguồn: {SOURCE}")
    log_message("")
    
    # Đếm và phân loại file
    log_message("Đang quét và phân loại file...")
    images, videos, others = [], [], []
    
    for root, dirs, files in os.walk(SOURCE):
        for file in files:
            filepath = os.path.join(root, file)
            file_type = get_file_type(filepath)
            if file_type == 'image':
                images.append(filepath)
            elif file_type == 'video':
                videos.append(filepath)
            else:
                others.append(filepath)
    
    total = len(images) + len(videos) + len(others)
    log_message(f"📊 KẾT QUẢ QUÉT:")
    log_message(f"   🖼️  Ảnh: {len(images)} file")
    log_message(f"   🎬 Video: {len(videos)} file")
    log_message(f"   📄 File khác: {len(others)} file")
    log_message(f"   📦 Tổng cộng: {total} file")
    log_message("")
    
    if total == 0:
        log_message("⚠️ Không có file nào cần xử lý!")
        return
    
    # Xử lý file
    log_message("🔄 BẮT ĐẦU XỬ LÝ...")
    start_time = time.time()
    
    ok_img = ok_vid = ok_oth = 0
    dup_img = dup_vid = dup_oth = 0
    errors = 0
    
    all_files = images + videos + others
    
    with ThreadPoolExecutor(max_workers=2) as executor:
        futures = {executor.submit(process_file, f): f for f in all_files}
        for i, future in enumerate(as_completed(futures), 1):
            result = future.result()
            
            if result.startswith('ok_image'): ok_img += 1
            elif result.startswith('ok_video'): ok_vid += 1
            elif result.startswith('ok_other'): ok_oth += 1
            elif result.startswith('dup_image'): dup_img += 1
            elif result.startswith('dup_video'): dup_vid += 1
            elif result.startswith('dup_other'): dup_oth += 1
            else: errors += 1
            
            if i % 200 == 0 or i == total:
                elapsed = time.time() - start_time
                rate = i / elapsed if elapsed > 0 else 0
                remaining = (total - i) / rate if rate > 0 else 0
                log_message(f"📊 {i}/{total} ({i*100//total}%) - "
                           f"🖼️:{ok_img+dup_img} 🎬:{ok_vid+dup_vid} 📄:{ok_oth+dup_oth} "
                           f"- Tốc độ: {rate:.1f} file/s - Còn: {remaining/3600:.1f}h")
    
    # Tổng kết
    log_message("")
    log_message("=" * 70)
    log_message("✅ HOÀN TẤT XỬ LÝ!")
    log_message("=" * 70)
    log_message(f"   🖼️  Ảnh: {ok_img} OK, {dup_img} trùng")
    log_message(f"   🎬 Video: {ok_vid} OK, {dup_vid} trùng")
    log_message(f"   📄 File khác: {ok_oth} OK, {dup_oth} trùng")
    log_message(f"   ❌ Lỗi: {errors} file")
    log_message("=" * 70)

if __name__ == "__main__":
    try:
        if os.path.exists(LOG_FILE):
            os.remove(LOG_FILE)
        main()
    except KeyboardInterrupt:
        log_message("\n⚠️ Người dùng dừng chương trình")
        sys.exit(0)

chmod +x ~/organize_media.py

# Tạo screen session
screen -S organize-media

# Chạy script
python3 ~/organize_media.py

# Detach screen (để chạy nền): Ctrl + A, sau đó D
# Quay lại xem: screen -r organize-media

# Xem log real-time
tail -f /home/your_user/Data/organize_media_log.txt

# Kiểm tra số lượng đã xử lý
watch -n 30 'echo "🖼️ Images: $(find /home/your_user/Data/ANH_CHUP_PROCESSED/Images -type f 2>/dev/null | wc -l) | 🎬 Videos: $(find /home/your_user/Data/ANH_CHUP_PROCESSED/Videos -type f 2>/dev/null | wc -l) | 📄 Others: $(find /home/your_user/Data/ANH_CHUP_PROCESSED/Others -type f 2>/dev/null | wc -l)"'

# Xóa toàn bộ dữ liệu đã xử lý
rm -rf /home/your_user/Data/ANH_CHUP_PROCESSED/*
rm -rf /home/your_user/Data/DUPLICATES/*
rm -rf /home/your_user/Data/ERRORS/*

# Tạo lại cấu trúc
mkdir -p /home/your_user/Data/ANH_CHUP_PROCESSED/{Images,Videos,Others}
mkdir -p /home/your_user/Data/DUPLICATES/{Images,Videos,Others}
mkdir -p /home/your_user/Data/ERRORS

# Xem cấu trúc thư mục đã phân loại
tree -L 3 /home/your_user/Data/ANH_CHUP_PROCESSED/Images/ | head -30

# Xem file trùng lặp
ls -la /home/your_user/Data/DUPLICATES/Images/

# Xóa file trùng (sau khi kiểm tra kỹ)
rm -rf /home/your_user/Data/DUPLICATES

# Tìm các dòng lỗi trong log
grep -i error /home/your_user/Data/organize_media_log.txt

# Xem 50 dòng cuối của log
tail -50 /home/your_user/Data/organize_media_log.txt

with ThreadPoolExecutor(max_workers=2) as executor:

# Mở crontab
crontab -e

# Thêm dòng sau (chạy lúc 2h sáng)
0 2 * * * /usr/bin/python3 /home/your_user/organize_media.py >> /home/your_user/Data/cron_log.txt 2>&1

sudo chown -R your_user:your_user /home/your_user/Data
chmod -R 755 /home/your_user/Data

sudo apt install -y exiftool

python3 --version  # Phải >= 3.6

ANH_CHUP_PROCESSED/
├── Images/
│   ├── 2024/
│   │   ├── 01/
│   │   │   ├── 15/
│   │   │   │   ├── family.jpg
│   │   │   │   └── sunset.png
│   │   │   └── 20/
│   │   └── 02/
│   └── 2025/
├── Videos/
│   ├── 2024/
│   │   └── 01/
│   │       └── 15/
│   │           └── vacation.mp4
│   └── 2025/
└── Others/
    ├── raw_file.CR2
    └── document.pdf