性能优化实战手册

一、渲染性能优化

1. GPU加速

硬件选择:

推荐配置:
- NVIDIA RTX 4090 (本地): 渲染速度提升 5-10倍
- AWS g4dn.xlarge (云端): 性价比最优
- 成本对比: GPU vs CPU 渲染速度提升 3-8倍

FFmpeg GPU加速:

# NVIDIA GPU (h264_nvenc)
ffmpeg -hwaccel cuda -i input.mp4 \
  -c:v h264_nvenc -preset fast \
  output.mp4

# 性能提升: 10分钟 → 2分钟

---

2. 并行渲染

多任务并行:

from concurrent.futures import ProcessPoolExecutor
import multiprocessing

def render_video(data):
    # 单个视频渲染逻辑
    pass

# 使用所有CPU核心
cpu_count = multiprocessing.cpu_count()
with ProcessPoolExecutor(max_workers=cpu_count) as executor:
    results = list(executor.map(render_video, data_list))

# 提升: 单核1小时 → 16核4分钟

分布式渲染:

# Kubernetes配置
apiVersion: batch/v1
kind: Job
metadata:
  name: video-render-batch
spec:
  parallelism: 20  # 20个并行Pod
  completions: 100 # 总共100个任务
  template:
    spec:
      containers:
      - name: renderer
        image: video-renderer:latest
        resources:
          limits:
            nvidia.com/gpu: 1

---

3. 渲染参数优化

关键参数:

# 平衡质量与速度
ffmpeg -i input.mp4 \
  -c:v libx264 \
  -preset medium \      # fast/medium/slow (速度vs质量)
  -crf 23 \             # 18-28 (质量,23为推荐)
  -r 30 \               # 帧率 (24/30/60)
  -s 1080x1920 \        # 分辨率
  output.mp4

# 性能对比:
# preset=fast:   1分钟, 文件较大
# preset=medium: 2分钟, 质量适中 ⭐推荐
# preset=slow:   5分钟, 质量最优

码率控制:

目标码率建议:
- 抖音/快手短视频: 3-5 Mbps
- 电商展示视频: 2-4 Mbps
- 教育课程视频: 4-6 Mbps

过高: 文件大,上传慢,浪费带宽
过低: 质量差,影响观看体验

---

二、成本优化

1. 云资源选择

成本对比 (1000个视频/天):

方案	成本/月	渲染速度	适用场景
本地服务器 (RTX 4090)	¥800 (电费)	快	稳定高频
AWS EC2 g4dn.xlarge	¥3000	中	弹性需求
阿里云抢占式实例	¥1200	中	成本敏感 ⭐
Spot Instances (AWS)	¥800	中	可中断任务

推荐策略:

• 基础负载: 本地服务器
• 峰值负载: 云端抢占式实例
• 节省: 50-70%

---

2. 存储优化

分层存储:

热数据 (7天): SSD (¥0.8/GB/月)
温数据 (30天): 标准存储 (¥0.12/GB/月)
冷数据 (\>30天): 归档存储 (¥0.03/GB/月)

示例 (10TB):
- 全SSD: ¥8000/月
- 分层: ¥2000/月 ⭐节省75%

对象存储配置:

# 自动分层策略 (AWS S3)
lifecycle_policy = {
    "Rules": [{
        "Transition": {
            "Days": 7,
            "StorageClass": "STANDARD_IA"  # 不常访问
        }
    }, {
        "Transition": {
            "Days": 30,
            "StorageClass": "GLACIER"  # 归档
        }
    }]
}

---

3. CDN优化

CDN成本:

阿里云CDN:
- 流量: ¥0.24/GB (中国大陆)
- 1TB流量: ¥240

优化策略:
- 压缩传输 (gzip): 节省30-50%
- 缓存策略: 命中率\>90%
- 回源优化: 减少80%回源

实际案例:

优化前:
- 月流量: 100TB
- CDN成本: ¥24,000

优化后:
- 压缩传输: 70TB
- 缓存命中率: 95%
- 实际回源: 3.5TB
- CDN成本: ¥8,400
节省: 65% ⭐

---

三、并发与扩展性

1. 任务队列设计

Celery配置:

# celery_config.py
CELERY_CONFIG = {
    'broker_url': 'redis://localhost:6379/0',
    'result_backend': 'redis://localhost:6379/1',

    # 并发配置
    'worker_concurrency': 8,  # 每个worker的并发数
    'worker_prefetch_multiplier': 2,  # 预取任务数

    # 优先级队列
    'task_routes': {
        'render_high': {'queue': 'high'},    # 付费用户
        'render_normal': {'queue': 'normal'}, # 普通用户
        'render_low': {'queue': 'low'}       # 免费用户
    },

    # 超时设置
    'task_time_limit': 3600,  # 1小时硬超时
    'task_soft_time_limit': 3000,  # 50分钟软超时
}

任务重试策略:

@celery_app.task(
    bind=True,
    max_retries=3,
    default_retry_delay=60  # 60秒后重试
)
def render_video(self, video_id):
    try:
        # 渲染逻辑
        return render(video_id)
    except Exception as e:
        # 指数退避重试
        self.retry(exc=e, countdown=60 * (2 ** self.request.retries))

---

2. 数据库优化

索引优化:

-- 关键查询索引
CREATE INDEX idx_video_status ON videos(status, created_at);
CREATE INDEX idx_user_quota ON users(id, quota_used);
CREATE INDEX idx_batch_user ON batches(user_id, created_at);

-- 复合索引
CREATE INDEX idx_video_lookup ON videos(user_id, status, created_at DESC);

-- 性能提升: 2000ms → 50ms

查询优化:

# ❌ N+1查询问题
videos = Video.objects.all()
for video in videos:
    print(video.user.email)  # 每次查询数据库

# ✅ 使用select_related
videos = Video.objects.select_related('user').all()
for video in videos:
    print(video.user.email)  # 一次查询

# 性能提升: 1000次查询 → 1次查询

---

3. 缓存策略

Redis缓存:

from django.core.cache import cache

def get_video_status(video_id):
    # 尝试从缓存获取
    cache_key = f'video_status_{video_id}'
    status = cache.get(cache_key)

    if status is None:
        # 缓存未命中,查询数据库
        video = Video.objects.get(id=video_id)
        status = video.status

        # 写入缓存 (5分钟)
        cache.set(cache_key, status, timeout=300)

    return status

# 缓存命中率: 85%+
# 数据库负载降低: 80%

缓存失效策略:

# 主动失效
def update_video_status(video_id, new_status):
    video = Video.objects.get(id=video_id)
    video.status = new_status
    video.save()

    # 删除缓存
    cache_key = f'video_status_{video_id}'
    cache.delete(cache_key)

---

四、监控与指标

1. 核心性能指标

渲染性能:

关键指标:
- 平均渲染时间: < 5分钟/视频 (1080p, 15秒)
- P95渲染时间: < 10分钟
- 渲染成功率: \> 99%
- 并发渲染数: 20-50个

告警阈值:
- 渲染时间 \> 15分钟
- 成功率 < 95%
- 队列积压 \> 1000

系统指标:

CPU: < 80% (持续)
内存: < 85%
GPU利用率: 70-90% (最优)
磁盘I/O: < 80%
网络带宽: < 70%

---

2. 监控工具配置

Prometheus + Grafana:

# prometheus.yml
scrape_configs:
  - job_name: 'video-renderer'
    static_configs:
      - targets: ['localhost:9090']
    metrics_path: '/metrics'

# 监控指标
video_render_duration_seconds (直方图)
video_render_total (计数器)
video_render_success_rate (仪表)
gpu_utilization_percent (仪表)
queue_depth (仪表)

告警规则:

# alerting_rules.yml
groups:
  - name: video_rendering
    rules:
      - alert: HighRenderTime
        expr: video_render_duration_seconds \> 900  # 15分钟
        for: 5m
        annotations:
          summary: "渲染时间过长"

      - alert: LowSuccessRate
        expr: video_render_success_rate < 0.95
        for: 10m
        annotations:
          summary: "渲染成功率低于95%"

---

3. 日志分析

结构化日志:

import structlog

logger = structlog.get_logger()

# 渲染日志
logger.info(
    "video_render_start",
    video_id=video_id,
    template_id=template_id,
    resolution="1080x1920"
)

logger.info(
    "video_render_complete",
    video_id=video_id,
    duration_seconds=125.3,
    file_size_mb=15.8,
    success=True
)

# 便于ELK/Loki分析

---

五、性能优化检查清单

MVP阶段 (前3个月)

• FFmpeg基础优化 (preset, crf)
• 简单并行处理 (ThreadPoolExecutor)
• Redis基础缓存
• 数据库索引优化
• 基础监控 (CPU, 内存)

成长阶段 (3-12个月)

• GPU加速渲染
• Celery分布式任务队列
• 分层存储策略
• CDN优化
• Prometheus监控
• 自动扩缩容

成熟阶段 (12个月+)

• Kubernetes集群
• 全球CDN加速
• AI渲染参数优化
• 智能任务调度
• 成本分析系统
• 性能自动调优

---

六、实战案例

案例1: 渲染速度优化

问题: 单个视频渲染需要15分钟

分析:

1. 使用CPU渲染 (慢)
2. preset=slow (质量过高)
3. 无并行处理

优化:

# 优化前
ffmpeg -i input.mp4 -c:v libx264 -preset slow output.mp4
# 时间: 15分钟

# 优化后
ffmpeg -hwaccel cuda -i input.mp4 \
  -c:v h264_nvenc -preset medium output.mp4
# 时间: 2分钟

# 提升: 7.5倍

---

案例2: 成本优化

问题: 月成本¥50,000,主要是云服务器

优化方案:

1. 使用抢占式实例: 节省60% (¥30,000 → ¥12,000)
2. 分层存储: 节省50% (¥10,000 → ¥5,000)
3. CDN压缩: 节省40% (¥8,000 → ¥4,800)

总成本: ¥50,000 → ¥21,800
节省: 56%

---

案例3: 并发优化

问题: 1000个视频需要10小时

优化:

# 优化前: 单线程
for video in videos:
    render(video)
# 时间: 10小时

# 优化后: 16核并行
with ProcessPoolExecutor(max_workers=16) as executor:
    executor.map(render, videos)
# 时间: 40分钟

# 提升: 15倍

---

七、性能优化ROI

优化项	投入	收益	ROI	优先级
GPU加速	¥10,000 (硬件)	5倍速度	⭐⭐⭐⭐⭐	高
并行处理	2天开发	10-15倍速度	⭐⭐⭐⭐⭐	高
抢占式实例	1天配置	节省60%成本	⭐⭐⭐⭐⭐	高
Redis缓存	1天开发	降低80%数据库负载	⭐⭐⭐⭐	中
分层存储	半天配置	节省50%存储成本	⭐⭐⭐⭐	中
CDN优化	1天配置	节省40%带宽成本	⭐⭐⭐	中
Kubernetes	2周搭建	弹性扩展	⭐⭐⭐	低

---

更新记录

• 2025-01-09: 初始版本,完成性能优化实战手册