S3 视频上传脚本与链接列表

#!/bin/bash
set -e  # 脚本遇错误直接退出

# -------------------------- 请手动修改以下3个参数 --------------------------
LOCAL_DIR="/path/to/your/local/videos"  # 本地视频文件夹路径
S3_BUCKET="your-s3-bucket-name"         # S3桶名
S3_DIR="s3-folder-path/"                # S3目标目录（末尾加/，如"videos/2024/"）
# --------------------------------------------------------------------------

# 输出链接列表的文件（会自动创建在本地文件夹）
LINK_FILE="${LOCAL_DIR}/s3_video_links.txt"
> "$LINK_FILE"  # 清空旧文件（首次运行可忽略）

# 1. 按人类可读顺序遍历本地文件（解决1→9→10→11，而非1→10→11→9）
find "$LOCAL_DIR" -maxdepth 1 -type f | sort -V | while read -r local_file; do
    # 提取纯文件名（不含本地路径）
    filename=$(basename "$local_file")
    # S3上的完整路径（格式：s3://桶名/目录/文件名）
    s3_path="s3://${S3_BUCKET}/${S3_DIR}${filename}"
    # 最终可访问的S3链接（需根据桶的访问权限调整，此处为公开访问示例）
    s3_url="https://${S3_BUCKET}.s3.amazonaws.com/${S3_DIR}${filename}"

    echo "=== 处理文件：$filename ==="

    # 2. 检查S3上文件是否存在且完整（用s3cmd info验证，避免部分上传）
    if s3cmd info "$s3_path" >/dev/null 2>&1; then
        # 本地与S3文件MD5对比（确保完整性，避免文件损坏）
        local_md5=$(md5sum "$local_file" | awk '{print $1}')
        s3_md5=$(s3cmd info "$s3_path" | grep "MD5 sum" | awk '{print $3}')
        
        if [ "$local_md5" = "$s3_md5" ]; then
            echo "✅ S3已存在完整文件，跳过上传"
            echo "$filename -> $s3_url" >> "$LINK_FILE"  # 写入链接列表
            continue
        else
            echo "⚠️ S3文件存在但不完整，重新上传"
        fi
    else
        echo "🔍 S3不存在该文件，开始上传"
    fi

    # 3. 上传文件（--continue：断点续传；--check-md5：上传后验证完整性）
    s3cmd put --continue --check-md5 "$local_file" "$s3_path"

    # 4. 上传成功后，写入链接到列表
    if [ $? -eq 0 ]; then
        echo "✅ 上传成功，记录链接"
        echo "$filename -> $s3_url" >> "$LINK_FILE"
    else
        echo "❌ 上传失败，跳过该文件"
    fi

    echo "------------------------"
done

echo "🎉 所有文件处理完成！链接列表已保存至：$LINK_FILE"

#!/bin/bash
set -e

# -------------------------- 1. 配置参数（必改） --------------------------
LOCAL_DIR="/path/to/your/local/videos"  # 本地视频文件夹
S3_BUCKET="your-s3-bucket-name"         # S3桶名
S3_DIR="s3-folder-path/"                # S3目标目录（末尾加/，如"videos/2024/"）
# -------------------------- 2. 测试模式开关（选填） --------------------------
DRY_RUN=false  # 👉 测试时改 true（只打印不执行），正式上传改 false
# --------------------------------------------------------------------------

# 链接列表文件路径（Dry Run 时也会打印路径，但不实际创建）
LINK_FILE="${LOCAL_DIR}/s3_video_links.txt"


# -------------------------- 核心函数：安全执行命令 --------------------------
# 功能：根据 DRY_RUN 开关，决定是“打印命令”还是“实际执行命令”
safe_exec() {
    local cmd="$*"
    if [ "$DRY_RUN" = true ]; then
        echo "[DRY RUN] 即将执行：$cmd"  # 测试模式：只打印命令
    else
        echo "[实际执行] $cmd"          # 正式模式：执行命令并输出日志
        eval "$cmd"                     # 执行实际命令
    fi
}


echo "========================================"
if [ "$DRY_RUN" = true ]; then
    echo "🔴 当前为 DRY RUN 测试模式，不会实际上传/写文件！"
else
    echo "🟢 当前为正式上传模式，会执行上传和写链接文件！"
    safe_exec "> $LINK_FILE"  # 正式模式：清空旧链接文件
fi
echo "本地目录：$LOCAL_DIR"
echo "S3目标：s3://${S3_BUCKET}/${S3_DIR}"
echo "链接列表文件：$LINK_FILE"
echo "========================================"


# 1. 按人类可读顺序遍历本地文件（1→9→10→11）
find "$LOCAL_DIR" -maxdepth 1 -type f | sort -V | while read -r local_file; do
    filename=$(basename "$local_file")
    s3_path="s3://${S3_BUCKET}/${S3_DIR}${filename}"
    s3_url="https://${S3_BUCKET}.s3.amazonaws.com/${S3_DIR}${filename}"

    echo -e "\n=== 处理文件：$filename ==="

    # 2. 检查S3文件是否存在（Dry Run 时也会模拟检查逻辑）
    echo "[步骤1] 检查S3是否存在文件：$s3_path"
    if [ "$DRY_RUN" = true ]; then
        # 测试模式：模拟“文件存在/不存在”的判断（可手动改true/false测试分支）
        s3_exists=false  # 👉 想测试“文件已存在”场景，改这里为 true
    else
        # 正式模式：实际检查S3文件
        if s3cmd info "$s3_path" >/dev/null 2>&1; then
            s3_exists=true
        else
            s3_exists=false
        fi
    fi

    # 3. 根据文件是否存在，执行不同逻辑
    if [ "$s3_exists" = true ]; then
        echo "[结果] S3已存在该文件，准备对比MD5完整性"
        # 模拟/实际计算MD5
        local_md5=$(md5sum "$local_file" | awk '{print $1}')
        if [ "$DRY_RUN" = true ]; then
            s3_md5="模拟S3文件的MD5值"  # 测试模式：模拟S3的MD5
        else
            s3_md5=$(s3cmd info "$s3_path" | grep "MD5 sum" | awk '{print $3}')
        fi
        echo "[对比] 本地MD5：$local_md5 | S3 MD5：$s3_md5"

        # 判断MD5是否一致
        if [ "$local_md5" = "$s3_md5" ] && [ "$DRY_RUN" = false ]; then
            echo "[结论] MD5一致，跳过上传"
            safe_exec "echo '$filename -> $s3_url' >> $LINK_FILE"  # 写链接
        elif [ "$local_md5" != "$s3_md5" ]; then
            echo "[结论] MD5不一致，需要重新上传"
            # 执行上传（Dry Run 时只打印命令）
            safe_exec "s3cmd put --continue --check-md5 '$local_file' '$s3_path'"
            safe_exec "echo '$filename -> $s3_url' >> $LINK_FILE"  # 写链接
        else
            echo "[DRY RUN] 模拟MD5一致，跳过上传并写链接"
        fi

    else
        echo "[结果] S3不存在该文件，准备上传"
        # 执行上传（Dry Run 时只打印命令）
        safe_exec "s3cmd put --continue --check-md5 '$local_file' '$s3_path'"
        safe_exec "echo '$filename -> $s3_url' >> $LINK_FILE"  # 写链接
    fi

    echo "------------------------"
done

echo -e "\n🎉 所有文件处理完成！"
if [ "$DRY_RUN" = true ]; then
    echo "🔴 注意：DRY RUN 模式未实际执行任何修改，可核对上述步骤是否符合预期！"
else
    echo "🟢 正式模式已完成，链接列表保存在：$LINK_FILE"
fi

locale -a | grep zh_CN

find "$LOCAL_DIR" -maxdepth 1 -type f | sort -V | while read -r local_file; do

# 测试 UTF-8 拼音排序
find "/path/to/your/local" -maxdepth 1 -type f | LC_COLLATE=zh_CN.UTF-8 sort -V

# 纯中文文件名（不含数字）推荐用法
find /tmp/test/ -maxdepth 1 -type f | LC_COLLATE=zh_CN.UTF-8 sort

# 混合文件名调试（查看排序依据）
find /tmp/test/ -maxdepth 1 -type f | LC_COLLATE=zh_CN.UTF-8 sort -V --debug

find "$LOCAL_DIR" -maxdepth 1 -type f | LC_COLLATE=zh_CN.utf8 sort -V | while read -r local_file; do

# 创建测试文件
mkdir -p /tmp/test && cd /tmp/test
touch "苹果1.mp4" "苹果10.mp4" "香蕉2.mp4" "橙子3.mp4"

# 执行排序命令
find /tmp/test -maxdepth 1 -type f | LC_COLLATE=zh_CN.utf8 sort -V

# 按“中文拼音+数字自然顺序”排序
find "$LOCAL_DIR" -maxdepth 1 -type f | LC_COLLATE=zh_CN.utf8 sort -V | while read -r local_file; do
    # 后续处理逻辑...
done

find /tmp/test -maxdepth 1 -type f | \
  LC_COLLATE=zh_CN.utf8 sort -V --debug | \
  while read -r f; do echo "$(basename $f)"; done

find "$LOCAL_DIR" -maxdepth 1 -type f | \
  LC_COLLATE=zh_CN.utf8 sort -V | \  # 核心：中文拼音+数字自然排序
  while read -r local_file; do
    # 后续上传逻辑不变...
    filename=$(basename "$local_file")
    # ...
  done

find /tmp/test -maxdepth 1 -type f | \
  # 1. 提取文件名并转码为 GBK（忽略声调，按拼音字母排序）
  while read -r f; do
    basename "$f" | iconv -f UTF-8 -t GBK 2>/dev/null && echo "$f"
  done | \
  # 2. 按 GBK 编码排序（拼音字母优先，忽略声调）
  LC_COLLATE=zh_CN.GBK sort -k1,1 -V | \
  # 3. 提取原始文件路径（恢复 UTF-8 显示）
  cut -d$'\n' -f2 | \
  # 4. 输出结果
  while read -r f; do echo "$(basename "$f")"; done

find "$LOCAL_DIR" -maxdepth 1 -type f | \
  # 转码为 GBK 并排序
  while read -r f; do
    basename "$f" | iconv -f UTF-8 -t GBK 2>/dev/null && echo "$f"
  done | \
  LC_COLLATE=zh_CN.GBK sort -k1,1 -V | \
  cut -d$'\n' -f2 | \
  # 后续处理
  while read -r local_file; do
    filename=$(basename "$local_file")
    # 上传逻辑不变...
  done