#!/usr/bin/env python3
import os
import sys
import subprocess

# ===================== 固定配置 =====================
MIN_SIZE = 10 * 1024    # 10KB
MAX_SIZE = 100 * 1024   # 100KB
MODEL = "qwen3.5:4b"    # 你的 4050M 6G 完美运行

# ===================== AI 清理指令 =====================
PROMPT = """
你是专业HTML清理助手。请严格只输出清理后的纯净HTML，不要加任何解释、注释、额外文字。

清理规则：
1. 删除所有空的 div、span
2. 删除所有 class、id、style、data-* 属性
3. 删除 script、style、meta、link 标签
4. 保留所有文字、数学公式、标题、正确标签结构
5. 不要修改任何内容，只清理垃圾标签
6. 只输出清理后的HTML，不要输出任何其他内容

下面是需要清理的HTML代码：
"""

# ===================== 核心：正确调用 Ollama =====================
def clean_html(html_content):
    try:
        # 正确、简单、稳定的 ollama 调用
        result = subprocess.run(
            [
                "ollama", "run", MODEL,
                PROMPT + html_content
            ],
            capture_output=True,
            text=True,
            encoding="utf-8",
            timeout=300
        )
        return result.stdout.strip()

    except Exception as e:
        print(f"❌ 模型调用失败: {e}")
        return html_content

# ===================== 主逻辑 =====================
def main():
    if len(sys.argv) != 3:
        print(f"用法: python {sys.argv[0]} 输入文件 输出目录")
        sys.exit(1)

    input_file = sys.argv[1]
    output_dir = sys.argv[2]

    # 检查文件是否存在
    if not os.path.isfile(input_file):
        print(f"❌ 文件不存在")
        sys.exit(1)

    # 输出文件路径（同名）
    os.makedirs(output_dir, exist_ok=True)
    fname = os.path.basename(input_file)
    output_file = os.path.join(output_dir, fname)

    # 文件大小过滤
    size = os.path.getsize(input_file)
    if not (MIN_SIZE <= size <= MAX_SIZE):
        print(f"⏭️ 跳过 {fname} ({size//1024}KB)")
        sys.exit(0)

    print(f"📄 开始处理: {fname} | {size//1024}KB")

    # 读取文件
    with open(input_file, "r", encoding="utf-8", errors="ignore") as f:
        content = f.read()

    # AI 清理
    cleaned = clean_html(content)

    # 写入结果
    with open(output_file, "w", encoding="utf-8") as f:
        f.write(cleaned)

    print(f"✅ 完成: {output_file}")

if __name__ == "__main__":
    main()

cmd = [
    LLAMA_CLI,
    "-m", MODEL_PATH,
    "--system", SYS_PROMPT,
    "-f", input_html_path,
    "--no-interactive",
    "-c", "16384",      # 保持6G显存安全值
    "-n", 16384,
    "--split",          # ✅ 核心：自动拆分超长输入，永不超限
    "--temperature", "0.0",
    "--top-p", "1.0",
    "--batch-size", "512",
    "--no-display-prompt",
    "--no-info",
    "--silent"
]

"-c", "20480",
"-n", "20480",

def preprocess_html(html):
    # 删掉垃圾文本（纯占Token）
    html = html.replace("内容由豆包 AI 生成", "")
    html = html.replace("保存时间：", "")
    # 删掉所有HTML属性（最占Token）
    import re
    html = re.sub(r' [a-zA-Z-]+=".*?"', '', html)
    # 删掉空标签
    html = re.sub(r'<(div|span|p)>\s*</\1>', '', html)
    return html

cmd = [
    LLAMA_CLI,
    "-m", MODEL_PATH,
    "--system", SYS_PROMPT,
    "-f", input_html_path,
    "--no-interactive",
    "-c", "20480",       # 6G显存极限安全值
    "-n", "20480",
    "--split",           # 自动拆分超长输入
    "--temperature", "0.0",
    "--top-p", "1.0",
    "--no-display-prompt",
    "--no-info",
    "--silent"
]

#!/usr/bin/env python3
import os
import sys
import subprocess

# ===================== 配置 =====================
MIN_SIZE = 10 * 1024
MAX_SIZE = 100 * 1024

# llama.cpp 路径（你自己的路径）
LLAMA_CLI = "/home/nick/workspace/llama.cpp/gpu_build/bin/llama-cli"
MODEL_PATH = "/home/nick/workspace/qwen2.5_3b.gguf"

# 强指令（不会思考）
PROMPT = """任务：HTML清理
严格遵守：
1. 删除空div、空span
2. 删除所有class、id、style、data-*
3. 删除script、style、meta、link
4. 不回答问题、不分析、不思考
5. 只输出清理后的HTML
6. 保留所有文字、公式、标题
7. 不要输出任何多余内容

清理以下内容：
"""

# ===================== 清理函数 =====================
def clean_with_llama(html_content):
    try:
        # 拼接：指令 + 内容
        final_input = PROMPT + html_content

        # 正确调用 llama-cli
        res = subprocess.run(
            [
                LLAMA_CLI,
                "-m", MODEL_PATH,
                "-c", "2048",
                "-n", "8192",
                "--temperature", "0.0",
                "--no-display-prompt",
            ],
            input=final_input,
            text=True,
            capture_output=True,
            encoding="utf-8",
            timeout=300,
        )
        return res.stdout.strip()

    except Exception as e:
        print(f"❌ llama 错误：{e}")
        return html_content

# ===================== 主逻辑（固定2个参数） =====================
def main():
    if len(sys.argv) != 3:
        print("用法：python action.py 输入文件 输出目录")
        sys.exit(1)

    input_file = sys.argv[1]
    output_dir = sys.argv[2]

    if not os.path.isfile(input_file):
        print(f"❌ 文件不存在")
        sys.exit(1)

    # 输出路径
    os.makedirs(output_dir, exist_ok=True)
    fname = os.path.basename(input_file)
    output_file = os.path.join(output_dir, fname)

    # 文件大小过滤
    size = os.path.getsize(input_file)
    if not (MIN_SIZE <= size <= MAX_SIZE):
        print(f"⏭️ 跳过：{fname} ({size//1024}KB)")
        return

    print(f"📄 处理：{fname}")

    # 读取
    with open(input_file, "r", encoding="utf-8", errors="ignore") as f:
        content = f.read()

    # 清理
    cleaned = clean_with_llama(content)

    # 写入
    with open(output_file, "w", encoding="utf-8") as f:
        f.write(cleaned)

    print(f"✅ 完成：{output_file}")

if __name__ == "__main__":
    main()

LLAMA_CLI = "/home/nick/workspace/llama.cpp/gpu_build/bin/llama-cli"
MODEL_PATH = "/home/nick/workspace/qwen2.5_3b.gguf"

#!/usr/bin/env python3
import os
import sys
import json
import argparse
import subprocess

# ===================== 默认配置 =====================
DEFAULT_INPUT_DIR = "./input_html"
DEFAULT_OUTPUT_DIR = "./output_html"
DEFAULT_MODEL = "qwen3.5:4b"  # 4B 模型 6G显存完美跑
DEFAULT_MIN_SIZE = 10 * 1024   # 10KB
DEFAULT_MAX_SIZE = 100 * 1024  # 100KB

# ===================== AI 清理提示词（核心） =====================
PROMPT = """
你是专业HTML清理助手。请帮我清理HTML内容，规则：
1. 删除所有空的div、span、p、h标签
2. 删除所有class、id、style、data-*属性
3. 删除script、style、meta、link标签
4. 保留所有文字内容、数学公式、标题结构
5. 保留正确的HTML格式
6. 不要修改文字、不要解释、只输出清理后的HTML

请清理以下内容：
"""

# ===================== 调用 Ollama =====================
def clean_with_ollama(html_content: str, model: str) -> str:
    data = {
        "model": model,
        "prompt": PROMPT + html_content,
        "stream": False,
        "options": {"temperature": 0.1}
    }

    try:
        res = subprocess.run(
            ["ollama", "run", model],
            input=json.dumps(data),
            capture_output=True,
            text=True,
            encoding="utf-8",
            timeout=120
        )
        return res.stdout.strip()
    except Exception as e:
        print(f"❌ 模型调用失败: {e}")
        return html_content

# ===================== 文件处理 =====================
def process_file(
    input_path: str,
    output_path: str,
    model: str
):
    try:
        with open(input_path, "r", encoding="utf-8", errors="ignore") as f:
            content = f.read()

        cleaned = clean_with_ollama(content, model)

        with open(output_path, "w", encoding="utf-8") as f:
            f.write(cleaned)

        print(f"✅ 完成: {os.path.basename(input_path)}")
    except Exception as e:
        print(f"❌ 失败: {input_path}, {e}")

# ===================== 批量筛选 =====================
def batch_process(
    input_dir: str,
    output_dir: str,
    model: str,
    min_size: int,
    max_size: int
):
    os.makedirs(output_dir, exist_ok=True)
    files = [f for f in os.listdir(input_dir) if f.lower().endswith(".html")]

    for fname in files:
        in_path = os.path.join(input_dir, fname)
        if not os.path.isfile(in_path):
            continue

        size = os.path.getsize(in_path)
        if not (min_size <= size <= max_size):
            print(f"⏭️  跳过: {fname} ({size//1024}KB)")
            continue

        out_path = os.path.join(output_dir, fname)
        process_file(in_path, out_path, model)

# ===================== 命令行参数 =====================
def main():
    parser = argparse.ArgumentParser(description="AI 批量清理 HTML（空div/span/属性）")
    parser.add_argument("-i", "--input", default=DEFAULT_INPUT_DIR, help="输入目录")
    parser.add_argument("-o", "--output", default=DEFAULT_OUTPUT_DIR, help="输出目录")
    parser.add_argument("-m", "--model", default=DEFAULT_MODEL, help="Ollama模型名")
    parser.add_argument("--min-size", type=int, default=DEFAULT_MIN_SIZE, help="最小文件大小(字节)")
    parser.add_argument("--max-size", type=int, default=DEFAULT_MAX_SIZE, help="最大文件大小(字节)")

    args = parser.parse_args()

    print("========================================")
    print("输入目录:", args.input)
    print("输出目录:", args.output)
    print("模型:", args.model)
    print("文件大小范围:", args.min_size//1024, "KB ~", args.max_size//1024, "KB")
    print("========================================")

    batch_process(
        input_dir=args.input,
        output_dir=args.output,
        model=args.model,
        min_size=args.min_size,
        max_size=args.max_size
    )

    print("\n🎉 全部处理完成！")

if __name__ == "__main__":
    main()

#!/usr/bin/env python3
import os
import sys
import subprocess

# ===================== 固定配置 =====================
MIN_SIZE = 10 * 1024
MAX_SIZE = 100 * 1024
MODEL = "qwen3.5:4b"

# ===================== 强指令PROMPT（不会思考） =====================
PROMPT = r"""
任务：HTML代码清理
严格遵守以下规则，不许违反：
1. 只清理标签，不改动任何文字、公式
2. 删除所有空div、空span
3. 删除所有class、id、style、data-*
4. 删除script、style、meta、link
5. 不许回答问题
6. 不许分析内容
7. 不许输出思考过程
8. 不许输出解释
9. 只输出清理后的HTML代码

需要清理的HTML：
"""

# ===================== 清理函数 =====================
def clean(html):
    try:
        # 直接拼接，不转义，不加密
        prompt_full = PROMPT + html

        # 调用 Ollama，简单直接
        result = subprocess.run(
            ["ollama", "run", MODEL],
            input=prompt_full,
            text=True,
            capture_output=True,
            encoding="utf-8",
            timeout=300
        )
        return result.stdout.strip()

    except Exception as e:
        print(f"❌ 错误：{e}")
        return html

# ===================== 主函数（只接收2个参数：文件 + 输出目录）=====================
def main():
    if len(sys.argv) != 3:
        print("用法：python action.py 输入文件 输出目录")
        sys.exit(1)

    input_file = sys.argv[1]
    output_dir = sys.argv[2]

    if not os.path.isfile(input_file):
        print(f"❌ 文件不存在")
        sys.exit(1)

    os.makedirs(output_dir, exist_ok=True)
    fname = os.path.basename(input_file)
    output_file = os.path.join(output_dir, fname)

    # 文件大小判断
    size = os.path.getsize(input_file)
    if not (MIN_SIZE <= size <= MAX_SIZE):
        print(f"⏭️ 跳过 {fname}")
        return

    print(f"📄 处理：{fname}")

    # 读取
    with open(input_file, "r", encoding="utf-8", errors="ignore") as f:
        content = f.read()

    # 清理
    cleaned = clean(content)

    # 写入
    with open(output_file, "w", encoding="utf-8") as f:
        f.write(cleaned)

    print(f"✅ 完成：{output_file}")

if __name__ == "__main__":
    main()

#!/usr/bin/env python3
import os
import sys
import subprocess

# ===================== 你的配置 =====================
MIN_SIZE = 10 * 1024
MAX_SIZE = 100 * 1024
LLAMA_CLI = "/home/nick/workspace/llama.cpp/gpu_build/bin/llama-cli"
MODEL_PATH = "/home/nick/workspace/llama.cpp/qwen2.5_3b.gguf"
# ====================================================

# 系统提示词（无思考、纯工具）
SYS_PROMPT = """你是专业的HTML清理+对话内容提纯工具，严格执行：
1. 删除所有HTML属性、空标签、无用脚本标签
2. 删除无价值对话提问，只保留模型输出的干货/小说/结构化回答
3. 不思考、不解释、不输出任何多余内容，仅返回纯净HTML"""

def clean_html(input_path):
    cmd = [
        LLAMA_CLI,
        "-m", MODEL_PATH,
        "--system-prompt", SYS_PROMPT,
        "-f", input_path,
        "--no-interactive",
        # ✅ 以下全是你文档里的官方参数，无任何错误
        "-c", "20480",        # 6G显存极限安全值（刚好装下19589 Token）
        "-n", "20480",        # 输出长度匹配
        "--context-shift",    # 官方滑动窗口，处理超长文本（关键！）
        "--ctx-checkpoints", "32",
        "--temperature", "0.0",
        "--no-display-prompt",
        "--no-info",
        "--silent"
    ]
    try:
        res = subprocess.run(cmd, text=True, capture_output=True, encoding="utf-8", timeout=600)
        return res.stdout.strip()
    except:
        return open(input_path, "r", encoding="utf-8").read()

def main():
    if len(sys.argv) !=3:
        print("用法: python script.py 输入文件 输出目录")
        return
    input_file = sys.argv[1]
    output_dir = sys.argv[2]
    os.makedirs(output_dir, exist_ok=True)
    output_file = os.path.join(output_dir, os.path.basename(input_file))
    
    print(f"处理: {input_file}")
    cleaned = clean_html(input_file)
    with open(output_file, "w", encoding="utf-8") as f:
        f.write(cleaned)
    print(f"完成: {output_file}")

if __name__ == "__main__":
    main()

#!/usr/bin/env python3
import os
import sys
import requests
import json
import datetime
from pathlib import Path

# ===================== 固定配置（直接用你fix_text.py的配置，无需修改）=====================
"
API_URL = "https://ark.cn-beijing.volces.com/api/v3/responses"
MODEL_NAME = "doubao-seed-2-0-lite-260215"
TIMEOUT = 220
LOG_DIR = "./api_logs"

# 文件大小过滤规则（保留原有逻辑）
MIN_SIZE = 10 * 1024
MAX_SIZE = 100 * 1024
# ======================================================================================

# ===================== 你要求的完整版核心Prompt（原封不动）=====================
def build_full_prompt(html_content):
    prompt = f"""你是专业的对话记录提纯与HTML格式化工具，仅执行提纯整理指令，不回答、不分析、不解释、不输出思考过程。
任务：从包含HTML格式的上下文对话记录中，自动识别价值信息、过滤无效内容，提纯整理成逻辑清晰、无冗余、可直接使用的正式文档，严格遵循以下所有规则，仅返回整理后的纯净内容（保留原始HTML结构但清理冗余标签）：

### 一、绝对保留的内容（优先级最高，100%不遗漏）
1. 所有格式化输出内容：包括分点列表（1./2./、一/二/）、数学公式（$...$/${{...}}$$）、代码块、表格、章节标题（含h1-h6标签内容）；
2. 对话中达成的共识、定稿结论、明确结论性表述（如“最终方案：”“共识：”“结论：”引导的内容）；
3. 有价值的细节补充：专业术语解释、逻辑推导过程、案例分析、数据支撑、关键疑问的最终解答；
4. 模型生成的完整创作内容：小说、文章、方案全文（无口语化对话穿插的纯创作内容）。

### 二、绝对过滤的内容（100%删除，不残留）
1. 口语化交互内容：“嗯”“啊”“对吧”“你看”“我觉得”“能不能”等口语助词、疑问语气的闲聊内容；
2. 误解与反复沟通片段：因沟通偏差产生的来回澄清、纠正、重复解释（仅保留最终达成一致的版本）；
3. 无意义冗余信息：保存时间、平台水印（如“内容由XX生成”）、重复提问、无效附和（“好的”“明白”“谢谢”）；
4. HTML冗余元素：所有标签的class、id、style、data-*属性，空div/span/p标签，script/style/meta/link功能标签。

### 三、模糊内容处理规则（兼容判断标准不明确的情况）
1. 支离破碎的细节：若能与核心主题关联（如补充说明、延伸思考）则保留并适当整合；若与主题无关或无法理解则删除；
2. 前后矛盾的内容：保留最新表述或逻辑更严谨的版本，删除冲突的旧版本，无需标注“矛盾”；
3. 不确定价值的内容：优先保留（宁多勿漏），但需精简表述（去除口语化修饰），不影响整体逻辑；
4. 部分有价值的对话：提取其中的核心观点、关键信息，删除对话式交互语句（如“我再补充一点”→ 直接保留补充内容）。

### 四、格式整理要求
1. 结构逻辑：按“核心结论→推导过程→细节补充→相关延伸”的顺序重组内容（不改变原始核心信息）；
2. 表述规范：将口语化表达转化为书面语，删除语气词和冗余修饰；
3. HTML保留：仅保留承载内容的必要标签（h1-h6、p、ol/ul/li、div），标签无任何属性，结构简洁清晰；
4. 公式与代码：完全保留原始格式，不修改任何符号、语法。

### 五、强制输出要求
1. 仅输出整理后的纯净文档内容，无任何额外说明、总结、备注、思考过程；
2. 不增删、不篡改原始核心信息，仅做过滤、整合、格式优化；
3. 内容完整连贯，无明显逻辑断裂，模糊内容处理后不影响阅读理解；
4. 严格遵循“保留精华、过滤糟粕”原则，平衡细节完整性与文档简洁性。

待处理HTML内容：
{html_content}

输出：仅返回整理后的纯净HTML，无其他内容
"""
    return prompt

# ===================== 完全复用fix_text.py的API调用逻辑 =====================
def save_api_log(content, error_type):
    Path(LOG_DIR).mkdir(parents=True, exist_ok=True)
    ts = datetime.datetime.now().strftime("%Y%m%d_%H%M%S")
    log_path = os.path.join(LOG_DIR, f"api_{error_type}_{ts}.json")
    try:
        with open(log_path, "w", encoding="utf-8") as f:
            json.dump(content, f, ensure_ascii=False, indent=2) if isinstance(content, dict) else f.write(str(content))
    except:
        pass

def call_volc_api(html_content):
    headers = {
        "Authorization": f"Bearer {API_KEY}",
        "Content-Type": "application/json"
    }
    req_data = {
        "model": MODEL_NAME,
        "input": [
            {
                "role": "user",
                "content": [{"type": "input_text", "text": build_full_prompt(html_content)}]
            }
        ]
    }

    try:
        resp = requests.post(
            API_URL,
            headers=headers,
            data=json.dumps(req_data),
            timeout=TIMEOUT,
            proxies={"http": None, "https": None}
        )
        resp.raise_for_status()
        resp_json = resp.json()
        save_api_log(resp_json, "success")

        # 标准解析逻辑（和fix_text.py完全一致）
        result = ""
        for out_item in resp_json.get("output", []):
            if out_item.get("type") == "message":
                for c in out_item.get("content", []):
                    if c.get("type") in ["output_text", "text"]:
                        result = c.get("text", "").strip()
                        break
            if result:
                break
        return result if result else html_content

    except Exception as e:
        print(f"API调用失败: {str(e)}")
        save_api_log(str(e), "error")
        return html_content

# ===================== 核心：batch_run.py 标准调用格式（必选2参数）=====================
def main():
    # 严格校验：必须传入 输入文件 + 输出目录 2个参数
    if len(sys.argv) != 3:
        print(f"用法: python {sys.argv[0]} <输入HTML文件> <输出目录>")
        print(f"示例: python {sys.argv[0]} test.html ./clean_output")
        sys.exit(1)

    input_file = sys.argv[1]
    output_dir = sys.argv[2]

    # 基础校验
    if not os.path.isfile(input_file):
        print(f"错误: 输入文件不存在 {input_file}")
        sys.exit(1)

    # 文件大小过滤
    file_size = os.path.getsize(input_file)
    if not (MIN_SIZE <= file_size <= MAX_SIZE):
        print(f"跳过: {os.path.basename(input_file)} | 大小不符合10KB-100KB")
        sys.exit(0)

    # 读取文件
    with open(input_file, "r", encoding="utf-8", errors="ignore") as f:
        html = f.read()

    # 调用云端API
    print(f"处理中: {os.path.basename(input_file)}")
    cleaned_html = call_volc_api(html)

    # 写入输出目录（batch_run标准格式）
    Path(output_dir).mkdir(parents=True, exist_ok=True)
    output_file = os.path.join(output_dir, os.path.basename(input_file))
    with open(output_file, "w", encoding="utf-8") as f:
        f.write(cleaned_html)

    print(f"完成: {output_file}")

if __name__ == "__main__":
    main()