中小公司与大公司在大模型训练上的博弈

import sys
import json
from tree_sitter import Language, Parser
from your_llm_client import call_local_llm  # 这是你需要实现的大模型调用函数

# 第一步：准备环境 - 初始化Tree-sitter
def init_parser():
    # 加载C++语言解析器
    # 注意：需要先通过 'npm install tree-sitter-cpp' 安装
    CPP_LANGUAGE = Language('build/my-languages.so', 'cpp')
    parser = Parser()
    parser.set_language(CPP_LANGUAGE)
    return parser

# 第二步：解析代码 - 提取C++文件的结构信息
def parse_cpp_file(file_path, parser):
    with open(file_path, 'r', encoding='utf-8') as f:
        code = f.read().encode('utf-8')
    
    tree = parser.parse(code)
    root_node = tree.root_node
    
    # 存储提取的信息
    code_info = {
        "file_path": file_path,
        "functions": [],
        "classes": [],
        "global_vars": []
    }
    
    # 提取函数定义
    for node in root_node.children_by_field_name('declarator'):
        if node.type == 'function_declarator':
            func_name = node.children[0].text.decode('utf-8') if node.children else "unknown"
            code_info["functions"].append({
                "name": func_name,
                "type": "function",
                "start_line": node.start_point[0] + 1,
                "end_line": node.end_point[0] + 1
            })
    
    # 提取类定义（简化版）
    for node in root_node.iter_children():
        if node.type == 'class_specifier':
            class_name = node.children[1].text.decode('utf-8') if len(node.children) > 1 else "unknown"
            code_info["classes"].append({
                "name": class_name,
                "type": "class",
                "start_line": node.start_point[0] + 1,
                "end_line": node.end_point[0] + 1
            })
    
    return code_info

# 第三步：生成摘要 - 调用大模型生成自然语言摘要
def generate_summary(code_info):
    # 构建提示词
    prompt = f"""
    请为以下C++文件生成技术摘要：
    
    文件路径: {code_info['file_path']}
    
    包含的函数:
    {json.dumps(code_info['functions'], indent=2)}
    
    包含的类:
    {json.dumps(code_info['classes'], indent=2)}
    
    要求：
    1. 简要说明该文件的主要功能和职责
    2. 列出核心函数的功能和参数含义
    3. 说明类的设计目的和主要成员
    4. 总结该文件在项目中的作用和依赖关系
    5. 使用Markdown格式，保持简洁专业
    """
    
    # 调用本地大模型（这部分需要你根据自己的环境实现）
    summary = call_local_llm(prompt)
    return summary

# 主函数
def main():
    if len(sys.argv) != 2:
        print("用法: python code_summarizer.py <cpp_file_path>")
        sys.exit(1)
    
    file_path = sys.argv[1]
    
    try:
        # 初始化解析器
        parser = init_parser()
        
        # 解析代码文件
        print(f"正在解析文件: {file_path}")
        code_info = parse_cpp_file(file_path, parser)
        print("代码结构提取完成")
        
        # 生成摘要
        print("正在生成摘要...")
        summary = generate_summary(code_info)
        
        # 输出结果
        print("\n=== 代码摘要 ===")
        print(summary)
        
        # 保存到文件
        summary_file = file_path + ".md"
        with open(summary_file, 'w', encoding='utf-8') as f:
            f.write(summary)
        print(f"\n摘要已保存到: {summary_file}")
        
    except Exception as e:
        print(f"处理文件时出错: {e}")
        sys.exit(1)

if __name__ == "__main__":
    main()