CV+键鼠仿真实现RPA的技术方案与实操

import pyatspi

def find_firefox_button(button_name):
    registry = pyatspi.Registry()
    desktop = registry.getDesktop(0)
    for app in desktop:
        if app.name == "Firefox":
            for child in app:
                if child.role == pyatspi.ROLE_PUSH_BUTTON and child.name == button_name:
                    return child
    return None

if __name__ == "__main__":
    button = find_firefox_button("搜索")
    if button:
        button.doAction(0)  # 模拟点击

import pyatspi
import time
import pyautogui

# --- 配置 ---
# 你需要根据实际情况调整这些角色和名称
LEFT_PANEL_ROLE = pyatspi.ROLE_LIST  # 左侧对话列表角色
RIGHT_PANEL_ROLE = pyatspi.ROLE_SCROLL_PANE  # 右侧内容滚动面板角色
BROWSER_NAME = "Firefox"

def wait_for_scroll_to_top(role):
    """
    等待滚动面板滚动到最顶端。
    :param role: 滚动面板的 accessible role 对象
    """
    print("等待内容加载至顶端...")
    while True:
        # 获取滚动值 (value 属性)
        value = pyatspi.Accessible(role.queryValue())
        current_value = value.currentValue
        min_value = value.minimumValue
        
        # 当当前值接近最小值时，认为已到顶端
        if abs(current_value - min_value) < 1:  # 允许微小误差
            print("已到达顶端，加载完成。")
            break
        time.sleep(0.5)  # 降低CPU占用

def select_chat_history(chat_title):
    """
    通过标题选择左侧的对话历史。
    :param chat_title: 对话标题名称
    """
    registry = pyatspi.Registry()
    desktop = registry.getDesktop(0)

    for app in desktop:
        if app.name == BROWSER_NAME:
            # 递归遍历找到左侧对话列表
            left_panel = find_child_by_role(app, LEFT_PANEL_ROLE)
            if not left_panel:
                print("未找到左侧对话列表。")
                return

            # 在左侧列表中查找目标标题
            target_item = find_child_by_name(left_panel, chat_title)
            if target_item:
                print(f"找到对话标题: {chat_title}")
                # 模拟点击
                target_item.doAction(0)
                # 等待右侧内容加载
                right_panel = find_child_by_role(app, RIGHT_PANEL_ROLE)
                if right_panel:
                    wait_for_scroll_to_top(right_panel)
                return True
            else:
                print(f"未找到标题: {chat_title}")
                return False

    print(f"未找到 {BROWSER_NAME} 应用。")
    return False

# --- 辅助函数 ---
def find_child_by_name(accessible, name):
    """递归查找指定名称的子元素"""
    if accessible.name == name:
        return accessible
    for child in accessible:
        result = find_child_by_name(child, name)
        if result:
            return result
    return None

def find_child_by_role(accessible, role):
    """递归查找指定角色的子元素"""
    if accessible.role == role:
        return accessible
    for child in accessible:
        result = find_child_by_role(child, role)
        if result:
            return result
    return None

# --- 执行 ---
if __name__ == "__main__":
    # 替换为你要选择的第一个对话标题
    target_chat_title = "你的第一个对话标题"
    select_chat_history(target_chat_title)

import inotify.adapters
import os
import time

# --- 配置 ---
DOWNLOAD_DIR = os.path.expanduser("~/Snap/Firefox/common/Downloads")  # Snap Firefox 下载目录
TARGET_FILENAME_PATTERN = "豆包对话_"  # 你的书签脚本生成的文件名前缀

def wait_for_download_complete():
    """
    监控下载目录，直到出现目标文件。
    :return: 下载完成的文件路径
    """
    print(f"开始监控下载目录: {DOWNLOAD_DIR}")
    
    # 初始化 inotify 监控器
    inotify_obj = inotify.adapters.Inotify()
    inotify_obj.add_watch(DOWNLOAD_DIR)

    try:
        for event in inotify_obj.event_gen(yield_nones=False):
            (_, type_names, path, filename) = event

            # 监控文件创建事件
            if 'IN_CREATE' in type_names:
                # 排除 .part 临时文件
                if filename.endswith('.part'):
                    continue
                # 检查是否是我们要的文件
                if filename.startswith(TARGET_FILENAME_PATTERN):
                    downloaded_file = os.path.join(path, filename)
                    print(f"检测到下载完成: {downloaded_file}")
                    return downloaded_file

            # 监控文件移动/删除事件 (用于处理部分下载完成的情况)
            if 'IN_MOVED_TO' in type_names or 'IN_DELETE' in type_names:
                for f in os.listdir(path):
                    if f.startswith(TARGET_FILENAME_PATTERN) and not f.endswith('.part'):
                        downloaded_file = os.path.join(path, f)
                        print(f"检测到下载完成: {downloaded_file}")
                        return downloaded_file
    finally:
        inotify_obj.remove_watch(DOWNLOAD_DIR)
        inotify_obj = None

# --- 执行 ---
if __name__ == "__main__":
    downloaded_file = wait_for_download_complete()
    if downloaded_file:
        print(f"文件已准备好: {downloaded_file}")
    else:
        print("下载监控超时或失败。")

import subprocess
import os

# --- 配置 ---
# 你的 Firefox 可执行文件路径 (snap 版本)
FIREFOX_BIN = "/snap/bin/firefox"

def get_chat_title_via_js():
    """
    通过在 Firefox 中执行 JavaScript 获取对话标题。
    注意：这需要一个额外的辅助脚本或使用 devtools 协议。
    一个更简单的方式是，在你的 HTML 书签脚本中，将标题作为文件名的一部分，
    这样你就不需要单独获取标题了，直接从文件名解析。
    """
    # 这里提供一个思路：使用 Firefox 的远程调试协议 (CDP) 来执行 JS
    # 但配置较复杂。对于自动化场景，强烈建议在下载脚本中处理。
    
    # 替代方案 (推荐):
    # 修改你的下载书签脚本，在保存 HTML 时，直接将对话标题作为文件名的一部分。
    # 例如: document.title + ".html"
    # 这样，你在模块三中拿到的文件名就已经包含了标题，无需额外获取。
    
    # 以下是一个模拟，假设你已经在文件名中包含了标题
    downloaded_file = wait_for_download_complete()
    if downloaded_file:
        # 从文件名解析标题 (假设格式为 "标题 - 豆包对话.html")
        title = os.path.basename(downloaded_file).replace(" - 豆包对话.html", "")
        return title, downloaded_file
    return None, None

def rename_file(original_path, new_name):
    """
    重命名文件。
    :param original_path: 原文件路径
    :param new_name: 新文件名 (不含路径)
    """
    if not original_path or not new_name:
        return
    dirname = os.path.dirname(original_path)
    new_path = os.path.join(dirname, new_name)
    try:
        os.rename(original_path, new_path)
        print(f"文件已重命名为: {new_path}")
    except OSError as e:
        print(f"重命名失败: {e}")

# --- 执行 ---
if __name__ == "__main__":
    title, downloaded_file = get_chat_title_via_js()
    if title and downloaded_file:
        new_filename = f"{title}.html"
        rename_file(downloaded_file, new_filename)