Midscene.js

Midscene.js简介

Midscene是一款基于ai技术的自动化浏览器助手，能够通过自然语言操作网页。你只需简单描述想要执行的操作，Midscene会自动处理网页，如发推文、验证内容、搜索信息等功能。

Midscene.js主要功能

• 自然语言交互：用户可以用自然语言指令来控制浏览器，例如“点击登录按钮”或“搜索关键字”，Midscene能够理解并执行这些命令。

• 数据提取：Midscene能够自动提取网页上的信息，并以结构化的格式（如JSON）输出，例如提取搜索结果或表格数据。

• 网页操作：它支持在多个网站上执行各种操作，如发推特、填写表单、点击链接等，用户无需编写复杂的代码。

• 可视化报告: 每次运行后都会生成详细的可视化报告，包含动画回放和步骤详情，方便调试和优化测试过程。

• 集成性高: 支持与 Puppeteer、Playwright 等工具无缝集成，适合各种自动化测试场景。

• 灵活性强: 允许用户选择不同的大规模语言模型（LLM），甚至支持开源模型 UI-TARS。

• UI自动化测试：Midscene可用作UI自动化测试工具，帮助开发者快速编写和维护测试脚本，提高测试效率。

Midscene.js使用案例

• 社交媒体管理：用户可以直接向Midscene指令，如“发布一条状态更新”或“回复某条评论”，Midscene会自动完成这些操作，节省时间和精力。

• 数据采集：在进行市场研究或数据分析时，用户可以使用Midscene迅速抓取特定网站上的信息，比如“提取所有产品价格和描述”，Midscene则自动处理并提供所需的结构化数据。

• 自动化测试：对于开发者而言，Midscene的自然语言指令使得编写UI测试变得更加简单。开发者只需描述要测试的行为，Midscene便可以自动执行测试步骤并生成报告。

Midscene.js使用方法：

示例代码 (使用 Puppeteer):

const puppeteer = require('puppeteer');
(async () => {
    const browser = await puppeteer.launch({ headless: false });
    const page = await browser.newPage();

    // 导航至目标网站
    await page.goto("http://example.com");

    // 执行 Midscene.js 动作
    await midscene.execute(page, '输入用户名 "testuser"');
    await midscene.execute(page, '点击登录按钮');

    // 数据提取
    let userData = await midscene.query(page, '提取用户信息为 JSON 格式');
    console.log(userData); 

    // 关闭浏览器
    await browser.close();
})();

Midscene.js使用方法超简单，只要安装Chrome插件就可以用，不需要编程基础，只需描述想要执行的任务，它就可以理解你的意图然后自动执行相应的浏览器操作，是不是很神奇。

GitHub：https://github.com/web-infra-dev/midscene