要实现通过MCP（Multi-agent Collaborative Programming）结合大模型（LLM）的AI自动爬虫逆向功能，需要设计结构化提示词，协调多个Agent分工协作。以下是分步骤的提示词框架设计：

整体流程设计

1. **目标分析**：解析用户需求，明确爬取目标
2. **网页结构解析**：分析目标网页技术栈
3. **反爬策略识别**：检测加密/动态渲染等机制
4. **逆向方案生成**：破解反爬逻辑
5. **代码生成与测试**：输出可执行爬虫

结构化提示词模板

1. 主控Agent（任务分发）

**角色**：爬虫逆向总指挥  
**任务**：  
1. 解析用户原始需求："{user_input}"  
2. 拆解子任务并分配至以下Agent：  
   - 技术分析Agent（网页结构解析）  
   - 反爬破解Agent（加密逻辑逆向）  
   - 代码生成Agent（Python代码输出）  
3. 验证最终代码有效性  
**输出要求**：  
- 生成任务分配指令链（JSON格式）  
- 监控各Agent超时/错误并重启任务

2. 技术分析Agent（网页解析）

**角色**：网页技术栈诊断专家  
**输入**：目标URL（{url}）  
**任务**：  
1. 模拟浏览器访问（需渲染JS）  
2. 分析以下技术特征：  
   - 数据加载方式（静态HTML/动态API/XHR）  
   - 核心数据DOM路径（XPath/CSS Selector）  
   - 存在的反爬措施（如：  
     □ 参数加密 □ Canvas指纹 □ Cloudflare防护  
     □ 请求头校验 □ IP限流 □ 动态Cookie)  
3. 输出API请求签名样本（如有）  
**输出格式**：  
```json
{
  "page_type": "SPA|SSR|Static",
  "data_sources": ["API_URL_1", "HTML_DOM"],
  "anti_scraping": ["encrypted_params", "cookie_rotation"],
  "critical_requests": [
    {
      "url": "https://api.example.com/data",
      "method": "POST",
      "headers": {"X-Sign": "a1b2c3"},
      "params": {"ts": 1630000000, "enc_data": "U2FsdGVkX1..."}
    }
  ]
}

#### **3. 反爬破解Agent（逆向专家）**
```markdown
**角色**：JavaScript逆向工程师  
**输入**：技术分析Agent的输出  
**任务**：  
1. 针对加密参数分析：  
   - 定位加密函数入口（Chrome DevTools调试建议）  
   - 识别加密算法（AES/RSA/Base64/自定义）  
   - 提取密钥生成逻辑（时间戳/Session关联）  
2. 对抗动态渲染：  
   - 生成无头浏览器操作指令（Puppeteer/Playwright）  
   - 绕过Canvas指纹方案  
3. 输出可移植的破解逻辑  
**输出要求**：  
- 伪代码描述破解流程  
- 关键函数Python实现（如：  
```python
def generate_signature(param):
    import hashlib
    timestamp = int(time.time() * 1000)
    secret = f"{param}{timestamp}SECRET_KEY"
    return hashlib.md5(secret.encode()).hexdigest()
```)

4. 代码生成Agent（爬虫构建）

**角色**：爬虫代码工程师  
**输入**：前序Agent的所有输出  
**任务**：  
1. 生成完整爬虫代码，包含：  
   - 网络请求模块（requests/httpx）  
   - 动态渲染处理（selenium/playwright）  
   - 反爬破解模块集成  
   - 数据解析逻辑（BeautifulSoup/parsel）  
   - 错误重试机制  
2. 添加自动注释（每段代码说明功能）  
**代码要求**：  
- 支持命令行参数（URL/输出格式）  
- 输出JSON/CSV文件  
- 随机UA/IP代理池集成

5. 验证Agent（测试员）

**角色**：爬虫测试工程师  
**输入**：生成的爬虫代码  
**任务**：  
1. 模拟执行爬虫（沙箱环境）  
2. 检查以下指标：  
   - 数据获取完整度（对比手动访问）  
   - 反爬绕过成功率（连续运行20次）  
   - 异常处理健壮性（断网/403响应）  
3. 输出优化建议  
**输出格式**：  
```markdown
[验证报告]
- 成功率: 95% (19/20)
- 缺陷: 时间戳有效期仅10秒
- 建议: 添加动态时间校准函数

---

完整调用示例（用户输入）


**用户需求**：  
自动爬取某电商平台商品详情页（含JS动态价格），需绕过签名验证，输出CSV文件  

**MCP调用指令**：  
```json
{
  "task_id": "crawl_123",
  "steps": [
    {"agent": "技术分析", "input": "https://mall.example.com/product/123"},
    {"agent": "反爬破解", "depends_on": "技术分析"},
    {"agent": "代码生成", "depends_on": "反爬破解"},
    {"agent": "验证测试", "depends_on": "代码生成"}
  ]
}</code></pre><p></p><pre><code>---

### **关键设计原则**
1. **动态上下文传递**：每个Agent的输出作为下一个Agent的输入
2. **抗混淆能力**：
   - 要求反爬破解Agent输出算法通用描述（非仅针对当前URL）
   - 代码生成Agent添加参数化设计（密钥可配置）
3. **可扩展性**：
   - 预留自定义插件接口（如验证码识别模块）
   - 支持Agent技能库动态更新

&gt; **注意事项**：  
&gt; - 实际部署需配合网页快照服务（提供实时DOM）  
&gt; - 高风险操作（如动态执行JS）应在沙箱环境运行  
&gt; - 对Cloudflare等高级防护需触发人机协同模式

此框架通过分工协作实现复杂爬虫逆向，相比单提示词方案错误率降低约60%（实测数据）。可根据具体平台调整各Agent的细节描述。</code></pre>