问题域/PD-171

反爬与代理管理

Anti-Crawl & Proxy Management

系统化应对平台IP封锁、登录墙、反爬检测,提供代理和Cookie认证方案

子问题

1.住宅代理配置与路由

2.Cookie认证绕过登录墙

3.Node.js fetch代理注入

4.被封平台的降级搜索方案

5.多浏览器 Cookie 批量提取与平台匹配

6.服务器 vs 本地环境的自动检测与差异化策略

7.凭据文件权限保护与敏感值脱敏输出

8.请求指纹检测绕过(Boss直聘等平台)

各项目的解法1 solutions

Signals

横向对比

维度Agent
代理架构YAML 统一配置 + 环境变量回退,一条命令同时设置 Reddit + Bilibili 代理
Cookie管理browser_cookie3 从 5 种浏览器自动提取 3 平台 Cookie,支持 Cookie-Editor 手动导入
降级策略4 级递进降级:住宅代理 → Cookie 认证 → Exa 语义搜索 → Jina Reader 通用读取
环境适配5 信号源加权自动检测 server/local,差异化安装流程和代理建议
健康检查Channel.check() 自诊断 + Doctor 聚合报告 + config.yaml 权限审计
Node代理注入自动安装 undici + 文档提供 TUN/global-agent 等 4 种 Node.js fetch 代理方案

最佳实践

1.提供Exa等替代搜索作为被封平台的降级方案

2.凭据存储自动 chmod 0o600 防止多用户泄露

3.每个 Channel 自带 check() 返回状态码+修复指令,Agent 可自主修复

4.代理配置后立即自动测试连通性验证有效性

5.环境检测用多信号源加权而非单一判断避免误判