选择适合项目的接入方式
先选择最小可用路径，再逐步增加工具与任务复杂度。
从准备到验证，完成首次接入
先用一次可检查的请求跑通流程，不先堆叠复杂配置。
定义输入与允许范围
为工作流设置目标 URL 与结果字段，在可信流程中校验主机和路径。不要让模型随意访问内部网络或未授权目标。
配置 HTTP Request 节点
使用 API 地址、GET 与 x-cb-host 请求头。将 Secret 环境变量绑定到 x-cb-apikey；版本、代理和超时按正式文档配置。
增加响应判断分支
先核对 status_code、headers 与 body，再将有效内容交给清洗或 LLM 节点。错误响应进入失败分支，不直接入库；知识入库使用另行配置的流程。
从一个 HTTP 节点开始验证
先在可信环境验证最小请求，再按节点配置说明连接工作流。下列配置是检查清单，不是可导入的工作流文件。
curl --include --request GET \
"https://api.cloudbypass.com/" \
--header "x-cb-host: example.com" \
--header "x-cb-apikey: ${CLOUDBYPASS_APIKEY:?}" \
--max-time 90
# POSIX shell 示例；密钥先在安全环境中配置。
# 同时检查 x-cb-status、目标状态与实际内容。
# V2 / V2s 按文档添加版本和稳定代理参数。Method: GET
URL: https://api.cloudbypass.com/
x-cb-host: example.com
x-cb-apikey: <Secret environment variable>
检查：响应头、HTTP 状态与正文
仅将有效内容传给下游节点；错误进入失败分支。
超时、重试和并发预算由实际工作流配置。
Dify Secret 变量与下游内容处理
HTTP 请求成功不代表内容已清洗或已经进入知识库。Secret 变量掩码也不替代日志检查。导出应用、调试输出和发送模型上下文前再次确认没有真实密钥。
| 检查项 | 应核对的内容 | 下一步 |
|---|---|---|
| 密钥与权限 | 凭据、余额与授权范围是否正确 | 修复配置后再请求，不盲目换 IP |
| 版本与会话 | V2 / V2s 的稳定代理与会话是否匹配 | 代理改变后重建对应验证会话 |
| 两层响应 | x-cb-status 与目标 HTTP 状态是否均符合预期 | 200 也要确认不是登录页或验证页 |
| 输出与重试 | 内容类型、实际字段和尝试预算 | 配置错误停止；临时故障才有限重试 |
从工具接入走向实际使用场景
按任务选择原有方案，继续查看访问策略、实施步骤与排查建议。
选型与排障
- 错误码中心
区分配置、访问与目标响应错误。
- API 与代理成本计算器
估算请求积分与代理流量。
开发与工具集成
- AI Agent 网页访问
为研究助手与 Agent 准备网页输入。
业务应用场景
- RAG 网页采集与入库
把验证后的内容交给清洗与入库流程。
- 竞品与价格监控
跟踪价格、库存与公开页面变化。
- OSINT 与舆情采集
为公开信息研究保留来源与访问记录。
常见问题
现在应该使用哪种接入方式？
先使用现有公共 HTTP API 完成最小验证。OpenClaw 可使用已发布 Skill；已有 HTTP MCP 工具需要支持请求头与安全凭据注入。官方托管 MCP 仍在规划中。
能否保证所有目标都可以访问？
不能保证。相关能力包括 Cloudflare JavaScript Challenge、Turnstile、DataDome 与 Imperva / Incapsula，仍需按目标和条件验证。本方案不把 reCAPTCHA、hCaptcha 作为当前访问能力宣传，也不替代目标账号权限。
密钥和代理密码应该放在哪里？
保存在实际运行环境或可信服务端的安全配置中。不要放进网页前端、共享仓库、提示词、截图或公开日志。远程服务的环境与本机独立。
MCP 或 Skill 会自动完成分页和提取吗？
不默认承担。访问层负责请求与响应；分页、字段提取、去重、登录态与业务签名由任务工作流或站点配方负责。验证失败时先定位原因，不无限重试。