安装完成后，OpenClaw 的核心使用流程分为「基础配置」「爬虫任务管理」「监控与调度」三部分。我会从新手视角出发，带你一步步完成配置和实操，让你快速上手这个爬虫管理平台。

一、基础配置（首次使用必做）

1. 系统基础设置（初始化）

登录 http://127.0.0.1:5000（默认账号 admin/123456）后，先完成核心配置：

• 修改管理员密码（安全第一）：
• 点击顶部「系统设置」→「用户管理」→ 点击 admin 账号「编辑」→ 输入新密码并保存。
• 全局配置（可选但推荐）：
• 点击「系统设置」→「全局配置」，可修改：
• 任务超时时间（默认 3600 秒）：避免爬虫卡死占用资源；
• 日志保留天数（默认 7 天）：根据需求调整；
• Redis/MySQL 连接信息：若后续修改了服务配置，在此同步更新。

2. 配置爬虫节点（分布式核心）

OpenClaw 支持多节点分布式运行爬虫，单节点（本机）也需配置：

1. 点击「节点管理」→「新增节点」；
2. 填写节点信息（本机节点示例）： 节点名称：本机节点（自定义）； 节点地址：127.0.0.1（若为远程节点填对应 IP）； 端口：默认 6800（Scrapyd 端口，后续会装）； 备注：本机测试节点；
3. 点击「测试连接」，显示「连接成功」则保存。

⚠️ 注意：节点依赖 Scrapyd（爬虫运行服务），需先在节点机器安装：

bash

运行

# 确保已激活 OpenClaw 虚拟环境
pip install scrapyd
# 启动 Scrapyd（保持窗口打开，作为节点服务）
scrapyd

启动后 Scrapyd 会运行在 http://127.0.0.1:6800，节点才能连接成功。

二、核心使用：创建并运行爬虫任务

OpenClaw 主要管理 Scrapy 爬虫，下面以「简单示例爬虫」为例，带你完成全流程：

1. 准备 Scrapy 爬虫项目

先创建一个基础的 Scrapy 爬虫（新手可直接复制使用）：

bash

运行

# 安装 Scrapy（已激活虚拟环境）
pip install scrapy

# 创建爬虫项目（命名为 demo_spider）
scrapy startproject demo_spider
cd demo_spider

# 创建爬虫文件（爬取示例网站）
scrapy genspider example example.com

修改
demo_spider/spiders/example.py 内容（简单的测试爬虫）：

python

运行

import scrapy

class ExampleSpider(scrapy.Spider):
    name = 'example'  # 爬虫名称（关键，后续要填）
    allowed_domains = ['example.com']
    start_urls = ['http://example.com']

    def parse(self, response):
        # 提取页面标题并输出
        title = response.xpath('//h1/text()').extract_first()
        self.logger.info(f'页面标题：{title}')
        yield {'title': title}

2. 打包并上传爬虫到 OpenClaw

OpenClaw 需上传 Scrapy 项目的 egg 包（打包格式）：

bash

运行

# 安装打包工具
pip install scrapy-deploy

# 进入爬虫项目根目录（demo_spider）
cd demo_spider

# 打包成 egg 文件（会生成 dist/demo_spider-1.0-py3.8.egg）
python setup.py bdist_egg

然后在 OpenClaw 后台操作：

1. 点击「爬虫管理」→「新增爬虫」；
2. 填写爬虫信息： 爬虫名称：example（必须和代码中 name 一致）； 项目名称：demo_spider（自定义，对应项目名）； 版本：1.0； 选择节点：之前配置的「本机节点」；
3. 点击「上传文件」，选择打包好的 demo_spider-1.0-py3.8.egg；
4. 点击「保存」，爬虫会自动部署到节点上。

3. 创建并启动爬虫任务

1. 点击「任务管理」→「新增任务」；
2. 填写任务信息： 任务名称：测试示例爬虫（自定义）； 选择爬虫：demo_spider – example（对应上传的爬虫）； 执行节点：本机节点； 执行方式：立即执行（也可选「定时执行」，支持 cron 表达式）； 其他：超时时间、重试次数默认即可；
3. 点击「保存并启动」，任务会进入「运行中」状态。

4. 查看任务结果

• 点击「任务管理」，找到刚创建的任务，点击「日志」：可查看爬虫运行的实时日志（如页面标题是否成功提取）；
• 点击「结果」：若爬虫有数据输出（如 yield 的 title），会在此展示；
• 任务状态：运行成功会显示「已完成」，失败则显示「失败」，可查看日志定位问题。

三、进阶功能使用

1. 定时爬虫任务（常用）

OpenClaw 支持 cron 表达式设置定时任务，例如：

• 每天 8 点执行：0 8 * * *；
• 每小时执行一次：0 */1 * * *；
• 每周一 10 点执行：0 10 * * 1；

配置步骤：

在「新增任务」时，执行方式选择「定时执行」→ 输入 cron 表达式 → 保存，任务会按时间自动运行。

2. 爬虫监控与告警

• 实时监控：点击「仪表盘」，可查看所有节点状态、任务执行成功率、运行中任务数；
• 告警设置：点击「系统设置」→「告警配置」，可配置： 任务失败告警：支持邮件 / 钉钉 / 企业微信（需填写对应接口信息）； 节点离线告警：节点断开时及时通知。

3. 多节点分布式调度

若有多个服务器（节点），只需在每个节点安装 Scrapyd 并启动，然后在 OpenClaw 中「新增节点」，即可将爬虫任务分发到不同节点运行，提升爬取效率。

四、常见使用问题解决

1. 任务启动失败「节点连接失败」：
2. 检查节点机器的 Scrapyd 是否启动（scrapyd 命令，访问 http://节点IP:6800 能打开页面则正常）；
3. 检查节点 IP / 端口是否正确，防火墙是否开放 6800 端口。
4. 爬虫日志显示「ModuleNotFoundError」：
5. 爬虫项目中若依赖第三方库（如 requests、pyquery），需在节点机器的虚拟环境中安装：pip install 依赖名；
6. 重新打包 egg 包并上传。
7. 定时任务不执行：
8. 检查 cron 表达式格式是否正确（可在线验证：https://crontab.guru/）；
9. 确保 OpenClaw 主服务（run.py）和 Redis 服务一直运行（定时任务依赖 Redis 队列）。

总结

1. OpenClaw 核心使用流程：配置节点（Scrapyd）→ 上传 Scrapy 爬虫包 → 创建 / 启动任务 → 监控结果；
2. 首次使用需先完成管理员密码修改、节点配置（安装并启动 Scrapyd）；
3. 定时任务依赖 cron 表达式，分布式爬取需配置多节点并确保节点可连接。

如果在配置爬虫、运行任务时遇到具体报错（如日志显示爬取失败、定时任务不执行），可以在评论区告知我具体的错误信息或操作步骤，我会帮你定位并解决。