AI 与开发

BrowserCluster:浏览器采集任务架构与接入

  • 0 次阅读
  • 0 条评论
文章摘要

BrowserCluster 将浏览器采集拆成提交、调度、执行和结果存储,适合需要集中管理多个任务的场景。首次接入先运行单任务,避免直接开启大并发。 浏览器执行节点负责加载页面,接口层接收请求,队列调度耗时任务,数据库与缓存保存状态和结果。同步、异步和批量入口分别适合即时查询、后台采集与多个页面任务。 它适用于需要统一管理采集参数和结果的系统。相比个人临时脚本,部署组件更多,因此应先跑通单页面的请求、执行与结果读取,再根据真实负载增加节点。

项目介绍

BrowserCluster 将浏览器采集拆成提交、调度、执行和结果存储,适合需要集中管理多个任务的场景。首次接入先运行单任务,避免直接开启大并发。

浏览器执行节点负责加载页面,接口层接收请求,队列调度耗时任务,数据库与缓存保存状态和结果。同步、异步和批量入口分别适合即时查询、后台采集与多个页面任务。

它适用于需要统一管理采集参数和结果的系统。相比个人临时脚本,部署组件更多,因此应先跑通单页面的请求、执行与结果读取,再根据真实负载增加节点。

核心功能

功能 作用与使用方式
同步采集 等待页面执行结束并直接取得结果。
异步任务 先返回任务标识,随后查询状态及数据。
批量入口 为多个页面分别提交参数和任务。
页面等待策略 按加载事件和额外等待处理动态页面。
结果与缓存 按任务读取 HTML、元数据和可选截图。

界面展示

BrowserCluster 官方项目配图

图 1:官方仓库提供的项目示意图,用于说明功能与布局。

项目信息

项目 说明
类型 项目指南
分类 AI 与开发
项目仓库 934050259/BrowserCluster
整理日期 2026-11-14

群晖 Compose 安装

完整起步配置包括 API/管理页、MongoDB、Redis 与 RabbitMQ。MongoDB 和消息队列不对 NAS 发布端口。原上游初始化脚本会在每次启动时重置 admin/admin;准备步骤将其改成只在首次创建管理员时使用随机密码,保留已有密码。

1. 创建项目目录

群晖先安装并启动 Container Manager。通过 SSH 登录后执行下列命令,只为本项目准备目录:

sudo -i
mkdir -p /volume1/docker/browsercluster /volume1/docker/browsercluster/data /volume1/docker/browsercluster/logs /volume1/docker/browsercluster/mongo /volume1/docker/browsercluster/rabbitmq /volume1/docker/browsercluster/redis
cd /volume1/docker/browsercluster
if [ ! -d source/.git ]; then git clone https://github.com/934050259/BrowserCluster.git source; fi
sed -i 's/FROM python:3.10$/FROM python:3.10-bookworm/;s/libappindicator3-1/libayatana-appindicator3-1/' source/Dockerfile
cp -an source/data/. data/
if [ ! -s .env ]; then
  umask 077
  {
    printf 'BROWSERCLUSTER_ADMIN_PASSWORD=%s\n' "$(openssl rand -hex 24)"
    printf 'BROWSERCLUSTER_SECRET_KEY=%s\n' "$(openssl rand -hex 32)"
    printf 'BROWSERCLUSTER_RABBITMQ_PASSWORD=%s\n' "$(openssl rand -hex 24)"
  } > .env.initializing
  mv .env.initializing .env
fi
chmod 600 .env
cat > source/scripts/init_admin.py <<'INIT_ADMIN'
import os
import sys
sys.path.append(os.path.dirname(os.path.dirname(os.path.abspath(__file__))))
from app.db.sqlite import sqlite_db
from app.core.auth import get_password_hash
from app.core.logger import setup_logging

def init_admin():
    setup_logging()
    if not sqlite_db.get_user_by_username("admin"):
        sqlite_db.create_user(username="admin", password_hash=get_password_hash(os.environ["BROWSERCLUSTER_ADMIN_PASSWORD"]), role="admin")

if __name__ == "__main__":
    init_admin()
INIT_ADMIN
cat .env

.env 中的密码和密钥由命令随机生成,已有文件不会覆盖。可以在自己的终端用 cat .env 查看初始密码,但不要将输出公开。将其保存在自己的密码管理器中;更新时继续使用原值,不要重新生成导致旧数据无法解密。

2. 保存完整 Compose

在 /volume1/docker/browsercluster/compose.yaml 保存下面的配置。在 Container Manager 中新建项目时,项目路径选择 /volume1/docker/browsercluster 并导入该文件;有 .env 的项目要保留它与 Compose 在同一目录。

services:
  browsercluster:
    image: browsercluster-local:latest
    container_name: browsercluster
    restart: unless-stopped
    ports:
    - 8006:8000
    volumes:
    - /volume1/docker/browsercluster/data:/app/data
    - /volume1/docker/browsercluster/logs:/app/logs
    environment:
      MONGO_URI: mongodb://mongo:27017/
      MONGO_DB: browser_cluster
      REDIS_URL: redis://redis:6379/0
      REDIS_CACHE_URL: redis://redis:6379/1
      RABBITMQ_QUEUE: scrape_tasks
      RABBITMQ_EXCHANGE: browser_cluster
      DEBUG: 'False'
      HEADLESS: 'True'
      WORKER_CONCURRENCY: '1'
      TZ: Asia/Shanghai
      BROWSERCLUSTER_ADMIN_PASSWORD: ${BROWSERCLUSTER_ADMIN_PASSWORD}
      SECRET_KEY: ${BROWSERCLUSTER_SECRET_KEY}
      RABBITMQ_URL: amqp://browser:${BROWSERCLUSTER_RABBITMQ_PASSWORD}@rabbitmq:5672/
    build: ./source
    shm_size: 1gb
    depends_on:
      mongo:
        condition: service_healthy
      redis:
        condition: service_healthy
      rabbitmq:
        condition: service_healthy
  mongo:
    image: mongo:7
    restart: unless-stopped
    volumes:
    - /volume1/docker/browsercluster/mongo:/data/db
    healthcheck:
      test:
      - CMD
      - mongosh
      - --quiet
      - --eval
      - db.adminCommand({ping:1})
      interval: 10s
      timeout: 10s
      retries: 20
  redis:
    image: redis:7-alpine
    restart: unless-stopped
    command:
    - redis-server
    - --appendonly
    - 'yes'
    volumes:
    - /volume1/docker/browsercluster/redis:/data
    healthcheck:
      test:
      - CMD
      - redis-cli
      - ping
      interval: 10s
      timeout: 5s
      retries: 20
  rabbitmq:
    image: rabbitmq:3.13-alpine
    restart: unless-stopped
    environment:
      RABBITMQ_DEFAULT_USER: browser
      RABBITMQ_DEFAULT_PASS: ${BROWSERCLUSTER_RABBITMQ_PASSWORD}
    volumes:
    - /volume1/docker/browsercluster/rabbitmq:/var/lib/rabbitmq
    healthcheck:
      test:
      - CMD
      - rabbitmq-diagnostics
      - -q
      - ping
      interval: 10s
      timeout: 10s
      retries: 20

挂载参数冒号左侧是群晖的实际目录,右侧是应用内目录。以上只挂载本项目所需的数据;若已有同类数据,请先备份再调整路径。端口冲突时只改宿主机一侧,应用内端口保持不变。

3. 检查、拉取与启动

cd /volume1/docker/browsercluster
docker compose config --quiet
docker compose build --pull
docker compose up -d
docker compose ps
docker compose logs --tail=100

浏览器访问 http://群晖IP:8006。群晖IP 替换为自己的 NAS 局域网地址;首次启动时先等待初始化,再检查日志。若群晖仍使用旧 Docker 套件且只有 docker-compose,将命令中的 docker compose 替换为对应命令。

首次使用与验证

打开 8006,使用 admin 和 .env 中 BROWSERCLUSTER_ADMIN_PASSWORD 登录。先创建单页、只读、低并发任务,检查请求结果、截图和 MongoDB 中的数据。日志不再输出初始化密码,后台改过密码后重启也不会重置。需要登录站点的采集任务使用独立测试账号与 Cookie,避免向公开接口提交私人会话。

先保存一条测试数据或完成一次最小任务,再执行 docker compose restart,确认设置及应该持久化的数据仍在。无服务端持久化目录的纯前端工具,应通过自身导出功能保存工作结果。

常见问题

  • 页面打不开:运行 docker compose ps 检查状态;查看日志里的初始化错误,核对端口冲突和 DSM 防火墙。不要把容器的 IP 当作固定访问地址。
  • 数据目录为空:应用内应填写 Compose 冒号右侧的目录;核对宿主机文件是否已放到对应左侧目录。
  • 目录无法写入:先查看日志和目录权限,仅为对应数据目录授予镜像实际运行用户需要的权限,不对整个 /volume1 设置 777。
  • 拉取镜像失败:先排查 Container Manager 的仓库网络;应用自己的 HTTP 代理设置与 Docker 守护进程拉取镜像的代理设置是两件事。

更新、备份与停止

更新前保存 compose.yaml、.env,并备份上面映射的项目数据。数据库服务应先使用自身的数据库备份,或停止整个项目后复制完整数据目录,不能只复制运行中的单个数据库文件。

cd /volume1/docker/browsercluster
git -C source pull --ff-only
docker compose build --pull
docker compose up -d
docker compose logs --tail=100

临时停止使用 docker compose stop,重新启动使用 docker compose start。卸载容器用 docker compose down,不要附加 -v,也不要直接删除宿主机数据目录。涉及数据库迁移的升级,先保留原镜像版本和完整备份,再安排维护窗口。

官方资料