wxxiong6/crawl

简单实用的php爬虫系统

Maintainers

Details

github.com/wxxiong6/crawl

Source

Issues

Installs: 11

Dependents: 0

Suggesters: 0

Security: 0

Stars: 23

Watchers: 3

Forks: 13

Open Issues: 1

pkg:composer/wxxiong6/crawl

v1.0.0 2017-09-21 02:18 UTC

Requires

  • php: >=5.4

MIT fded4714f6ac6e8ad896aeab704c9e01306d1e29

  • xwx <wxxiong6.woop@gmail.com>

spidercrawl爬虫php爬虫

This package is auto-updated.

Last update: 2025-09-25 17:23:36 UTC

README

  • 程序只支持CLI,执行前需要把php加入环境变量

安装程序

1.dbconfig.php 添加正确的数据库配置

2. 安装程序

php run install

启动程序

安装完成后，在setting表添加来源站点及正则提取规则。

启动程序 (参数是 setting 表id)

php run run 1

清除项目数据 (参数是 setting 表id)

php run clear 1

完整代码目录

│  crawl.sql
│  LICENSE
│  README
│  run       系统入口程序
│      
├─code
│  ├─config  配置文件
│  │      config.php
│  │      dbconfig.php
│  │      
│  └─library  类库
│      │  App.php
│      │  Crawl.php
│      │  CrawlCallback.php
│      │  Import.php
│      │  Loader.php
│      │  
│      └─db   数据库
│              MysqlPDO.php
│              
├─data   数据
│          
├─log    日志目录
│      
├─tmp
└─web     web目录