yurunsoft/crawler-example

There is no license information available for the latest version (v1.1.1) of this package.

宇润爬虫框架(Yurun Crawler) 是一个低代码、高性能、分布式爬虫采集框架，这可能是最一把梭的爬虫框架。

Maintainers

Details

github.com/Yurunsoft/yurun-crawler-example

Source

Issues

Installs: 62

Dependents: 0

Suggesters: 0

Security: 0

Stars: 15

Watchers: 3

Forks: 3

Open Issues: 0

Type:project

v1.1.1 2022-02-25 04:08 UTC

Requires

Requires (Dev)

Unknown License 2caa9e1ccd201aaf2397d4a08757d2030d3f004e

This package is auto-updated.

Last update: 2024-10-25 09:53:20 UTC

README

介绍

宇润爬虫框架(Yurun Crawler) 是一个低代码、高性能、分布式爬虫采集框架，这可能是最一把梭的爬虫框架。

Yurun Crawler 基于 imi 框架开发，运行在 Swoole 常驻内存的协程环境。

为什么会开发这个框架？遇上有爬虫相关需求，调研了一些市面上现有的 PHP 爬虫框架，甚至是其它语言的爬虫框架，功能都十分简陋，需要编写的重复代码极多，不够一把梭。

开发手册：https://doc.yurunsoft.com/yurun-crawler/

使用

  • 安装包：composer update

  • 导入数据表：bin/run generate/table

  • 运行：bin/run crawler/run -name YurunBlogCrawler

Chrome 采集 Demo：

运行：bin/run crawler/run -name YurunBlogChromeCrawler

配置：config/beans.php -> ChromeDownloader

文档参考：https://doc.yurunsoft.com/yurun-crawler/features/chromeHeadless.html

Demo 为了不给别人造成麻烦，是爬我自己的博客，请轻点哦。。。

联系我们

QQ 群：17916227 点击加群

商业合作 QQ：369124067