分享基于asyncio及aio全家桶和scrapy流程及标准的轻量框架

项目简介(来源于github):
    该框架基于开scrapy 和scrapy_redis, 标准流程开发通用方案, 比scrapy框架更为轻量使用场景自定义方案更为丰富
实现了动态变量注入和异步协程功能, 各个节点之间分离使用, 简化scrapy内置拓展功能, 保留了核心基本用法。
内置分布式爬取优先级队列redis,  rabbitMq等。

运行截图:



单脚本代码:



github 地址:  基于asyncio及aio全家桶和scrapy流程及标准的轻量框架