基于Golang的分布式网络爬虫管理平台,支持Python、NodeJS、Go、Java、PHP等多种语言以及Scrapy、Puppeteer、Selenium等多种网络爬虫框架。
https://github.com/crawlab-team/crawlab
https://mp.weixin.qq.com/s/Vf9ZWE8v-NL0VrZFYgCG3g