🚀🚀🚀feapder is an easy to use, powerful crawler framework | feapder是一款上手简单,功能强大的Python爬虫框架。内置AirSpider、Spider、TaskSpider、BatchSpider四种爬虫解决不同场景的需求。且支持断点续爬、监控报警、浏览器渲染、海量数据去重等功能。更有功能强大的爬虫管理系统feaplat为其提供方便的部署及调度

track1年前 ⋅ 2641 阅读

https://github.com/Boris-code/feapder

  1. feapder是一款上手简单,功能强大的Python爬虫框架,内置AirSpider、Spider、TaskSpider、BatchSpider四种爬虫解决不同场景的需求。
  2. 支持断点续爬、监控报警、浏览器渲染、海量数据去重等功能。
  3. 更有功能强大的爬虫管理系统feaplat为其提供方便的部署及调度。

https://feapder.com/#/feapder_platform/feaplat         爬虫管理页面

import feapder


class FirstSpider(feapder.AirSpider):
    def start_requests(self):
        yield feapder.Request("https://www.baidu.com")

    def parse(self, request, response):
        print(response)


if __name__ == "__main__":
    FirstSpider().start()


支持分布式多机器爬取数据吗?

@free2012   https://feapder.com/#/usage/Spider

文档很全面,赞一个

爬虫最难的是处理反爬策略,很多工具爬取普通站点可以,但是一旦遇到反爬就傻眼了

@卡洛儿  是的,没有看到很好的总结对付反爬的策略的开源项目

很不错的项目,点赞

全部评论: 0

    相关推荐