golang实现的下一代爬虫框架:katana

抛出异常1年前 ⋅ 3423 阅读

作为下一代爬虫框架,katana 有以下特性:

  • 快速配置
  • 支持标准和无头模式
  • JavaScript 解析和爬取
  • 支持自定义的自动填充
  • 范围控制——预配置字段和正则
  • 自定义输出

https://github.com/projectdiscovery/katana

与 colly 比性能如何

@kke  不一样吧,colly 更像是一个go爬虫库,追求爬取速度和简洁API;

katana 像个产品,只有命令行没有web界面,但是它的命令足够丰富了;

简单来说对colly进行封装能成为katana

看起来像单机命令行爬虫,不支持分布式爬取

katana -u https://tesla.com -headless -no-sandbox

支持以root的身份运行在Chrome中,这很有用

全部评论: 0

    相关推荐