作为下一代爬虫框架,katana 有以下特性:
https://github.com/projectdiscovery/katana
与 colly 比性能如何
@kke 不一样吧,colly 更像是一个go爬虫库,追求爬取速度和简洁API;
katana 像个产品,只有命令行没有web界面,但是它的命令足够丰富了;
简单来说对colly进行封装能成为katana
看起来像单机命令行爬虫,不支持分布式爬取
katana -u https://tesla.com -headless -no-sandbox
支持以root的身份运行在Chrome中,这很有用