grab-site

grab-siteは、WebサイトをWARCファイルにアーカイブするためのクローラーです。複数のクロールを監視するためのダッシュボードが含まれており、クロール中のURL無視パターンの変更をサポートしています。

grab-siteは、WebサイトをWARCファイルにアーカイブするためのクローラーです。複数のクロールを監視するためのダッシュボードが含まれており、クロール中のURL無視パターンの変更をサポートしています。

オープンソースライセンスを備えたすべてのプラットフォーム用のgrab-siteの代替