Mixnode

Mixnode

Mixnodeは、Webからデータを抽出および分析するための、高速で柔軟性があり、非常にスケーラブルなプラットフォームです。Mixnodeを使用すると、Web上のすべてのリソースをデータベーステーブルの行と考えることができます。標準の構造化照会言語(SQL)を使用して照会できる数十億行の巨大なデータベーステーブル。そのため、Webクローラー/スクレーパーを実行するのではなく、非常に柔軟な言語で簡単なクエリを作成して、Webからあらゆる種類の興味深い情報を取得できます。
mixnode

ウェブサイト:

カテゴリー

MacのMixnodeの代替

grab-site

grab-site

grab-siteは、WebサイトをWARCファイルにアーカイブするためのクローラーです。複数のクロールを監視するためのダッシュボードが含まれており、クロール中のURL無視パターンの変更をサポートしています。