Apache Hadoop

Apache Hadoopは、Apache v2ライセンスでライセンスされたデータ集約型分散アプリケーションをサポートするオープンソースソフトウェアフレームワークです。

Apache Hadoopは、Apache v2ライセンスでライセンスされたデータ集約型分散アプリケーションをサポートするオープンソースソフトウェアフレームワークです。これにより、アプリケーションは数千の計算に依存しないコンピューターとペタバイトのデータで動作できます。

apache-hadoop

ライセンスのあるすべてのプラットフォームでのApache Hadoopの代替

Apache Spark™は、大規模なデータ処理用の高速で汎用的なエンジンです。SpeedRunプログラムは、メモリ内のHadoop MapReduceよりも最大100倍、ディスク上では10倍高速です。

Discoは、MapReduceパラダイムに基づいてPythonで作成された、分散コンピューティング向けの軽量のオープンソースフレームワークです。

Amazon Kinesisサービスを使用すると、AWSクラウドのリアルタイムストリーミングデータを簡単に操作できます。

dispyは、単一のマシン（SMP）上の複数のプロセッサに分散して計算を並列実行するためのPythonフレームワークです。