Disco MapReduce

Disco MapReduce

Discoは、MapReduceパラダイムに基づいてPythonで作成された、分散コンピューティング向けの軽量のオープンソースフレームワークです。
ディスコは、分散コンピューティング向けのmapreduceの実装です。ディスコは、Googleが作成した元のフレームワークのように、信頼性の低いコンピューターのクラスターに保存された大きなデータセットに対する並列計算をサポートしています。これにより、ディスコが処理する通信プロトコル、負荷分散、ロック、ジョブスケジューリング、フォールトトレランスなど、配信に関連する難しい技術を心配することなく、大きなデータセットを分析および処理するための完璧なツールになります。
disco-mapreduce

ウェブサイト:

特徴

カテゴリー

ライセンスのあるすべてのプラットフォームでのDisco MapReduceの代替

Apache Hadoop

Apache Hadoop

Apache Hadoopは、Apache v2ライセンスでライセンスされたデータ集約型分散アプリケーションをサポートするオープンソースソフトウェアフレームワークです。
Apache Spark

Apache Spark

Apache Spark™は、大規模なデータ処理用の高速で汎用的なエンジンです。SpeedRunプログラムは、メモリ内のHadoop MapReduceよりも最大100倍、ディスク上では10倍高速です。
Amazon Kinesis

Amazon Kinesis

Amazon Kinesisサービスを使用すると、AWSクラウドのリアルタイムストリーミングデータを簡単に操作できます。
  • 有料アプリ
  • Web
dispy

dispy

dispyは、単一のマシン(SMP)上の複数のプロセッサに分散して計算を並列実行するためのPythonフレームワークです。