Apache Sparkで単体テストをしてみる Intelij IDEAでsparkの単体テストを書いてみたのでメモ build.sbtの設定を変更 まず、build.sbtに以下の設定を追加する。 parallelExecution in Test := false “build sbt"で複数のテストが同時に動いた場合に発生するSp…

並列分散処理入門 並列分散処理とは 並列分散処理ツール登場の背景 Hadoopについて 概要 HDFS Mapreduce YARN Sparkについて 概要 用途 hadoopクラスタ管理 Hadoopクラスタ構築 Hadoopクラスタ上でSparkのプロジェクトを動かしてみる 並列分散処理入門 Hadoo…