pysparkの開発を行った際に"from pyspark.sql.functions import lit"でimportできないとエラーが出たのを確認した時のメモ 実際は以下のようにpyspark.sql.functions.py内で以下のようにして動的にメソッドを追加している。 def _create_function(name, doc=…

Apache Sparkで単体テストをしてみる Intelij IDEAでsparkの単体テストを書いてみたのでメモ build.sbtの設定を変更 まず、build.sbtに以下の設定を追加する。 parallelExecution in Test := false “build sbt"で複数のテストが同時に動いた場合に発生するSp…