Apache Sparkのアプリをデバッグする

sparkアプリケーションのデバッグ

1.sbt assemblyでjarファイルを生成しspark-submitコマンド実行サーバにアップロードする

2.spark-submitコマンド実行サーバにポートフォワードの設定付きでssh接続する
とりあえず5039ポートを使ってみる

ssh -L 5039:remote:5039 target

3.spark-submitコマンド実行

spark-submit --master local[*] \    
--driver-java-options -agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=5039 \    
--class 実行対象クラス \    
--name アプリケーション名 jarファイル アプリの引数    

4.ローカルの開発環境でリモートデバッグ