Apache Sparkのアプリをデバッグする
sparkアプリケーションのデバッグ
1.sbt assemblyでjarファイルを生成しspark-submitコマンド実行サーバにアップロードする
2.spark-submitコマンド実行サーバにポートフォワードの設定付きでssh接続する
とりあえず5039ポートを使ってみる
ssh -L 5039:remote:5039 target
3.spark-submitコマンド実行
spark-submit --master local[*] \ --driver-java-options -agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=5039 \ --class 実行対象クラス \ --name アプリケーション名 jarファイル アプリの引数
4.ローカルの開発環境でリモートデバッグ