Hiveの環境構築

Hive環境構築 インストール 1.javaのインストール 2.Hadoopのインストール 3.Hiveのインストール hiveのメタ情報保存先の設定 動作確認 Hiveserver2を起動してbeelineで接続してみる hiveqlを実行してみる Hive環境構築 インストール 1.javaのインストール 7…

Apache Sparkのアプリをデバッグする

sparkアプリケーションのデバッグ 1.sbt assemblyでjarファイルを生成しspark-submitコマンド実行サーバにアップロードする 2.spark-submitコマンド実行サーバにポートフォワードの設定付きでssh接続する とりあえず5039ポートを使ってみる ssh -L 5039:remo…

pycharmを使ってpysparkの開発を行った際に"from pyspark.sql.functions import lit"でエラーがでたのを調べて見た

pysparkの開発を行った際に"from pyspark.sql.functions import lit"でimportできないとエラーが出たのを確認した時のメモ 実際は以下のようにpyspark.sql.functions.py内で以下のようにして動的にメソッドを追加している。 def _create_function(name, doc=…

Sparkで単体テストをしてみる

Apache Sparkで単体テストをしてみる Intelij IDEAでsparkの単体テストを書いてみたのでメモ build.sbtの設定を変更 まず、build.sbtに以下の設定を追加する。 parallelExecution in Test := false “build sbt"で複数のテストが同時に動いた場合に発生するSp…

Hadoopについて調べてクラスタを構築してみた

並列分散処理入門 並列分散処理とは 並列分散処理ツール登場の背景 Hadoopについて 概要 HDFS Mapreduce YARN Sparkについて 概要 用途 hadoopクラスタ管理 Hadoopクラスタ構築 Hadoopクラスタ上でSparkのプロジェクトを動かしてみる 並列分散処理入門 Hadoo…

Angularでカスタムディレクティブへの双方向バインドに対して調べてみた

Angularでカスタムディレクティブへの双方向バインドに対して調べてみたときのメモ コンポーネント内のメンバ変数の変更を監視する 自作のカスタムディレクティブに対して双方向バインディングしてみる Outputを受け取る際に変数を変更する Outputのカスタム…

深層学習(青本) 1章. はじめに

深層学習の1章読書まとめ 研究の歴史 多層ニューラルネットへの期待と失望 パーセプトロンの欠点 誤差逆伝搬(多層ニューラルネット)の欠点 畳み込みニューラルネットの誕生 多層ネットワークの事前学習 特徴量の学習 深層学習の隆盛 研究の歴史 多層ニューラ…

AnularJSのチュートリアルをやってみた

Angularのチュートリアルを通して使い方を覚えたいと思います。 今回学習用で作成したプロジェクトは以下からとってこれるようにしています。 GitHub - teruuuuuu/angular_handson 開発環境構築 angular-cliを使えるようにする Atomで開発 開発 angular-cli…

JavaScriptフレームワーク調査

JavaScriptのモダンフレームワークでどれを選べば良いのか調査した内容になります。 AngularJS テンプレート DI テスト 所感 React テンプレート テスト Redux 所感 Vue テンプレート テスト 所感 結論 AngularJS googleによっって開発されているMVVMフレー…

DDD概要

社内の勉強会に備えてのメモ DDDとは何か? DDD(エヴァンス本)の目次 第1部 ドメインモデルを機能させる 第2部 モデル駆動設計の構成要素 第3部 より深い洞察へ向かうリファクタリング 第4部 戦略的設計 DDDとは何か? エリック・エヴァンスがソフトウェアの…

JJUG_CCC 2017 Spring

2017/05/20(土)に行われたJJUG(ジェイジャグ)に参加してきました。JJUGは毎年2回春と秋に行われていて、今回で20回目とのことでした。1コマ45分のセッションが複数のルームで同時に行われ参加者はどれに出るか自由に選ぶというものになっています。参加者は…

javascriptでオブジェクトのプロパティを再起的にマージしてみる

以外と調べても良いのが見つからなかったから自分で作ってみた時の備忘録 配列とかの順番で情報の持ち方が決まっているのであればこれで良いのかも function mergeProperty(obj1, obj2){ if(typeof obj2 === "string" ){ return; } if(obj2.length !== void …

bat内での別のbatの呼び出し方について

bat内で複数の別のbatを呼び出すようにしていた時、1個目のbatが終了したら残りのbatを呼び出さずに処理が終了していた。調べてみたらcallまたはstartで呼び出すのが正しいらしい。 callの場合は呼び出したbatの処理が終了するのを待ってから次の処理を行っ…

TypescriptでReactのハンズオンプロジェクトを作ってみた

以前ES6でReactのハンズオンを作成し、今回はTypescriptが触ってみたかったのでTypescriptでReactのハンズオンプロジェクトを作ってみました。github.com まだまだTypescriptに慣れていないので型を指定するところではanyでやり過ごす部分が多々あったので、…

TypescriptでReactのプロジェクトを作ってみた

公式の手順に従いプロジェクト作成 vue-cliからプロジェクト作成 vue-cliのインストール プロジェクト作成 一旦起動してみる vue-cliで作成したプロジェクトをreact化する 公式の手順に従いプロジェクト作成 公式の手順に従ってTypescriptでReactのプロジェ…

React事始め

以前vue-cliで作成したプロジェクトをreact化してみたので、それを使って基本的なことはできるようにしておきたいと思います。 最初のコンポーネントを追加する まずは表示だけしてみる stateの値を表示してみる propsで引き継いだ値を子コンポーネントで利…

PostgreSQLで階層データ取得

PostgreSQL8.4からの新機能であるWITH RECURSIVEが便利であったのでメモ WITH RECURSIVEは階層構造のデータを再起的に取得するのに利用でき、例えば以下のようなテーブルとデータがあったとして CREATE TABLE user_mst ( user_id bigserial NOT NULL PRIMARY…

Reactのプロジェクト作成

vue-cliによるプロジェクト作成 vue-cliのインストール プロジェクト作成 一旦起動してみる vue-cliで作成したプロジェクトをreact化する vue-cliによるプロジェクト作成 reactを始める時は最初のプロジェクト作成が障壁になりそうでreact-cliという公式が出…

ScalaでfoldLeftを使ってみる

foldLeftを使ってみる foldLeft使用の覚書 list内の単語の集計を行って降順にする これだけでリスト内の単語の集計とソートが行える val countWordsList = List("a", "b", "c", "a", "d", "b", "e", "b") val wordAggregate = countWordsList.foldLeft(Map[S…

PostgreSQLの文字列関数を使ってみる

PostgreSQLの文字列関数を使ってみる PostgreSQLの文字列関数を使ってみる translate関数で文字を置換する lpad,rpadで指定した文字数で表示する translate関数で文字を置換する 1文字ずつ置換先の文字を指定することができる 例えば以下のように指定するこ…

PlayFramework事始め

PlayFramework 事始め PlayFramework 事始め playのインストール プロジェクトの作成 activatorからプロジェクト作成 giter8からplayのプロジェクトを作成 コンソールの起動 サーバを起動 コンパイル テスト デバッグ sbtの利用 IDE eclipseで開発する Intel…

Javaでの文字化け検出について

文字化け検出 ファイル読み込み時などで文字化けが発生した時の検出方法について 例えばUTF-8でエンコードされたテキストファイルをShift-JISで読み込もうとした際に、該当する文字が存在しない場合は'0xFFFD'の文字に変換されます。 Javaは内部的にはUnicod…

SpringBootのアプリをansibleでデプロイ

Spring Bootのアプリをansibleでデプロイ CentoOS7の環境で確認 Spring Bootのアプリをansibleでデプロイ 初期設定 Spring BootのアプリをリストアするPlayBookを書いてみる 初期設定 1. ansibleをインストール yum install epel-release yum install ansibl…

SpringBoot事始め

struts2からSpringBootへの移行検討 ビルドツール 事前準備 プロジェクト作成 依存モジュールの追加 SpringBootプロジェクト起動用Mainクラスの追加 最初のコントローラを追加してみる Thymeleafで画面を描画する Thymeleafに任意の値を渡してみる プロパテ…

jenkinsのインストールからGradleの手動ビルドまで

jenkins Javaで書かれたオープンソース継続的インテグレーションツール いろいろ自動化しなきゃと思ったのでちょっと触ったときのメモ インストール 事前にjavaがインストールされているか確認、入ってなかったら7以上のjavaを入れておく # yum install java…

SpringBootをGradleでビルド

SpringBootをGradleでビルド SpringBootプロジェクト作成準備 EclipseでSpringBootのプロジェクト作成 プロジェクト作成 ビルド 実行 SpringBootをGradleでビルド Gradleを使ってビルド周りの自動化を進めていきたいということで試しにSpringBootのプロジェ…

レガシーソフトウェア改善ガイドの感想

書簡 最近起こった出来事もあり特にレガシープロジェクトの健康状態をどうすれば良いか考えていた時にちょうど良い本がありました。 書籍の中で述べられている方針自体は真新しいということはないのですがクリスさんの経験に基づく話もあってプロジェクトの…

DDDの境界付けられたコンテキストについて調べてみた

エリック・エヴァンスのDDDの14章.“モデルの整合性を維持する"を読んでみたのでそのメモなど 戦略的設計 戦略的設計の原則は設計上の意思決定を導いて、各部分の相互依存関係を減らし、設計をより明確にしながら、蹴って的に重要の相互運用性と相乗効果を失…

パターン指向リファクタリング入門を読んでみた

古いですが"パターン指向リファクタリング入門~ソフトウエア設計を改善する27の作法"を読んでみたので感想など □生成 Creation Methodによるコンストラクタの置き換え JavaやC++ではコンストラクタがクラス名と一致するためどんなインスタンスが作られるのか…

ロジスティック回帰について調べてみた

ロジスティック回帰 いろいろ間違っているところはあると思いますが、ロジスティック回帰について調べた内容をまとめてみました。 数式は分からないけどChainerとかのオープンソースフレームワークでどんなことすれば良いのかイメージが付くぐらいになるのを…