TensorFlowのk平均法で文章をクラスタリングしてみた TensorFlowでスポーツニュースと経済ニュースの文書をクラスタリングしてみたので、その時の手順をまとめてみたいと思います。 今回の大まかな流れとして以下のように進めたいと思います。 - 経済とスポ…

クラスターとノードについて Elasticserachはクラスターの構築を想定しています。クラスターはクラスター名で識別し、クラスター内のノードを識別するためのUUIDはクラスター参加時にランダムな値が生成されます。ノード起動時に参加可能なクラスターが存在…

モデル訓練のテクニック 機械学習でパラメータを更新するためのテクニックについてまとめていきたいと思います。 学習係数の決め方 機械学習では学習係数をどう決めるかが学習の成否を大きく左右し、極めて重要になります。 自動的に学習係数を決める手法で…

関数プログラミング実践入門を読んだのでHaskellで数独を解いてみました。実装は以下のようになりました。

pipでjanomeを入れて形態素解析してみた 今までPythonで日本語の形態素解析を入れる時はまずmecabをインストールしてからPythonから呼び出せるように共有ライブラリの依存関係を更新するなどして少し手間がかかっていたのですが、Pythonで作られた形態素解析…

一般化線形モデルの訓練についてまとめてみました。 ちゃんと確認が取れているわけではなく、間違っている部分があるかもしれませんがご了承ください。 誤差の削減 損失関数によりモデルの当てはまりの良さの計算が行える。 モデルの訓練では損失の計算、パ…

まず、実装したソースは以下のようになりました。 let col = [1,2,3,4,5,6,7,8,9,10] let row = [1,2,3,4,5,6,7,8,9,10] class Answer { let col: [Int] let row: [Int] let ans: [[Int]] init(col: [Int], row: [Int], ans: [[Int]]) { self.col = col; sel…

自然言語処理のための機械学習入門を読んだので載っていた内容を簡単にまとめたいと思います。 1.必要な数学的知識 最適化問題 確率論 情報理論 2.文章および単語の数学的表現 nグラム(n-gram) 文書、文のベクトル表現 文章に対する前処理とデータスパースネ…