aaatxt

このブログを検索

#

日付: 3月 18, 2010

リンクを取得
Facebook
×
Pinterest
メール
他のアプリ

やっぱりラブプラスはすごく空目されますね。最近

graph twitter4j

リンクを取得
Facebook
×
Pinterest
メール
他のアプリ

ML Engine メモ

GCPのマネージドなサービスでレコメンドAPIを作る方法を探しており、 TensorFlow でのレコメンデーションシステムの構築: がチュートリアル形式で公開されていたので試した。 ML Engineのチュートリアルは・協調フィルタリングによるレコメンドロジックのローカル実行・レコメンドロジックのML Engine上での実行・Google Analytics形式のデータを使ったレコメンドロジックの実行・Google App EngineでのAPIの提供・Cloud ComposerでAirflowによるバッチ処理の実行が一通りできる。必要なリソースはここから持ってくる https://github.com/GoogleCloudPlatform/tensorflow-recommendation-wals ・協調フィルタリングによるレコメンドロジックのローカル実行このパートでチュートリアルで使われるレコメンドロジックは、強調フィルタリングのための行列分解をWALS（加重交互最小二乗）というアルゴリズムで計算するものである。・レコメンドロジックのML Engine上での実行チュートリアルでは一通りローカル実行を試したあとに、mltrain.shスクリプトを使って、ML Engineにジョブを投げることができる中身を見ると gcloud ml-engine jobs submit training　・・・というコマンドでジョブが登録されている事がわかる。ジョブが登録されると、コンソールでも確認が出来る。なお、チュートリアルのコードではGPUインスタンスを使うため、リージョンはus-centralをつかう。　参考： https://stackoverflow.com/questions/45776128/why-there-are-insufficient-accelerators-when-i-execute-gcloud-ml-engine-jobs ML Engineではハイパーパラメータのチューニングのためのジョブも登録できる。ジョブ定義にハイパーパラメータをどの範囲で調整したいかを書いておくと、その範囲内で〇〇アルゴリズムにてチューニングが実行される...

ディープラーニングと物理学(読書メモ)

ニューラルネットワークの動作機構を物理学の用語で説明しているところが魅力的で前から気になっていた本。前半は物理学の記法で書かれたニューラルネットワークの解説、後半はDLと物理学の概念を往復して互いの領域への示唆が書かれていて面白かった。前半部分の忘れたくない部分を以下にメモした。はじめに：機械学習と物理学情報理論事象Aの情報量 = -log P(事象A) さまざまな事象A1, A2, .., Awが確率p1, p2, pwで起こる時、各事象の情報量は -log pi になるが、その期待値を平均情報量、または情報エントロピーと呼び S = - Σ pi log pi と呼ぶ。「情報」が少ない⇄予測が困難⇄情報エントロピーが大きい A1が#1回、A2が#2回、...、Awが#w回、合計で#回発生した (1.3.1) qi を真の確率だと仮定した時、(1.3.1)が得られる確率 (1.3.2) p(Aiが#i回起こる確率)=qi^#i 順番は問わないため、多項係数 = #!/(#1!#2!...#w!) を掛けて (1.3.2) = q1^#1・q2^#2...・qw^#w ・#!/(#1!#2!...#w!) (1.3.5) 機械学習ではうまくqi を調整し(1.3.5)をなるべく大きくする (1.3.5) は大数の法則での置き換えとスターリングの公式での置き換えを実施すると、 (1.3.5) = exp [ - # Σ ( pi log pi/qi )] となり、この確率を1に近づけるには相対エントロピー　sigma ( pi log pi/qi ) を0 に近づけるということ。相対エントロピーはカルバックライブラー情報量と呼ばれる日本語解説資料 http://www.math.tohoku.ac.jp/~kuroki/LaTeX/20160616KullbackLeibler.pdf 人工知能が描いた絵のエントロピー減少はどこから来た？マクスウェルの魔機械学習の一般論真のデータ生成確率 P(x, d)があった時、パラメータを調整してモデル Q_j(x, d)をなるべく P(x, d) に近づけようとしたい。相対エントロピー D_KL(P||Q_j) = Σ [ P(x, d) log { P(x, d) / Q_j(x, d)} ...

OpenAIのText Embeddingを使ってゴミ分別カテゴリ判定の実験

はじめに OpenAIのテキスト埋め込み（text-embedding-ada-002）を活用して、横浜市のごみの捨て方の分類シートに関する実験を行いました。このシートには品目名と捨て方のカテゴリが記載されており、品目リストは3000件以上に及びます。この実験の目標は、Text embedding を活用して、分類シートにない品目を入力した場合にも、その品目の捨て方を正しく予測することです。 (実は、横浜市のサイトにチャットボット「イーオ」が既に存在しており、これが精度高いので実用上はこれを活用することで十分です。) 実験内容最初にゴミの捨てた分類シートの品目 3431件のembeddingを取得しました。 embeddingの取得コストが非常に低い($0.0001 / 1K tokens )のでこれくらいだと $1 にもなりません。実験準備：カテゴリの分布の確認、embedding の可視化まず、捨て方のカテゴリの分布を確認しました。燃やすごみが一番多く、粗大ごみ・小さな金属類が続くことがわかります。次に tSNE で得られた embedding にクラスタが見られるか確認しました。小さな金属類・古紙などは比較的クラスタになっているようですが、燃やすごみ・粗大ごみなどは幅広く分布しているようです。ごみ品目名 text embedding -> tSNE 実験1: Cosine Similarityによる品目予測この実験では、品目名 embedding同士のCosine Similarityを使用して類似度の高い品目を予測しました。以下、3431件の品目に対してそれぞれ一番類似している品目の捨て方カテゴリを予測した結果です。精度評価: Accuracy: 0.47 Precision: 0.16 Recall: 0.19 F1 Score: 0.17 誤りの多くは「アコーディオンカーテン(粗大ごみ)」と「カーテン(古布)」のように、キーワード文字列が類似しているが、捨て方カテゴリが別の品目によるものでした。数値だけを見ると精度があまり良くなさそうでした。次に以下のようなシステムを作り、キーワードに対して捨て方を返すプログラムを作成しました。キーワード入力 → text-embedding-ada-002 を call...

Powered by Blogger