

Apache SparkのMLlibを使用し機械学習の実装ができることを知りました。  
その中で、モデルの学習を分散の仕組みがイメージできませんので、教えていただきたいです。

私の認識は以下の通りです。

  * 文字列の整形や文字列のベクトルへの変換などはそれぞれのノードで可能。
  * モデルの学習は「重み」が存在しており、モデルの学習とは「重み」を更新していくもの。
  * 各ノードでモデルを学習する際の学習データは重複しない。
  * 各ノードで「重み」の共有が出来るとしてもノード間の通信ラグが発生し、それであればむしろ1台でやったほうが処理が速い。

処理全体のイメージは以下のページの画像のイメージですが、画像の「学習」部分の分散時のデータの動きのイメージがつきません。  
<http://www.intellilink.co.jp/article/column/bigdata-kk04.html>  
<http://www.intellilink.co.jp/sites/default/files/imported/article/column/bigdatakk-04-03.png>

私の中では、「重み」の存在によって分散が出来ない認識となっています。  
私の認識でおかしい部分ある。そもそもMLlibで「重み」などは存在していないものなのか。など疑問に感じています。

もし、「重み」が存在しているのであればどのように扱っているのか教えていただきたいです。

初心者のため、見当違いのことを言っているかもしれません。  
申し訳ございませんがよろしくお願い致します。


CC BY-SA 4.0
2020-03-02T16:31:28.383
63507
2020-03-02T16:36:44.747
2020-03-02T16:36:44.747
32986
38048
question
apache 機械学習 spark
Apache SparkのMLlibによる機械学習の分散の処理イメージがわきません。具体的な処理を教えてください。