Sparkを最小労力で動かす その1

公開日: : 最終更新日:2016/01/23 クラウド, サーバー, プログラミング, 技術

VirtualBoxでCentosを2つ作ります。

HDDの容量は16GBにしておきます。

virtualboxネットワークの設定をブリッジにしておきます。

bridge

OSはCentos 6.5 minimalを使います。ネットワークの設定は以下から

http://futurismo.biz/archives/1340#i

Cloudera Manager は楽ちん

centos1にcloudera managerをインストールします。
こいつは、SlaveにClouderaのソフトやsparkなどをインストールしてくれる上に、ジョブの管理までしてくれます。

時計を合わせます

yum install ntp
service ntpd start
chkconfig ntpd on

悪さをするファイアウォールを切ります。

service iptables stop
chkconfig iptables off

まず、selinuxを無効にします.

# vi /etc/sysconfig/selinux

SELINUX=disabled

reboot

あとは、cloudera-manager-installer.binを実行する

関連記事

Scalaで誤差逆伝播法を実装(行列計算版)

githubにアップしました。 前回実装した誤差逆伝播法を行列で実装しました。 breeze-n

記事を読む

no image

macのlsが死んでしまった。 ls : invalid line width: Fが出る問題。

基本的にlinuxで開発をすることが多いのですが、お茶でもしながらノマドワークしようと、macに開発

記事を読む

scalaでベクトルの重み計算

以下のような重みの計算を行う場合、数式通りに配列を用いて実装する場合と、行列計算で行う方法をメモする

記事を読む

no image

Scala言語でベクトルの単位ベクトルを生成

式はこれ メモ def main(args: Array) { val vec = L

記事を読む

no image

ScalaでSparse Codingの実装を試す

Scala言語でスパースコーディング(Sparse Coding)を実装している人が居たので試してみ

記事を読む

no image

Sparkを最小労力で動かす その2

うまく動いていたんだけど、はまってしまった。 以下の情報を参考に、SparkPiをクラスタにつ

記事を読む

Scalaで誤差逆伝播法(バックプロパゲーション)を実装

githubにアップしました。 行列版を実装しました。コード量が断然にすくなくなります。 「

記事を読む

no image

scala再帰

総和を求める。 def sum(ar:List[Int]) : Int = {

記事を読む

no image

Scalaで配列同士の二乗誤差を出力する

配列 Tと配列 Xがあり、その二乗誤差を求める実装。 数式だと以下の様な感じ。誰もが見たことある。

記事を読む

no image

Sparkでhdfsに出力 その2

前回のhdfsに出力するはなしの続き hdfsはnamenode(ネームノード)を経由して出力

記事を読む

no image
メタニウムMGLとカシータスMGLの飛距離について

メタニウムMGLとカシータスMGLは飛距離については一緒らしいです。

no image
ゾディアス166m-2とクロノス662mbの比較

どうも2ピースロッドが大好きなヤワイです。 同じスペックの竿を2

no image
エリアトラウトで村田基さんの真似を辞めたら釣れるようになった

半年ぶりの更新です。 今年一年は、仕事が忙しくほとんど釣りに行け

上からクロノス、エアエッジ、ブレイゾン、ゾディアス
クロノス 672MHB 使ってみてのレビュー

クロノスロッドはかなりイケてるロッドの気がして、3月に購入してから2回

趣味にエリアフィッシング(ニジマス釣り)をおすすめする7つの理由

休みの日が雨だと何もやることがなくて嫌ですね。昔は雷さえならなければ釣

大好き片倉ダム(笹川湖)~ボート屋紹介~

亀山ダムの釣果情報を出しているページを運営しているものの、なんだかんだ

ピニオンギアのスペースチューニング
アルテグラチューニング

久しぶりの投稿です。 最近、エリアトラウトにどっぷりはまっており

素人がエリアトラウトで人並みに釣ることができるようになるまで

エリアトラウトに始めて2ヶ月が経ちました。完全にハマってます。 技量

王禅寺フィッシュオンへのアクセス1
初エリアトラウトにフィッシュオン王禅寺に行ってきた(公共交通機関でアクセス編)

前回の投稿以降、更新を忘れていたので書きます。 私は車やバイクを

【最安か?】上州屋渋谷の創業祭でジリオン SV TWが10%オフだった

なかなか今年の初バス釣りの予定がたちませんね。 グラフから釣行日

→もっと見る

PAGE TOP ↑