Sparkを最小労力で動かす その2

公開日: : 最終更新日:2016/01/23 クラウド, サーバー, 技術

うまく動いていたんだけど、はまってしまった。

以下の情報を参考に、SparkPiをクラスタにつないで動かそうとしていたんだけど、

http://qiita.com/mychaelstyle/items/0a1a9ba99bdd0b253d66#2-2

クラスタ内のマシンから、以下のコマンドを実行したのだけど、

spark-submit –class org.apache.spark.examples.SparkPi –master spark://192.168.0.14:7077 /usr/lib/spark/examples/lib/spark-examples_2.10-1.0.0-cdh5.1.3.jar 100

以下の様なエラーが出た。

14/10/13 17:09:57 WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient memory
14/10/13 17:10:06 INFO AppClient$ClientActor: Connecting to master spark://192.168.0.14:7077…

原因解決。IPアドレスをhostnameで指定してあげるとOKだった。

spark-submit –class org.apache.spark.examples.SparkPi –master spark://c2:7077 /usr/lib/spark/examples/lib/spark-examples_2.10-1.0.0-cdh5.1.3.jar 100

やっぱりhostnameが大事なのね。。。

ちなみにc2はsparkのmasterノード cloudera関係は、hostnameが大事みたい。
プライベートDNSを作る必要があるかもね…

関連記事

no image

true positive, false positive, ROCカーブがわからなかった

true positive, false positive, false negative, tru

記事を読む

Github EvolutionalComputation で Rosenbrockを実験してみた

https://github.com/yawaip/EvolutionalComputation

記事を読む

Github EvolutionalComputationにjDEのScala実装を追加

https://github.com/yawaip/EvolutionalComputation

記事を読む

no image

ScalaNLP Breezeでjarファイル化に失敗する場合の対策

エラー ScalaNLPをeclipseで使いたいために、jarファイルにしようと思うのですが、い

記事を読む

scalaでベクトルの重み計算

以下のような重みの計算を行う場合、数式通りに配列を用いて実装する場合と、行列計算で行う方法をメモする

記事を読む

no image

周波数スペクトルの見方と意味がわからなかった

フーリエ変換 ← わかる 周波数スペクトル ← わからん ヤワイは画像処理をすこしかじっ

記事を読む

no image

Sparkを最小労力で動かす その3

結局わかったことは、Cloudera manager難しいってことと、 Spark on Ya

記事を読む

Sparkを最小労力で動かす その1

VirtualBoxでCentosを2つ作ります。 HDDの容量は16GBにしておきます。

記事を読む

Github EvolutionalComputationにwPSOのScala実装を追加

https://github.com/yawaip/EvolutionalComputation

記事を読む

Github EvolutionalComputationにDEのScala実装を追加

https://github.com/yawaip/EvolutionalComputation

記事を読む

no image
メタニウムMGLとカシータスMGLの飛距離について

メタニウムMGLとカシータスMGLは飛距離については一緒らしいです。

no image
ゾディアス166m-2とクロノス662mbの比較

どうも2ピースロッドが大好きなヤワイです。 同じスペックの竿を2

no image
エリアトラウトで村田基さんの真似を辞めたら釣れるようになった

半年ぶりの更新です。 今年一年は、仕事が忙しくほとんど釣りに行け

上からクロノス、エアエッジ、ブレイゾン、ゾディアス
クロノス 672MHB 使ってみてのレビュー

クロノスロッドはかなりイケてるロッドの気がして、3月に購入してから2回

趣味にエリアフィッシング(ニジマス釣り)をおすすめする7つの理由

休みの日が雨だと何もやることがなくて嫌ですね。昔は雷さえならなければ釣

大好き片倉ダム(笹川湖)~ボート屋紹介~

亀山ダムの釣果情報を出しているページを運営しているものの、なんだかんだ

ピニオンギアのスペースチューニング
アルテグラチューニング

久しぶりの投稿です。 最近、エリアトラウトにどっぷりはまっており

素人がエリアトラウトで人並みに釣ることができるようになるまで

エリアトラウトに始めて2ヶ月が経ちました。完全にハマってます。 技量

王禅寺フィッシュオンへのアクセス1
初エリアトラウトにフィッシュオン王禅寺に行ってきた(公共交通機関でアクセス編)

前回の投稿以降、更新を忘れていたので書きます。 私は車やバイクを

【最安か?】上州屋渋谷の創業祭でジリオン SV TWが10%オフだった

なかなか今年の初バス釣りの予定がたちませんね。 グラフから釣行日

→もっと見る

PAGE TOP ↑