Sparkを最小労力で動かす その2

公開日: : 最終更新日:2016/01/23 クラウド, サーバー, 技術

うまく動いていたんだけど、はまってしまった。

以下の情報を参考に、SparkPiをクラスタにつないで動かそうとしていたんだけど、

http://qiita.com/mychaelstyle/items/0a1a9ba99bdd0b253d66#2-2

クラスタ内のマシンから、以下のコマンドを実行したのだけど、

spark-submit –class org.apache.spark.examples.SparkPi –master spark://192.168.0.14:7077 /usr/lib/spark/examples/lib/spark-examples_2.10-1.0.0-cdh5.1.3.jar 100

以下の様なエラーが出た。

14/10/13 17:09:57 WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient memory
14/10/13 17:10:06 INFO AppClient$ClientActor: Connecting to master spark://192.168.0.14:7077…

原因解決。IPアドレスをhostnameで指定してあげるとOKだった。

spark-submit –class org.apache.spark.examples.SparkPi –master spark://c2:7077 /usr/lib/spark/examples/lib/spark-examples_2.10-1.0.0-cdh5.1.3.jar 100

やっぱりhostnameが大事なのね。。。

ちなみにc2はsparkのmasterノード cloudera関係は、hostnameが大事みたい。
プライベートDNSを作る必要があるかもね…

関連記事

Sparkを最小労力で動かす その1

VirtualBoxでCentosを2つ作ります。 HDDの容量は16GBにしておきます。

記事を読む

no image

true positive, false positive, ROCカーブがわからなかった

true positive, false positive, false negative, tru

記事を読む

no image

Scalaで文字コードをasciiコード化、さらに2進数に変換

備忘録 val asc:Int = "C".toCharArray()

記事を読む

no image

Scalaで配列同士の二乗誤差を出力する

配列 Tと配列 Xがあり、その二乗誤差を求める実装。 数式だと以下の様な感じ。誰もが見たことある。

記事を読む

no image

cloudera managerでhdfsにファイルアップロードする

cloudera managerでhdfsやsparkをインストールすると困ったのは、ファイル操作が

記事を読む

no image

cloudera managerを動かすためにメモリを増設した

Cloudera Managerの推奨スペックが 8GBと非常に要求が高かったので、Amazo

記事を読む

GoPro時代の釣り動画のハイライトシーン自動作成を考えてみる。

どうもヤワイです。 昨日、今日とバスマスタークラシックのネット中継を、目をこすりながら見ています。

記事を読む

no image

高滝湖 釣果情報ページの作成に悩む

高滝湖釣果情報ページ(http://www.chuokai-chiba.or.jp/takataki

記事を読む

no image

windows,linux 共通のsleep処理について

どうも。ヤワイです。 前回書いたOpenCVのマルチスレッドフレームワークを実装しているのです

記事を読む

Github EvolutionalComputationにCMA-ESのScala実装を追加

https://github.com/yawaip/EvolutionalComputation

記事を読む

no image
メタニウムMGLとカシータスMGLの飛距離について

メタニウムMGLとカシータスMGLは飛距離については一緒らしいです。

no image
ゾディアス166m-2とクロノス662mbの比較

どうも2ピースロッドが大好きなヤワイです。 同じスペックの竿を2

no image
エリアトラウトで村田基さんの真似を辞めたら釣れるようになった

半年ぶりの更新です。 今年一年は、仕事が忙しくほとんど釣りに行け

上からクロノス、エアエッジ、ブレイゾン、ゾディアス
クロノス 672MHB 使ってみてのレビュー

クロノスロッドはかなりイケてるロッドの気がして、3月に購入してから2回

趣味にエリアフィッシング(ニジマス釣り)をおすすめする7つの理由

休みの日が雨だと何もやることがなくて嫌ですね。昔は雷さえならなければ釣

大好き片倉ダム(笹川湖)~ボート屋紹介~

亀山ダムの釣果情報を出しているページを運営しているものの、なんだかんだ

ピニオンギアのスペースチューニング
アルテグラチューニング

久しぶりの投稿です。 最近、エリアトラウトにどっぷりはまっており

素人がエリアトラウトで人並みに釣ることができるようになるまで

エリアトラウトに始めて2ヶ月が経ちました。完全にハマってます。 技量

王禅寺フィッシュオンへのアクセス1
初エリアトラウトにフィッシュオン王禅寺に行ってきた(公共交通機関でアクセス編)

前回の投稿以降、更新を忘れていたので書きます。 私は車やバイクを

【最安か?】上州屋渋谷の創業祭でジリオン SV TWが10%オフだった

なかなか今年の初バス釣りの予定がたちませんね。 グラフから釣行日

→もっと見る

PAGE TOP ↑