Sparkを最小労力で動かす その3

公開日: : 最終更新日:2016/01/23 クラウド, サーバー, 技術

結局わかったことは、Cloudera manager難しいってことと、

Spark on Yarnはまだサポートされていないのか、動かせませんでした。動かせたらまた書きます。

とりあえず無職にも1日がかりでクラウドを使える環境を構築できたのでまずはOKでしょう。

あとは、Windowsから接続してって所なんですが、sparkのスタンドアローンネットワークにはなぜか接続できないのです。

Windowsマシンでコーディング→クラスタマシン上で実行 ってのをやりたいんですが、うまく接続できない。

クラスタに追加されているマシンなら実行できる。クラスタ上からしか実行できないってことはないと思うので頑張ります。

 

関連記事

no image

true positive, false positive, ROCカーブがわからなかった

true positive, false positive, false negative, tru

記事を読む

no image

Scala IDE ( Eclipse )でgithubに接続する

何回やっても忘れてしまって、作業に手間取ってしまうのでメモします。 プロジェクトのところで→[

記事を読む

no image

Sparkでhdfsに出力 その1

前の投稿の続き 出力の仕方が困った。ローカルに出してもいいんだけど、ローカルってどこ?わからな

記事を読む

no image

オンライン学習の勉強してみる

クラウド関係を触っているものですから、どうしても気になるわけですね。 学会等でお会いしたことがある

記事を読む

no image

fstabがうまくいかなかった

raspberry pi で radikoを録音しようと思って、まずはNASに接続しなきゃと思ったの

記事を読む

no image

Sparkでhdfsに出力 その2

前回のhdfsに出力するはなしの続き hdfsはnamenode(ネームノード)を経由して出力

記事を読む

no image

Virtual Box quickstart vmでSparkを動かす その1

Cloudera ManagerのVirtual Box Sparkを使ってみたのだけど、 以下の

記事を読む

no image

ScalaNLP Breezeでjarファイル化に失敗する場合の対策

エラー ScalaNLPをeclipseで使いたいために、jarファイルにしようと思うのですが、い

記事を読む

no image

水中探索ロボット(水中ドローン)の決定版 OpenROV

以前も記事に書きましたが、私は水中探索カメラに興味があります。 先日、フランス人に釣りのことを

記事を読む

Scalaで誤差逆伝播法(バックプロパゲーション)を実装

githubにアップしました。 行列版を実装しました。コード量が断然にすくなくなります。 「

記事を読む

no image
メタニウムMGLとカシータスMGLの飛距離について

メタニウムMGLとカシータスMGLは飛距離については一緒らしいです。

no image
ゾディアス166m-2とクロノス662mbの比較

どうも2ピースロッドが大好きなヤワイです。 同じスペックの竿を2

no image
エリアトラウトで村田基さんの真似を辞めたら釣れるようになった

半年ぶりの更新です。 今年一年は、仕事が忙しくほとんど釣りに行け

上からクロノス、エアエッジ、ブレイゾン、ゾディアス
クロノス 672MHB 使ってみてのレビュー

クロノスロッドはかなりイケてるロッドの気がして、3月に購入してから2回

趣味にエリアフィッシング(ニジマス釣り)をおすすめする7つの理由

休みの日が雨だと何もやることがなくて嫌ですね。昔は雷さえならなければ釣

大好き片倉ダム(笹川湖)~ボート屋紹介~

亀山ダムの釣果情報を出しているページを運営しているものの、なんだかんだ

ピニオンギアのスペースチューニング
アルテグラチューニング

久しぶりの投稿です。 最近、エリアトラウトにどっぷりはまっており

素人がエリアトラウトで人並みに釣ることができるようになるまで

エリアトラウトに始めて2ヶ月が経ちました。完全にハマってます。 技量

王禅寺フィッシュオンへのアクセス1
初エリアトラウトにフィッシュオン王禅寺に行ってきた(公共交通機関でアクセス編)

前回の投稿以降、更新を忘れていたので書きます。 私は車やバイクを

【最安か?】上州屋渋谷の創業祭でジリオン SV TWが10%オフだった

なかなか今年の初バス釣りの予定がたちませんね。 グラフから釣行日

→もっと見る

PAGE TOP ↑