Virtual Box quickstart vmでSparkを動かす その1

公開日: : 最終更新日:2016/01/23 クラウド, 技術

Cloudera ManagerのVirtual Box Sparkを使ってみたのだけど、
以下の様なエラーが出た。

14/08/09 17:44:31 INFO HttpServer: Starting HTTP Server
14/08/09 17:44:31 INFO SparkUI: Started SparkUI at http://192.168.122.77:4040
14/08/09 17:44:32 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable
org.apache.hadoop.security.AccessControlException: Permission denied: user=cloudera, access=EXECUTE, inode=”/user/spark”:spark:spark:drwxr-x—
at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkFsPermission(FSPermissionChecker.java:271)

書き込み権限がないとのことで、以下のコマンドで対処した

$ sudo su – hdfs

$ hadoop fs -chmod -R 777 /user/spark

関連記事

Github EvolutionalComputationにCMA-ESのScala実装を追加

https://github.com/yawaip/EvolutionalComputation

記事を読む

Scalaで誤差逆伝播法(バックプロパゲーション)を実装

githubにアップしました。 行列版を実装しました。コード量が断然にすくなくなります。 「

記事を読む

no image

Scalaで配列同士の二乗誤差を出力する

配列 Tと配列 Xがあり、その二乗誤差を求める実装。 数式だと以下の様な感じ。誰もが見たことある。

記事を読む

no image

cloudera managerを動かすためにメモリを増設した

Cloudera Managerの推奨スペックが 8GBと非常に要求が高かったので、Amazo

記事を読む

no image

Scalaで文字コードをasciiコード化、さらに2進数に変換

備忘録 val asc:Int = "C".toCharArray()

記事を読む

no image

cloudera managerでhdfsにファイルアップロードする

cloudera managerでhdfsやsparkをインストールすると困ったのは、ファイル操作が

記事を読む

亀山ダムのグラフ表示

ソースコードの紛失などの凡ミスを経て、ようやく亀山ダムの釣果情報をグラフで表示できるようにな

記事を読む

no image

fstabがうまくいかなかった

raspberry pi で radikoを録音しようと思って、まずはNASに接続しなきゃと思ったの

記事を読む

no image

Scala IDE ( Eclipse )でgithubに接続する

何回やっても忘れてしまって、作業に手間取ってしまうのでメモします。 プロジェクトのところで→[

記事を読む

Github EvolutionalComputationにwPSOのScala実装を追加

https://github.com/yawaip/EvolutionalComputation

記事を読む

no image
メタニウムMGLとカシータスMGLの飛距離について

メタニウムMGLとカシータスMGLは飛距離については一緒らしいです。

no image
ゾディアス166m-2とクロノス662mbの比較

どうも2ピースロッドが大好きなヤワイです。 同じスペックの竿を2

no image
エリアトラウトで村田基さんの真似を辞めたら釣れるようになった

半年ぶりの更新です。 今年一年は、仕事が忙しくほとんど釣りに行け

上からクロノス、エアエッジ、ブレイゾン、ゾディアス
クロノス 672MHB 使ってみてのレビュー

クロノスロッドはかなりイケてるロッドの気がして、3月に購入してから2回

趣味にエリアフィッシング(ニジマス釣り)をおすすめする7つの理由

休みの日が雨だと何もやることがなくて嫌ですね。昔は雷さえならなければ釣

大好き片倉ダム(笹川湖)~ボート屋紹介~

亀山ダムの釣果情報を出しているページを運営しているものの、なんだかんだ

ピニオンギアのスペースチューニング
アルテグラチューニング

久しぶりの投稿です。 最近、エリアトラウトにどっぷりはまっており

素人がエリアトラウトで人並みに釣ることができるようになるまで

エリアトラウトに始めて2ヶ月が経ちました。完全にハマってます。 技量

王禅寺フィッシュオンへのアクセス1
初エリアトラウトにフィッシュオン王禅寺に行ってきた(公共交通機関でアクセス編)

前回の投稿以降、更新を忘れていたので書きます。 私は車やバイクを

【最安か?】上州屋渋谷の創業祭でジリオン SV TWが10%オフだった

なかなか今年の初バス釣りの予定がたちませんね。 グラフから釣行日

→もっと見る

PAGE TOP ↑