cloudera managerでhdfsにファイルアップロードする

公開日: : 最終更新日:2016/01/23 クラウド, サーバー, 技術

cloudera managerでhdfsやsparkをインストールすると困ったのは、ファイル操作がよくわからんということ。

結論から言うと、Spark使う前にはhdfs学ばなきゃいけないってことかな。めんどうだ。

HDFS上のSparkで使うデータは、一度HDFS上に上げなきゃ使えない(おそらく)。

なので、解析したいデータ”input.log”があった場合は一度

mv input.log /tmp

//hdfsというユーザがファイルを上げる権利があるので移動して権利を付け替える
chown hdfs:hdfs /tmp/input.log

//ユーザ変更
su hdfs

//hdfs上にディレクトリを作成
hadoop fs -mkdir /user
hadoop fs -mkdir /user/yawai

//hdfs上にファイルをアップロード
hadoop fs -put /tmp/input.log /user/yawai

あー疲れた。
ってかファイルの位置とか全部覚えとかなきゃいけないの?
こういうところをCloudera Managerがやってくれると思っていたわ。

関連記事

no image

ScalaでSparse Codingの実装を試す

Scala言語でスパースコーディング(Sparse Coding)を実装している人が居たので試してみ

記事を読む

Github EvolutionalComputationにwPSOのScala実装を追加

https://github.com/yawaip/EvolutionalComputation

記事を読む

Sparkを最小労力で動かす その1

VirtualBoxでCentosを2つ作ります。 HDDの容量は16GBにしておきます。

記事を読む

Github EvolutionalComputationにDEのScala実装を追加

https://github.com/yawaip/EvolutionalComputation

記事を読む

no image

水中探索ロボット(水中ドローン)の決定版 OpenROV

以前も記事に書きましたが、私は水中探索カメラに興味があります。 先日、フランス人に釣りのことを

記事を読む

no image

Sparkでhdfsに出力 その2

前回のhdfsに出力するはなしの続き hdfsはnamenode(ネームノード)を経由して出力

記事を読む

GoPro時代の釣り動画のハイライトシーン自動作成を考えてみる。

どうもヤワイです。 昨日、今日とバスマスタークラシックのネット中継を、目をこすりながら見ています。

記事を読む

no image

Scalaで文字コードをasciiコード化、さらに2進数に変換

備忘録 val asc:Int = "C".toCharArray()

記事を読む

Githubに遺伝的アルゴリズム(Real Coded Genetic Algorithm)のScala実装をアップしました。

私のGithubです。 遺伝的アルゴリズムを用いて実数問題を解くということに、興味を持

記事を読む

no image

windows,linux 共通のsleep処理について

どうも。ヤワイです。 前回書いたOpenCVのマルチスレッドフレームワークを実装しているのです

記事を読む

no image
メタニウムMGLとカシータスMGLの飛距離について

メタニウムMGLとカシータスMGLは飛距離については一緒らしいです。

no image
ゾディアス166m-2とクロノス662mbの比較

どうも2ピースロッドが大好きなヤワイです。 同じスペックの竿を2

no image
エリアトラウトで村田基さんの真似を辞めたら釣れるようになった

半年ぶりの更新です。 今年一年は、仕事が忙しくほとんど釣りに行け

上からクロノス、エアエッジ、ブレイゾン、ゾディアス
クロノス 672MHB 使ってみてのレビュー

クロノスロッドはかなりイケてるロッドの気がして、3月に購入してから2回

趣味にエリアフィッシング(ニジマス釣り)をおすすめする7つの理由

休みの日が雨だと何もやることがなくて嫌ですね。昔は雷さえならなければ釣

大好き片倉ダム(笹川湖)~ボート屋紹介~

亀山ダムの釣果情報を出しているページを運営しているものの、なんだかんだ

ピニオンギアのスペースチューニング
アルテグラチューニング

久しぶりの投稿です。 最近、エリアトラウトにどっぷりはまっており

素人がエリアトラウトで人並みに釣ることができるようになるまで

エリアトラウトに始めて2ヶ月が経ちました。完全にハマってます。 技量

王禅寺フィッシュオンへのアクセス1
初エリアトラウトにフィッシュオン王禅寺に行ってきた(公共交通機関でアクセス編)

前回の投稿以降、更新を忘れていたので書きます。 私は車やバイクを

【最安か?】上州屋渋谷の創業祭でジリオン SV TWが10%オフだった

なかなか今年の初バス釣りの予定がたちませんね。 グラフから釣行日

→もっと見る

PAGE TOP ↑