Hive Color

# 自分のホームディレクトリにls。以下の2つは全く同じです。
hadoop dfs -ls
hadoop dfs -ls /user/[user_name]

# 特定のディレクトリにls
hadoop dfs -ls /user

# 特定のファイルにcat
hadoop dfs -cat [ファイルへの絶対パス]

# 特定のファイルにchmod。この場合はuserディレクトリを777にしている。
hadoop dfs -chmod 777 /user

# sudo権限でchmod。この場合はuserディレクトリを777にしている。
sudo -u hdfs hadoop dfs -chmod /user

# ここからはHDFSのコマンドではなく、hive向けのhadoopコマンド。
# 一応書いたけど、解説は次回…。
hadoop job -list
hadoop job -status
hadoop job -kill
hadoop job -set-priority

# /userのパーミッションを777に変更
sudo -u hdfs hadoop dfs -chmod 777 /user

# 権限の確認。
hadoop dfs -ls /

# この結果が表示されれば成功
Found 2 items
drwxrwxrwt   - hdfs hdfs                0 2012-10-06 16:16 /tmp
drwxrwxrwx   - hdfs supergroup          0 2012-10-07 00:20 /user

$ hive

hive> show databases;

# 何もないか、管理用のDBしか表示されないはずです。

hive> create database [db_name];
hive> show databases;

# 作ったDBが表示されます。

hive> use [db_name];
hive> create table [table_name](id string);
hive> show tables;

# 作ったテーブルが表示されます。

# hiveから抜けるにはこのコマンドを実行します。
hive> exit;

$ hadoop dfs -ls /user

# このディレクトリが増えているはずです
drwxrwxrwx   - root supergroup          0 2012-10-07 00:20 /user/hive

$ hadoop dfs -ls /user/hive

# さらにwarehoueディレクトリが作られているはずです。
drwxrwxrwx   - root supergroup          0 2012-10-07 00:20 /user/hive/warehouse

$ hadoop dfs -ls /user/hive/warehouse/[作ったDB名]/[作ったテーブル名]

# 上記のように、作ったDBとテーブルに対応するディレクトリが増えているはずです。

1. hiveでのシンプルなクエリサンプル
2. Apacheのアクセスログを用いたPV/UUの集計
3. 効率的なクエリの書き方