ツイッタープロフィールの形態素解析を行うために、mecabで使えるツイッタープロフィール頻出語辞書を作ってみた。そのメモ。
mecabで使えるツイッタープロフィール頻出語辞書の書式
辞書の書式は以下の通りです。正しい辞書書式と私が作った辞書の簡略書式を書いておきます。
# 正しい辞書の書式 表層形,左文脈ID,右文脈ID,コスト,品詞,品詞細分類1,品詞細分類2,品詞細分類3,活用形,活用型,原形,読み,発音 # 実際の書式サンプル 女子高,1285,1285,5279,名詞,一般,*,*,*,*,女子高,ジョシコウ,ジョシコー # サンプルもう一つ 工藤,1223,1223,6058,名詞,固有名詞,人名,名,*,*,くどう,クドウ,クドウ # 私の辞書の書式 ボカロ,,,5279,名詞,一般,*,*,*,*,*
私の作った辞書は分かち書きをするためだけに作ったので、品詞と品詞細分類1は全て名詞、一般です。省略できるところは省略しています。また、コストも適当です。
分かち書きをしたいだけならこれで十分です。
mecabのインストール方法やユーザー辞書の作り方の基本的なところは、「mecabの辞書に新しい単語を登録する方法」をご参照ください。
ツイッタープロフィール頻出語の定義、というか集め方
女性ツイッターユーザー3000人分くらいのプロフィール情報を元にして、明らかによくでてくる単語をこつこつ集めて作りました。
けっこう偏った内容になっている気がします。芸能人名、アニメ名、マンガ名、ニコ厨用語、が大半を占めています。
半角と全角、小文字と大文字の統一はほとんど行なっていません。あくまでもざっくり分かち書きをするためだけの辞書になっています。
mecabで使えるツイッタープロフィール頻出語辞書
私が作成した辞書を全部貼ります。内容も量もたいしたことないのでご自由に改変してお使いください。
JK,,,5279,名詞,一般,*,*,*,*,* JK1,,,5279,名詞,一般,*,*,*,*,* JK2,,,5279,名詞,一般,*,*,*,*,* JK3,,,5279,名詞,一般,*,*,*,*,* ボカロ,,,5279,名詞,一般,*,*,*,*,* 吹部,,,5279,名詞,一般,*,*,*,*,* 吹奏楽,,,5279,名詞,一般,*,*,*,*,* ジャニーズファン,,,5279,名詞,一般,*,*,*,*,* ジャニオタ,,,5279,名詞,一般,*,*,*,*,* アメブロ,,,5279,名詞,一般,*,*,*,*,* ゴスロリ,,,5279,名詞,一般,*,*,*,*,* ペプシ,,,5279,名詞,一般,*,*,*,*,* KAT-TUN,,,5279,名詞,一般,*,*,*,*,* GReeeeN,,,5279,名詞,一般,*,*,*,*,* supercell,,,5279,名詞,一般,*,*,*,*,* NARUTO,,,5279,名詞,一般,*,*,*,*,* PIXIV,,,5279,名詞,一般,*,*,*,*,* pixiv,,,5279,名詞,一般,*,*,*,*,* AKB,,,5279,名詞,一般,*,*,*,*,* AKB48,,,5279,名詞,一般,*,*,*,*,* LOVE,,,5279,名詞,一般,*,*,*,*,* ポケモン,,,5279,名詞,一般,*,*,*,*,* パズドラ,,,5279,名詞,一般,*,*,*,*,* リフォロー,,,5279,名詞,一般,*,*,*,*,* ゲーマー,,,5279,名詞,一般,*,*,*,*,* アイコン,,,5279,名詞,一般,*,*,*,*,* ダンガンロンパ,,,5279,名詞,一般,*,*,*,*,* イナイレ,,,5279,名詞,一般,*,*,*,*,* twitter,,,5279,名詞,一般,*,*,*,*,* Twitter,,,5279,名詞,一般,*,*,*,*,* YouTube,,,5279,名詞,一般,*,*,*,*,* youtube,,,5279,名詞,一般,*,*,*,*,* NEWS,,,5279,名詞,一般,*,*,*,*,* テニプリ,,,5279,名詞,一般,*,*,*,*,* ビッチ,,,5279,名詞,一般,*,*,*,*,* イケボ,,,5279,名詞,一般,*,*,*,*,* ヒソカ,,,5279,名詞,一般,*,*,*,*,* ヤンデレ,,,5279,名詞,一般,*,*,*,*,* ショタ,,,5279,名詞,一般,*,*,*,*,* コスプレ,,,5279,名詞,一般,*,*,*,*,* ゼルダ,,,5279,名詞,一般,*,*,*,*,* ヱヴァ,,,5279,名詞,一般,*,*,*,*,* フォロバ,,,5279,名詞,一般,*,*,*,*,* ボーカロイド,,,5279,名詞,一般,*,*,*,*,* BUMP OF CHICKEN,,,5279,名詞,一般,*,*,*,*,* ポルノグラフィティ,,,5279,名詞,一般,*,*,*,*,* サイコパス,,,5279,名詞,一般,*,*,*,*,* リボーン,,,5279,名詞,一般,*,*,*,*,* BLEACH,,,5279,名詞,一般,*,*,*,*,* ブリーチ,,,5279,名詞,一般,*,*,*,*,* イナズマシリーズ,,,5279,名詞,一般,*,*,*,*,* テイルズ,,,5279,名詞,一般,*,*,*,*,* デュラララ,,,5279,名詞,一般,*,*,*,*,* iPhone,,,5279,名詞,一般,*,*,*,*,* ONEPIECE,,,5279,名詞,一般,*,*,*,*,* ジョジョ,,,5279,名詞,一般,*,*,*,*,* スカイプ,,,5279,名詞,一般,*,*,*,*,* skype,,,5279,名詞,一般,*,*,*,*,* Skype,,,5279,名詞,一般,*,*,*,*,* ライン,,,5279,名詞,一般,*,*,*,*,* LINE,,,5279,名詞,一般,*,*,*,*,* line,,,5279,名詞,一般,*,*,*,*,* mixi,,,5279,名詞,一般,*,*,*,*,* ヤバイ,,,5279,名詞,一般,*,*,*,*,* アイマス,,,5279,名詞,一般,*,*,*,*,* ブログ,,,5279,名詞,一般,*,*,*,*,* ツンデレラ,,,5279,名詞,一般,*,*,*,*,* テニミュ,,,5279,名詞,一般,*,*,*,*,* ツイッター,,,5279,名詞,一般,*,*,*,*,* サマーウォーズ,,,5279,名詞,一般,*,*,*,*,* ハリーポッター,,,5279,名詞,一般,*,*,*,*,* ♡,,,5279,名詞,一般,*,*,*,*,* ツイプロ,,,5279,名詞,一般,*,*,*,*,* フォロー,,,5279,名詞,一般,*,*,*,*,* フォローミー,,,5279,名詞,一般,*,*,*,*,* ツイッタラー,,,5279,名詞,一般,*,*,*,*,* リムーブ,,,5279,名詞,一般,*,*,*,*,* ワンオク,,,5279,名詞,一般,*,*,*,*,* ジブリ,,,5279,名詞,一般,*,*,*,*,* 腐女子,,,5279,名詞,一般,*,*,*,*,* 歌い手,,,5279,名詞,一般,*,*,*,*,* 踊り手,,,5279,名詞,一般,*,*,*,*,* どう森,,,5279,名詞,一般,*,*,*,*,* カゲプロ,,,5279,名詞,一般,*,*,*,*,* V系,,,5279,名詞,一般,*,*,*,*,* popcorn,,,5279,名詞,一般,*,*,*,*,* Popcorn,,,5279,名詞,一般,*,*,*,*,* アラフェス,,,5279,名詞,一般,*,*,*,*,* ジャニ,,,5279,名詞,一般,*,*,*,*,* 関ジャニ∞,,,5279,名詞,一般,*,*,*,*,* Ameba,,,5279,名詞,一般,*,*,*,*,* イナズマイレブンシリーズ,,,5279,名詞,一般,*,*,*,*,* JC1,,,5279,名詞,一般,*,*,*,*,* JC2,,,5279,名詞,一般,*,*,*,*,* JC3,,,5279,名詞,一般,*,*,*,*,* REBORN,,,5279,名詞,一般,*,*,*,*,* フォロワー,,,5279,名詞,一般,*,*,*,*,* ツイキャス,,,5279,名詞,一般,*,*,*,*,* サムネ,,,5279,名詞,一般,*,*,*,*,* ツイート,,,5279,名詞,一般,*,*,*,*,* スノボ,,,5279,名詞,一般,*,*,*,*,* ハリポタ,,,5279,名詞,一般,*,*,*,*,* あらしっく,,,5279,名詞,一般,*,*,*,*,* ARASICK,,,5279,名詞,一般,*,*,*,*,* オタ,,,5279,名詞,一般,*,*,*,*,* ONE OK ROCK,,,5279,名詞,一般,*,*,*,*,* ＪＫ,,,5279,名詞,一般,*,*,*,*,* Jk,,,5279,名詞,一般,*,*,*,*,* JC,,,5279,名詞,一般,*,*,*,*,* 中1,,,5279,名詞,一般,*,*,*,*,* 中2,,,5279,名詞,一般,*,*,*,*,* 中3,,,5279,名詞,一般,*,*,*,*,* 高1,,,5279,名詞,一般,*,*,*,*,* 高2,,,5279,名詞,一般,*,*,*,*,* 高3,,,5279,名詞,一般,*,*,*,*,* ひぐらしのなく頃に,,,5279,名詞,一般,*,*,*,*,* うみねこのなく頃に,,,5279,名詞,一般,*,*,*,*,* 二宮和也,,,5279,名詞,一般,*,*,*,*,* うたプリ,,,5279,名詞,一般,*,*,*,*,* うみねこ,,,5279,名詞,一般,*,*,*,*,* ワンピ,,,5279,名詞,一般,*,*,*,*,* ハヤテ,,,5279,名詞,一般,*,*,*,*,* ガッシュ,,,5279,名詞,一般,*,*,*,*,* エヴァ,,,5279,名詞,一般,*,*,*,*,* ニコニコ,,,5279,名詞,一般,*,*,*,*,* ニコ生,,,5279,名詞,一般,*,*,*,*,* タイバニ,,,5279,名詞,一般,*,*,*,*,* ダイスキ,,,5279,名詞,一般,*,*,*,*,* ヲタク,,,5279,名詞,一般,*,*,*,*,* バンギャ,,,5279,名詞,一般,*,*,*,*,* イナズマ,,,5279,名詞,一般,*,*,*,*,* ルフィ,,,5279,名詞,一般,*,*,*,*,* ワンピ,,,5279,名詞,一般,*,*,*,*,* フェチ,,,5279,名詞,一般,*,*,*,*,* ♪,,,5279,名詞,一般,*,*,*,*,* ARASHIC,,,5279,名詞,一般,*,*,*,*,* ARASICK,,,5279,名詞,一般,*,*,*,*,* Greeeen,,,5279,名詞,一般,*,*,*,*,* Perfume,,,5279,名詞,一般,*,*,*,*,* perfume,,,5279,名詞,一般,*,*,*,*,* flumpool,,,5279,名詞,一般,*,*,*,*,* GLAY,,,5279,名詞,一般,*,*,*,*,* HANTER×HANTER,,,5279,名詞,一般,*,*,*,*,* H×H,,,5279,名詞,一般,*,*,*,*,* キルア,,,5279,名詞,一般,*,*,*,*,* B'z,,,5279,名詞,一般,*,*,*,*,* リフォロ,,,5279,名詞,一般,*,*,*,*,* フォロリム,,,5279,名詞,一般,*,*,*,*,* ツンデレ,,,5279,名詞,一般,*,*,*,*,* リプ,,,5279,名詞,一般,*,*,*,*,* ブブゼラ,,,5279,名詞,一般,*,*,*,*,* ギルティクラウン,,,5279,名詞,一般,*,*,*,*,* マギ,,,5279,名詞,一般,*,*,*,*,* VOCALOID,,,5279,名詞,一般,*,*,*,*,* ﾃﾆﾌﾟﾘ,,,5279,名詞,一般,*,*,*,*,* ﾎﾞｶﾛ,,,5279,名詞,一般,*,*,*,*,* ｶｹﾞﾌﾟﾛ,,,5279,名詞,一般,*,*,*,*,* ﾆｼﾞｵﾀ,,,5279,名詞,一般,*,*,*,*,* ｼﾞｮｼﾞｮ,,,5279,名詞,一般,*,*,*,*,* ﾓﾌﾞｻｲｺ,,,5279,名詞,一般,*,*,*,*,* ｴｳﾞｧ,,,5279,名詞,一般,*,*,*,*,* ﾎﾟｹﾓﾝ,,,5279,名詞,一般,*,*,*,*,* ﾍﾀﾘｱ,,,5279,名詞,一般,*,*,*,*,* Love,,,5279,名詞,一般,*,*,*,*,* love,,,5279,名詞,一般,*,*,*,*,* ﾂｲﾌﾟﾛ,,,5279,名詞,一般,*,*,*,*,* ﾌｫﾛｰ,,,5279,名詞,一般,*,*,*,*,* ﾘﾌﾟ,,,5279,名詞,一般,*,*,*,*,* TL,,,5279,名詞,一般,*,*,*,*,* follow,,,5279,名詞,一般,*,*,*,*,* DM,,,5279,名詞,一般,*,*,*,*,* RT,,,5279,名詞,一般,*,*,*,*,* 山下智久,,,5279,名詞,一般,*,*,*,*,* 亀梨和也,,,5279,名詞,一般,*,*,*,*,* 櫻井翔,,,5279,名詞,一般,*,*,*,*,* 相葉雅紀,,,5279,名詞,一般,*,*,*,*,* 堀北真希,,,5279,名詞,一般,*,*,*,*,* 沖田総悟,,,5279,名詞,一般,*,*,*,*,* 安室奈美恵,,,5279,名詞,一般,*,*,*,*,* 西野カナ,,,5279,名詞,一般,*,*,*,*,* EXILE,,,5279,名詞,一般,*,*,*,*,* ももクロ,,,5279,名詞,一般,*,*,*,*,* アプリ,,,5279,名詞,一般,*,*,*,*,* 金爆,,,5279,名詞,一般,*,*,*,*,* 踊ってみた,,,5279,名詞,一般,*,*,*,*,* 歌ってみた,,,5279,名詞,一般,*,*,*,*,* ニコ動,,,5279,名詞,一般,*,*,*,*,* ネトゲ,,,5279,名詞,一般,*,*,*,*,* サブ垢,,,5279,名詞,一般,*,*,*,*,* 二次元,,,5279,名詞,一般,*,*,*,*,* ツイ友,,,5279,名詞,一般,*,*,*,*,* ヲタ,,,5279,名詞,一般,*,*,*,*,* バイオハザード,,,5279,名詞,一般,*,*,*,*,* まどマギ,,,5279,名詞,一般,*,*,*,*,* 銀魂,,,5279,名詞,一般,*,*,*,*,* 忍たま,,,5279,名詞,一般,*,*,*,*,* 青エク,,,5279,名詞,一般,*,*,*,*,* バクマン,,,5279,名詞,一般,*,*,*,*,* マクロス,,,5279,名詞,一般,*,*,*,*,* 黒執事,,,5279,名詞,一般,*,*,*,*,* 戦国無双,,,5279,名詞,一般,*,*,*,*,* 戦国BASARA,,,5279,名詞,一般,*,*,*,*,* あんぱんまん,,,5279,名詞,一般,*,*,*,*,* スマブラ,,,5279,名詞,一般,*,*,*,*,* 黒バス,,,5279,名詞,一般,*,*,*,*,* ヘタリア,,,5279,名詞,一般,*,*,*,*,* めだかボックス,,,5279,名詞,一般,*,*,*,*,* テンペスト,,,5279,名詞,一般,*,*,*,*,* 高１,,,5279,名詞,一般,*,*,*,*,* 高２,,,5279,名詞,一般,*,*,*,*,* 高３,,,5279,名詞,一般,*,*,*,*,* 厨二,,,5279,名詞,一般,*,*,*,*,* 中二病,,,5279,名詞,一般,*,*,*,*,* 規制垢,,,5279,名詞,一般,*,*,*,*,* こじはる,,,5279,名詞,一般,*,*,*,*,* ニコルソン,,,5279,名詞,一般,*,*,*,*,* 腐ってます,,,5279,名詞,一般,*,*,*,*,* こえ部,,,5279,名詞,一般,*,*,*,*,* こえぶ,,,5279,名詞,一般,*,*,*,*,* 生主,,,5279,名詞,一般,*,*,*,*,* にこ生,,,5279,名詞,一般,*,*,*,*,* ついった,,,5279,名詞,一般,*,*,*,*,* コミュ障,,,5279,名詞,一般,*,*,*,*,* リア友,,,5279,名詞,一般,*,*,*,*,* One Direction,,,5279,名詞,一般,*,*,*,*,* ソナポケ,,,5279,名詞,一般,*,*,*,*,* Hey Say JUMP,,,5279,名詞,一般,*,*,*,*,* SexyZone,,,5279,名詞,一般,*,*,*,*,* カピバラさん,,,5279,名詞,一般,*,*,*,*,* ガチャピン,,,5279,名詞,一般,*,*,*,*,* ONE PIECE,,,5279,名詞,一般,*,*,*,*,* one piece,,,5279,名詞,一般,*,*,*,*,* niconico,,,5279,名詞,一般,*,*,*,*,* ゼノサーガ,,,5279,名詞,一般,*,*,*,*,* サモンナイト,,,5279,名詞,一般,*,*,*,*,* フェアリーテイル,,,5279,名詞,一般,*,*,*,*,* ナルト,,,5279,名詞,一般,*,*,*,*,* ジャニーズ,,,5279,名詞,一般,*,*,*,*,* ｲﾅｲﾚ,,,5279,名詞,一般,*,*,*,*,*
まとめ・あとがき
mecabのユーザー辞書を充実させる方法として、他には、wikipediaを辞書にするとかもあるんですが、上記の単語だけでもけっこう正確に分かち書きできます。
そう考えると、日本の女性ツイッターユーザーってけっこう若年層に偏ってるのかもですね。私が集めたデータが偏ってるだけってのもありますが。
