おもしろ情報学習ノート
  晴ればかりの地域で天気予報は価値があるか。
ホームおもしろ情報学習ノート> No.8 情報エントロピー
■No.8 情報エントロピー
情報エントロピーのグラフ 【問1】3人の力士を見る心理
【問2】情報エントロピーの計算
【問3】エントロピーの大小比較
【実習1】アルファベットの文字数カウント
【実習2】意味ある英文とランダムな文字列とのエントロピーの比較

【問1】3人の力士を見る心理

 
成績
見る人の心理(例)
力士A ●●○●●●●●●●・・・ たぶん今日も勝てないだろう
せめて今日は勝って欲しい
力士B ○○○○○○○○○○・・・ たぶん今日も勝てないだろう
たまには負けてくれないと面白くない
力士C ●○○●○○●●○●・・・ 今日も勝つか負けるかわからない
どうも安心して見ていられない

【問2】情報エントロピーの計算(=−P×log2P−(1-P)×log2(1-P))

  グラフ ○(勝ち)
●(負け)
情報エントロピーの計算
力士A 0.2 0.8 =−0.9×log20.2−0.1×log20.8=約0.72bit
力士B 0.9 0.1 =−0.9×log20.9−0.1×log20.1=約0.47bit
力士C 0.5 0.5 =−0.5×log20.5−0.1×log20.5=1bit

【問3】エントロピーの大小比較

記号
(1)
CBABAACCBCCBAAABCBAABBA
BBBBBBBCBBBBBCBBBBBABBB
(2)
表ばかりが出るコイン
表裏半々の確率で出るコイン

【実習1】アルファベットの文字数カウント

文字
A
B
C
D
E
F
G
H
I
J
K
L
M
N
個数
                           
使用率
                           
文字
O
P
Q
R
S
T
U
V
W
X
Y
Z
個数
                           
使用率
                       

【実習2】英文とランダムな文字列の比較考察・例

ランダムな文字列では・・


ホームへ戻る