Professional Documents
Culture Documents
It 07
It 07
相互情報量と通信路モデル
通信路
メッセージ
変化球
直球
通信路の価値をどう定めるか? =通信路への課金,支払いをどうするか?
メッセージの価値をどれだけ保全するか
メッセージの価値をどう定めるか?
情報源Sの不確かさをどれだけ減らしたか?
Sのエントロピー𝐻1 𝑆 = − 𝑝 log2 𝑝 + 1 − 𝑝 log 2 1 − 𝑝 …平均符号長の下限
メッセージの平均的価値の大きさ=メッセージの平均情報量=メッセージが減らした情報源記号の不確かさ
情報量
出現確率𝑝の事象𝑒が起きたことを知らせるメッセージ𝑚のもたら
す「サプライズ」(=𝑚の情報量)
1
log 2 = − log 2 𝑝 ビット
𝑝
1
(例)変化球の確率が であるとき,実際にそうであるということを
4
伝えるメッセージの情報量:
1
log 2 1 = − log 2 4 = 2 ビット
4
情報量
2つの事象 𝑒1 , 𝑒2 のいずれかが起きるとする.
𝑒1 の生起確率を𝑝1 , 𝑒2 の生起確率を𝑝2 とする.
◼ 𝑒1 が起きたことを知らせるメッセージの情報量:
1
log 2 = − log 2 𝑝1 ビット
𝑝1
◼ 𝑒2 が起きたことを知らせるメッセージの情報量:
1
log 2 = − log 2 𝑝2 ビット
𝑝2
◼ メッセージの平均的な情報量:
1 1
𝑝1 log 2 + 𝑝2 log 2 = − 𝑝1 log 2 𝑝1 + 𝑝2 log 2 𝑝2 ビット
𝑝1 𝑝2
情報量
◼ エントロピー関数:不確かさの度合いの表現に用いる.
1 1
ℋ 𝑥 ≡ 𝑥 log 2 + (1 − 𝑥) log 2
𝑥 1−𝑥
ℋ 𝑥
𝑥
知りたいことのヒントにしかならないメッセージ
直 変
前 0.4 0.2
横 0.1 0.3
{前,横} {直,変}?
変化球
直球
検査
病気 健康
検査の効用評価 陽性
2 10
第1種過誤(α)
1000 1000
8 920
陰性
1000 1000
10
𝑃 病気 = = 1%
1000 第2種過誤(β)
2
𝑃(陽性, 病気) 1000 1
𝑃 病気|陽性 = = = ≈ 16.7%
𝑃(陽性) 2 10 6
+
1000 1000
10
𝑃(陽性, 健康) 1000 1
偽陽性率 = 𝑃 陽性|健康 = = = ≈ 1.1%
𝑃(健康) 10 920 93
+
1000 1000
8
𝑃(陰性, 病気) 1000
偽陰性率 = 𝑃 陰性|病気 = = = 80%
𝑃(病気) 2 8
+
1000 1000
2
1000 𝑃(病気|陽性)
2
1−偽陰性率 𝑃 陽性|病気 2
+
8
𝑃(健康|陽性) 陽性の事後オッズ
(陽性)尤度比 = = = 1000101000 = 101 = = =18.6
偽陽性率 𝑃 陽性|健康 1000 93
𝑃( 病気 ) 陽性の事前オッズ
10 920
+
1000 1000 𝑃(健康)
相互情報量
◼ 何も知らないときは,「直」は1ビットの情報量,「変」も1ビットの情報量をもつから,直/変
メッセージは平均1ビットの情報量をもつことになる.
◼ 前/横メッセージを得たとしよう.
「前」だったとすれば,
3
- 「直」は,log 2 ≈ 0.585ビットの情報をもたらす.
2
- 「変」は, log 2 3 ≈ 1.585ビットの情報をもたらす.
2 3 1 2
- 平均すると, log 2 + log 2 3 = log 2 3 − ≈ 0.918 ビットの情報がもたらされる.
3 2 3 3
「横」だったとすれば,
1 3 1 3
- 直/変メッセージの平均情報量は4 log2 4 + 4 log 2 3 = 2 − 4 log 2 3 ≈ 0.811
4
◼ 前/横メッセージを得たときの,直/変メッセージの平均情報量は
3 2 2 3 2 3
× log2 3 − + × 2 − log 2 3 = + log 2 3 ≈ 0.8755ビット
5 3 5 4 5 10
◼ 従って,前/横メッセージの平均的な貢献(=平均情報量)は,
2 3 3 3
1− + log 2 3 = 5 − 10 log 2 3 ≈0.1245 ビット
5 10
相互情報量
確率変数𝑋のエントロピー(平均的な不確かさ)を𝐻(𝑋)とすると,
1
𝐻(直変)=ℋ =1
2
1
𝐻(直変|前)=ℋ ≈ 0.91830
3
1
𝐻(直変|横)=ℋ ≈ 0.81128
4
3 1 2 1 2 3
𝐻(直変|前横)= 5 ℋ + 5ℋ = + log 2 3 ≈ 0.87549
3 4 5 10
3 3
𝐻(直変) − 𝐻(直変|前横)= 5 − log 2 3 ≈ 0.1245
10
一方,
3
𝐻(前横)=ℋ ≈ 0.97095
5
4
𝐻(前横|直)=ℋ ≈ 0.72193
5
2
𝐻(前横|変)=ℋ 5 ≈ 0.97095
1 4 1 2
𝐻(前横|直変)= 2 ℋ 5 + 2 ℋ 5
≈ 0.84644
3 3
𝐻(前横) − 𝐻(前横|直変)= − log 2 3 ≈ 0.1245
5 10
このように,
3 3
𝐻(直変) − 𝐻(直変|前横) = 𝐻(前横) − 𝐻(前横|直変)= 5 − 10 log 2 3 ≈ 0.1245
相互情報量の概念
𝐻(直変)=1
𝐻(前横) ≈ 0.97095
直/変の不確かさ
前/横の不確かさ
𝐻(前横|直変) ≈ 0.84644
𝐻(直変|前横) ≈ 0.87549
直/変が分かったときの前/横の不確かさ
前/横がわかったときの直/変の不確かさ
不確かなメッセージでも情報を伝達することができる.⇒ 伝達
される情報量の定量化
(例)上でみたように,次の球種が直球か変化球か知りたいと
き,投手が前を見ていたか,横を見ていたかを教えてもらうこと
ができれば,何らかのヒントが得られる(ただし,確率モデルが
わかっていると仮定できる時).
𝑌 ◼ 前/横によって減少する不確かさ
𝑃(𝑥, 𝑦) 𝑃(𝑥)
直 変 の平均:
前 0.4 0.2 0.5 𝐻 𝑌 − 𝐻 𝑌 𝑋 ≈ 0.1245
𝑋
横 0.1 0.3 0.5
◼ 𝑋と𝑌の相互情報量:
𝑃(𝑦) 0.6 0.4
𝐼 X; Y = 𝐻 𝑌 − 𝐻 𝑌 𝑋
相互情報量の性質
◼ 𝑋と𝑌の結合エントロピー:
◼ 次の関係が成り立つ.
𝐼 𝑋; 𝑌 = 𝐻 𝑋 − 𝐻 𝑋 𝑌
=𝐻 𝑌 −𝐻 𝑌 𝑋
= 𝐻 𝑋 + 𝐻 𝑌 − 𝐻 𝑋, 𝑌
0 ≤ 𝐼 𝑋; 𝑌 ≤ min 𝐻 𝑋 , 𝐻(𝑌)
相互情報量の性質
𝐻(𝑋, 𝑌)
𝐻 𝑋𝑌
𝐻 𝑌𝑋
𝐻(𝑌)
𝐻(𝑋) 𝐼(𝑋; 𝑌)
相互情報量の性質
「前/横」から得られる「直/変」に関する情報量
「直」 「変」
0.5 0.5 1
相互情報量の性質
「前/横」から得られる「直/変」に関する情報量 … もう一つのケース
「直」 「変」
0.5 0.5 1
通信路の概念
直 変
前 0.4 0.2
横 0.1 0.3
{前,横} {直,変}?
変化球
直球
𝑃(前) 0 𝑃 直前 𝑃 変前 𝑃(直, 前) 𝑃(変, 前)
∙ =
0 𝑃(横) 𝑃 直 横 𝑃 変横 𝑃(直, 横) 𝑃(変, 横)
情報源 通信路
結合確率を情報源固有部分と通信路固有部分に分解
通信路モデル
通信路を条件付確率で表し,統計的性質を調べる.
入力アルファベットの列 出力アルファベットの列
𝑥0 , ⋯ , 𝑥𝑛−1 𝑦0 , ⋯ , 𝑦𝑛−1
通信路
◼ 記憶のない通信路:各時点の出力の現れ方がその時点の入力
には関係するが,それ以外の時点の出力にも入力にも独立で
ある.
◼ 記憶のない定常通信路:記憶のない通信路のなかで,時間をず
らしても統計的性質が変わらないもの.
◼ 記憶のない定常通信路について,
𝑛−1
𝑃𝑌0 ,⋯,𝑌𝑛−1 |𝑋0 ,⋯,𝑋𝑛−1 𝑦0 , ⋯ , 𝑦𝑛−1 |𝑥0 , ⋯ , 𝑥𝑛−1 = ෑ 𝑃𝑌𝑖 |𝑋𝑖 (𝑦𝑖 |𝑥𝑖 )
𝑖=0
通信路モデル
通信路の表示
𝑝11 = 𝑃(𝑏1 |𝑎1 )
𝑎1 𝑏1
𝑎2 𝑏2
𝑝22 = 𝑃(𝑏2 |𝑎2 )
𝑎𝑟
𝑏𝑠
通信路行列
◼ 通信路行列:記憶のない定常通信路の表現
𝑝11 ⋯ 𝑝1𝑠
𝑇= ⋮ ⋱ ⋮
𝑝𝑟1 ⋯ 𝑝𝑟𝑠
◼ 入力アルファベットの生起確率: 𝑝 = (𝑝1 , 𝑝2 , ⋯ , 𝑝𝑟 )
出力アルファベットの生起確率: 𝑞 = 𝑞1 , 𝑞2 , ⋯ , 𝑞𝑠
のとき,
𝑞 = 𝑞1 , 𝑞2 , ⋯ , 𝑞𝑠
= 𝑝𝑇
𝑝11 ⋯ 𝑝1𝑠
= (𝑝1 , 𝑝2 , ⋯ , 𝑝𝑟 ) ⋮ ⋱ ⋮
𝑝𝑟1 ⋯ 𝑝𝑟𝑠
= (𝑝1 𝑝11 + 𝑝2 𝑝21 + ⋯ + 𝑝𝑟 𝑝𝑟1 ,
𝑝1 𝑝12 + 𝑝2 𝑝22 + ⋯ + 𝑝𝑟 𝑝𝑟2 ,
⋯,
𝑝1 𝑝1𝑠 + 𝑝2 𝑝2𝑠 + ⋯ + 𝑝𝑟 𝑝𝑟𝑠 )
基本的な通信路
0 0
1−𝑝 1−𝑝 𝑝
𝑇=
𝑝 𝑝 1−𝑝
𝑋 𝑌
𝑝:誤り率
𝑝
1 1
1−𝑝
基本的な通信路
2元対称消失通信路
1 − 𝑝X − 𝑝 0
0
𝑝X
𝑝
𝑋 X 𝑌
𝑝
𝑝X
1 − 𝑝X − 𝑝 𝑝X 𝑝
1 1 𝑇=
𝑝 𝑝X 1 − 𝑝X − 𝑝
1 − 𝑝X − 𝑝
0, 1がXに化ける(=消失する)ことがある.
通信路容量
𝑋 𝑌
通信路
𝐴 = 𝑎1 , ⋯ , 𝑎𝑟 𝐵 = 𝑏1 , ⋯ , 𝑏𝑠
𝑇 = 𝑝𝑖𝑗 通信路行列(𝑟行,𝑠列)
𝑟行
𝑠列
◼ (通信路𝑇による)𝑋と𝑌の相互情報量:
𝑝𝑖𝑗
𝐼(𝑋; 𝑌) = σ𝑟𝑖=1 𝑝𝑖 σ𝑠𝑗=1 𝑝𝑖𝑗 log 2 = 𝐻 𝑌 − 𝐻(𝑌|𝑋)
𝑞𝑗
◼ 通信路𝑇の通信路容量:
𝐶 = max 𝐼(𝑋; 𝑌) ここで,𝒑 = 𝑝1 , ⋯ , 𝑝𝑟 は入力の確率分布
𝒑
まとめ
◼ 情報量:メッセージが不確かさ(エントロピー)を減らす度合
いを定量化
◼ 不確かなメッセージからでも情報は得られる→相互情報量と
して定量化
◼ 相互情報量の性質
◼ 通信路の働きは相互情報量で説明される.
◼ 通信路自体は条件付確率を使ってモデル化する→通信路
行列
◼ 基本的な通信路として2元対称通信路と2元対称消失通信路
がある.
◼ 通信路の(理論的)性能は通信路容量で表す.