Information and Coding Theory, 2019 by Toyoaki Nishida

記憶のある情報源

Copyright © 2019 Toyoaki Nishida All Rights Reserved.

記憶のある情報源とは？

記憶のある情報源

変化球
直球

次の球は以前の球に依存する
 マルコフ情報源
2重マルコフモデルを用いたモデル化
𝑥0 𝑥1 𝑥2 𝑃𝑋2 |𝑋0 ,𝑋1 𝑥2 𝑥0 , 𝑥1 𝑥0 , 𝑥1 の次に𝑥2
が出現する確率
直 直 直 0.6
直 直 変 0.4
直 変 直 0.2
直 変 変 0.8
変 直 直 0.5
変 直 変 0.5
変 変 直 0.6
変 変 変 0.4
 マルコフ情報源
結合確率を用いた記述
𝑥0 𝑥1 𝑥2 𝑃𝑋0 ,𝑋1 ,𝑋2 (𝑥0 , 𝑥1 , 𝑥2 ) 𝑥0 , 𝑥1 , 𝑥2 が順に
出現する確率
直 直 直 0.168
直 直 変 0.112
直 変 直 0.024
直 変 変 0.096
変 直 直 0.240
変 直 変 0.240
変 変 直 0.072
変 変 変 0.048
 マルコフ情報源
結合確率からの条件付き確率の算出

𝑃𝑋0 ,𝑋1 ,𝑋2 (直, 変, 変൯

𝑃𝑋2 |𝑋0 ,𝑋1 (変|直, 変) =
𝑃𝑋0 ,𝑋1 (直, 変൯

𝑃𝑋0 ,𝑋1 ,𝑋2 (直, 変, 変൯

=
𝑃𝑋0 ,𝑋1 ,𝑋2 直, 変, 直 + 𝑃𝑋0 ,𝑋1 ,𝑋2 (直, 変, 変൯

0.096
=
0.024 + 0.096
= 0.8
 マルコフ情報源
結合確率からのその他の確率の算出

𝑃𝑋0 変 = σ𝑥1 σ𝑥2 𝑃𝑋0 ,𝑋1 ,𝑋2 (変, 𝑥1 , 𝑥2 ൯

= 𝑃𝑋0 ,𝑋1 ,𝑋2 変,直,直 + 𝑃𝑋0 ,𝑋1 ,𝑋2 変,直,変
+𝑃𝑋0 ,𝑋1 ,𝑋2 変, 変, 直 + 𝑃𝑋0 ,𝑋1 ,𝑋2 変, 変, 変
= 0.24 + 0.24 + 0.072 + 0.048 = 0.6

𝑃𝑋1 変 = σ𝑥0 σ𝑥2 𝑃𝑋0 ,𝑋1 ,𝑋2 (𝑥0 , 変, 𝑥2 )

= 𝑃𝑋0 ,𝑋1 ,𝑋2 直,変,直 + 𝑃𝑋0 ,𝑋1 ,𝑋2 直,変,変
+𝑃𝑋0 ,𝑋1 ,𝑋2 変,変,直 + 𝑃𝑋0 ,𝑋1 ,𝑋2 変,変,変
= 0.024 + 0.096 + 0.072 + 0.048 = 0.24
 マルコフ情報源
結合確率からのその他の確率算出

𝑃𝑋2 変 = σ𝑥0 σ𝑥1 𝑃𝑋0 ,𝑋1 ,𝑋2 (𝑥0 , 𝑥1 , 変൯

= 𝑃𝑋0 ,𝑋1 ,𝑋2 直,直,変 + 𝑃𝑋0 ,𝑋1 ,𝑋2 直,変,変
+𝑃𝑋0 ,𝑋1 ,𝑋2 変, 直, 変 + 𝑃𝑋0 ,𝑋1 ,𝑋2 変, 変, 変
= 0.112 + 0.096 + 0.24 + 0.048 = 0.496
 マルコフ情報源

条件付確率モデル 状態図

𝑥0 𝑥1 𝑥2 𝑃 𝑥2 |𝑥0 , 𝑥1 直前の投球が，「変化
球→直球」である状態
直 直 直 0.6 S変直
直 直 変 0.4 直/ 0.5
直 変 直 0.2 直 / 0.6 変 / 0.4
直 変 変 0.8
変 直 直 0.5 S直直 変 / 0.5
直 / 0.2
S変変
変 直 変 0.5
直 / 0.6
変 変 直 0.6 変 / 0.4 変 / 0.8
変 変 変 0.4
S直変
 情報源のモデル化

◼ 情報源記号𝐴 = {𝑎1 , 𝑎2 , … , 𝑎𝑀 }をもつ情報源𝑆に対して，時間の

経過に伴う𝑆からの出力を𝑋0 , … , 𝑋𝑛−1 と表す（𝑋𝑖 は{𝑎1 , 𝑎2 , … , 𝑎𝑀 }
のどれかをとり得る確率変数）．

◼ 定常情報源：時間をずらしても統計的性質は変わらない．つまり,
任意の正整数𝑛と𝑖，情報源記号の任意の元𝑥0 , 𝑥1 , … , 𝑥𝑛−1 に対し
て，
𝑃𝑋0 ,𝑋1 ,…,𝑋𝑛−1 𝑥0 , 𝑥1 , … , 𝑥𝑛−1 = 𝑃𝑋𝑖 ,𝑋𝑖+1,…,𝑋𝑖+𝑛−1 𝑥0 , 𝑥1 , … , 𝑥𝑛−1
が成立する
 記憶のある定常情報源モデル
◼ 記憶のない情報源：各時点における情報源記号の発生が他の時点とは独立
である．このとき，次の等式が成立する．
𝑛−1

𝑃𝑋0,…,𝑋𝑛−1 𝑥0 , … , 𝑥𝑛−1 = ෑ 𝑃𝑋𝑖 𝑥𝑖

𝑖=0

◼ X0,…,Xn-1の統計的性質は，あらゆるnに対して結合確率分布：

𝑃𝑋0,…,𝑋𝑛−1 𝑥0 , … , 𝑥𝑛−1 = 𝑋0 = 𝑥0 , 𝑋1 = 𝑥1 , … , 𝑋𝑛−1 = 𝑥𝑛−1 |となる確率

を与えれば完全に決まる．

◼ 確率が明示的に規定されていないものはベイズの原理で求める．例えば，
𝑃 𝑥0 , 𝑥1 , 𝑥2 𝑃 𝑥0 , 𝑥1 , 𝑥2
𝑃 𝑥2 |𝑥0 , 𝑥1 = =
𝑃 𝑥0 , 𝑥1 𝑃 𝑥0 , 𝑥1 , 𝑥2 + 𝑃 𝑥0 , 𝑥1 , 𝑥2
 マルコフ情報源

◼ 𝑚重マルコフ情報源： 𝑚 ≤ 𝑛なる全ての𝑛に対して，
𝑃𝑋𝑖 |𝑋𝑖−𝑛 ,…,𝑋𝑖−1 𝑥𝑖 |𝑥𝑖−𝑛 , … , 𝑥𝑖−1 = 𝑃𝑋𝑖|𝑋𝑖−𝑚 ,…,𝑋𝑖−1 𝑥𝑖 |𝑥𝑖−𝑚 , … , 𝑥𝑖−1

が成り立つ．
 マルコフ情報源

◼ 一般化されたマルコフ情報源：状態図によって規定
される．
◼ 𝑚重マルコフ情報源は一般化されたマルコフ情報源
としてモデル化できる．
◼ 一般化されたマルコフ情報源は必ずしも𝑚重マルコ
フ情報源としてモデル化できない．
 マルコフ情報源
1重マルコフ情報源（単純マルコフ情報源）の例
𝑆
𝑅
𝑋𝑖 = 𝑋𝑖−1 ⨁𝑌𝑖
𝑌𝑖
記憶のない
定常2元情報源
𝑋𝑖
𝑋𝑖 = 𝑋𝑖−1 ⨁𝑌𝑖
𝑃𝑋𝑖|𝑋𝑖−1 0 0 = 1 − 𝑝
1単位時間遅延
1: 𝑝 𝑃𝑋𝑖|𝑋𝑖−1 0 1 = 𝑝
0: 1 − 𝑝 𝑋𝑖−1
𝑃𝑋𝑖|𝑋𝑖−1 1 0 = 𝑝
𝑃𝑋𝑖|𝑋𝑖−1 1 1 = 1 − 𝑝

状態図 1/𝑝 1/1 − 𝑝

𝑆0 𝑆1

0/1 − 𝑝 0/𝑝
 マルコフ情報源

（例） 3重マルコフ情報源の一般化されたマルコフ情報源としてのモデル化

A / P(A|BBA)
SBAA SBBA
A / P(A|BAA) B / P(B|BBA) A / P(A|BBB)
A / P(A|ABA) B / P(B|BBB)
B / P(B|ABA)
B / P(B|BAA)
SAAA SABA SBAB SBBB
A/P(A|ABB)
A / P(A|BAB)
A/P(A|AAA)
A / P(A|AAB) B / P(B|BAB)
B / P(B|AAA) B / P(B|ABB)

SAAB B / P(B|AAB)
SABB
 マルコフ情報源

𝑚重マルコフ情報源としてモデル化できない一般化されたマルコフ情報源の例

A/0.7

𝑆0 𝑆1
A/0.1
B/0.3 B/0.9

B/0.8
𝑆2
A/0.2
 エルゴード情報源
エルゴード情報源：
1 𝑛−1
確率変数𝑋の値の集合平均𝑋 = σ𝑥∈𝐴 𝑥𝑃𝑋 (𝑥)と時間平均 𝑋 = lim σ 𝑥が等しい．
𝑛→∞ 𝑛 𝑖=0
𝑃𝑋 (𝑥) : ある時刻において𝑋 = 𝑥になる確率
【エルゴード情報源のイメージ】

S={A, B} A B A B A B A B A B A B A B A B

S={A, B} B A B A B A B A B A B A B A B A
等しい
S={A, B} B B A A B B A A B B A A B B A A
集合平均
同一情報源のコピー S={A, B} A A B B A A B B A A B B A A B B
時間平均
S={A, B} B B B A A A B B B A A A B B B A

S={A, B} A A A B B B A A A B B B A A A B

S={A, B} B B B B A A A A B B B B A A A A
t
 エルゴード情報源
エルゴード情報源：
1 𝑛−1
確率変数𝑋の値の集合平均𝑋 = σ𝑥∈𝐴 𝑥𝑃𝑋 (𝑥)と時間平均 𝑋 = lim σ 𝑥が等しい．
𝑛→∞ 𝑛 𝑖=0
𝑃𝑋 (𝑥) : ある時刻において𝑋 = 𝑥になる確率
【非エルゴード情報源のイメージ】

S={A, B} A A A A A A A A A A A A A A A A

S={A, B} B B B B B B B B B B B B B B B B
異なる
S={A, B} A A A A A A A A A A A A A A A A
集合平均
同一情報源のコピー S={A, B} A A A A A A A A A A A A A A A A
時間平均
S={A, B} B B B B B B B B B B B B B B B B

S={A, B} B B B B B B B B B B B B B B B B

S={A, B} A A A A A A A A A A A A A A A A
t
 マルコフ情報源
S6
S3
S8
S5
S1 S4
S0 S7
周期的
S9
S2 S11
S12
過渡的
S10
S13
S14
非周期的
 マルコフ情報源

S11
S12 非周期的：はじめにどのような状態で
あっても，ある時間が経過したあとの
S10 任意の時点において，どの状態になる
ことも可能（確率は０ではない）
S13
S14
1 2 3 4 5 6 7 8
S10 ● ● ● ● ●

S11 ● ● ● ● ●

S12 ● ● ● ● ● ●

S13 ● ● ● ● ●

S14 ● ● ● ● ● ●
 マルコフ情報源

S6 周期的：どれだけ時間が経過しても，
任意の時点において，すべての状態
S8 に到達することはできない．
S5

S7
1 2 3 4 5 6 7 8
S5 ● ● ● ●

S6 ● ● ● ●

S7 ● ● ● ●

S8 ● ● ●
 マルコフ情報源

◼ 正規マルコフ情報源では，はじめにどんな状態分布が与えら
れても，十分な時間が経過すれば，状態遷移は定常的にな
り，出力も定常的確率分布に従う．十分な時間の後には，エ
ルゴード情報源とみなせる．

◼ 一般のマルコフ情報源では，定常分布は少なくとも一つ存
在．初期分布として定常分布を与えると定常情報源となる．

◼ 規約情報源では，周期的であっても定常分布は一意的に存
在する．それを初期分布とすればエルゴード情報源になる．

◼ 周期的規約情報源では，定常分布以外の初期分布を与える
と，十分な時間が経過しても定常情報源にはならない．
 マルコフ情報源
◼ 遷移確率行列：
𝑝0,0 ⋯ 𝑝0,𝑁−1
𝛱= ⋮ ⋱ ⋮
𝑝𝑁−1,0 ⋯ 𝑝𝑁−1,𝑁−1
ここで， 𝑝𝑖𝑗 = 𝑃(𝑠𝑗 |𝑠𝑖 ) :状態𝑠𝑖 の次に状態𝑠𝑗 に遷移する確率．

◼ 遷移確率行列について，次の性質が成立する．
(𝑡) (𝑡)
𝑝0,0 ⋯ 𝑝0,𝑁−1
𝛱(𝑡) = ⋮ ⋱ ⋮ = 𝛱𝑡
(𝑡) (𝑡)
𝑝𝑁−1,0 ⋯ 𝑝𝑁−1,𝑁−1
(𝑡)
ここで， 𝑝𝑖𝑗 は，状態𝑠𝑖 から状態𝑠𝑗 に𝑡時点後に遷移する確率．
 マルコフ情報源
◼ 正規マルコフ情報源：十分な時間が経過した後は，任意の状
態間の遷移が生じ得る情報源．

(𝑡)
◼ 正規マルコフ情報源では， 𝑡 → ∞のとき， 𝑝𝑖𝑗 は𝑖に無関係な
値に収束する．つまり，
(𝑡)
lim 𝑝𝑖𝑗 = 𝑢𝑗
𝑡→∞

◼ 定常分布𝑤 = 𝑤0 , 𝑤1 , ⋯ , 𝑤𝑁−1 の計算：次の連立方程式を

解く．
𝑤0 + 𝑤1 + ⋯ + 𝑤𝑁−1 = 1
ቊ
𝑤𝛱 = 𝑤
 マルコフ情報源
(𝑡)
正規マルコフ情報源では，𝑡 → ∞のとき，𝑝𝑖𝑗 は𝑖に無関係な値に収束する．すなわ
ち，
(𝑡)
lim 𝑝𝑖𝑗 = 𝑢𝑗
𝑡→∞
つまり，
𝑢0 ⋯ 𝑢𝑁−1
lim 𝛱𝑡 = 𝑈 = ⋮ ⋱ ⋮
𝑡→∞
𝑢0 ⋯ 𝑢𝑁−1

例 0.7 0.3 0.409375 0.590625

𝛱= 𝛱6 =
0.2 0.8 0.39375 0.60625
0.55 0.45 0.404688 0.595313
𝛱2 = 𝛱7 =
0.3 0.7 0.396875 0.603125
0.475 0.525 0.402344 0.597656
𝛱3 = 𝛱8 =
0.35 0.65 0.38438 0.601563
0.4375 0.5625 0.401172 0.598828
𝛱4 = 𝛱9 =
0.375 0.625 0.399219 0.600781
0.41875 0.58125 0.400586 0.599414
𝛱5 = 𝛱10 =
0.3875 0.6125 0.399609 0.600391
 マルコフ情報源
定常分布𝑤 = 𝑤0 , 𝑤1 , ⋯ , 𝑤𝑁−1 の計算：次の連立方程式を解く．
𝑤 + 𝑤1 + ⋯ + 𝑤𝑁−1 = 1
ቊ 0
𝑤𝛱 = 𝑤

例 次の例については，
𝑤直直 + 𝑤直変 + 𝑤変直 + 𝑤変変 = 1
0.6𝑤直直 + 0.5𝑤変直 = 𝑤直直
0.4𝑤直直 + 0.5𝑤変直 = 𝑤直変
0.2𝑤直変 + 0.6𝑤変変 = 𝑤変直
0.8𝑤直変 + 0.4𝑤変変 = 𝑤変変
ないしは，
𝑤直直 + 𝑤直変 + 𝑤変直 + 𝑤変変 = 1
0.6 0.4 0 0
0 0 0.2 0.8
𝑤直直 , 𝑤直変 , 𝑤変直 , 𝑤変変 = 𝑤直直 , 𝑤直変 , 𝑤変直 , 𝑤変変
0.5 0.5 0 0
0 0 0.6 0.4
を解いて，𝑤直直 ≈ 0.273, 𝑤直変 ≈ 0.218, 𝑤変直 ≈ 0.218, 𝑤変変 ≈ 0.291を得る（上で，1個の等式は冗長）．
 マルコフ情報源のエントロピー

一般マルコフ情報源のエントロピー計算法：

◼ 情報源記号： 𝑎1 , ⋯ , 𝑎𝑀

◼ 状態： 𝑆0 , ⋯ , 𝑆𝑁−1

◼ その定常確率分布： 𝑤0 , ⋯ , 𝑤𝑁−1

◼ 状態𝑆𝑖 での情報源記号𝑎𝑖 の発生確率：𝑃(𝑎𝑖 |𝑆𝑖 )とすれば，マ

ルコフ情報源 のエントロピーは，
𝑁−1 𝑀

𝐻 𝑆 = ෍ 𝑤𝑖 − ෍ 𝑃(𝑎𝑗 |𝑆𝑖 ) log 2 𝑃(𝑎𝑗 |𝑆𝑖 )

𝑖=0 𝑗=1
 マルコフ情報源のエントロピー
（例）マルコフ情報源
B/0.1 B/0.6
𝑃𝑋𝑖|𝑋𝑖−1 (A|A) = 0.9
𝑃𝑋𝑖|𝑋𝑖−1 (B|A) = 0.1 𝑆A 𝑆B
𝑃𝑋𝑖|𝑋𝑖−1 (A|B) = 0.4
A/0.9 A/0.4
𝑃𝑋𝑖|𝑋𝑖−1 (B|B) = 0.6

定常的な状態分布を 𝑤A , 𝑤B ，状態が𝑆A である確率を𝑤A ，𝑆B である確率を𝑤B とすると

𝑤A + 𝑤 B = 1
ቐ 0.9 0.1
𝑤A , 𝑤B = 𝑤A , 𝑤B
0.4 0.6
を解いて，𝑤A = 0.8, 𝑤B = 0.2を得る．

状態が𝑆A であるときのエントロピーは，𝐻𝑆 𝑆 = ℋ 0.1 ≈ 0.469である．

A
状態が𝑆B であるときのエントロピーは，𝐻𝑆 𝑆 = ℋ 0.4 ≈ 0.971である．
B

それぞれの状態の確率に応じてブレンドすると，𝐻 𝑆 = 0.8𝐻𝑆 𝑆 + 0.2𝐻𝑆 𝑆 ≈ 0.5694

A B
 マルコフ情報源のエントロピー
（例）マルコフ情報源
B/0.1 B/0.6
𝑃𝑋𝑖|𝑋𝑖−1 (A|A) = 0.9
𝑃𝑋𝑖|𝑋𝑖−1 (B|A) = 0.1 𝑆A 𝑆B
𝑃𝑋𝑖|𝑋𝑖−1 (A|B) = 0.4
A/0.9 B/0.4
𝑃𝑋𝑖|𝑋𝑖−1 (B|B) = 0.6

𝐻1 𝑆 = ℋ 0.8 ≈ 0.722 𝐻𝑛 (𝑆) 0.74

𝐻1 𝑆 2 0.72
𝐻2 𝑆 = ≈ 0.646 0.7
2
𝐻1 𝑆 3 0.68
𝐻3 𝑆 = ≈ 0.620 0.66
3
0.64
0.62
0.6
0.58
0.56
𝐻 𝑆 ≈ 0.5694 1 2 3

𝑛
n次エントロピーの背後にある構造

ℋ 0.4
ℋ 0.8
𝐻𝑛 𝑆

ℋ 0.9

𝑂 0.4 0.8 0.9

1 𝑝
 マルコフ情報源のエントロピー

◼ 正規マルコフ情報源のエントロピーと𝑛次エントロピーの間に
次の関係がある．

𝐻 𝑆 ≤ 𝐻𝑛 𝑆

lim 𝐻𝑛 𝑆 = 𝐻(𝑆)
𝑛→∞
 まとめ

◼ 記憶を持つ情報源とは？
◼ 条件付確率を使ったモデル化
◼ マルコフ情報源モデル
◼ エルゴード性
◼ 状態の分類，マルコフ情報源モデルの分類
◼ マルコフ情報源の遷移確率行列表現
◼ 正規マルコフ情報源モデルの漸近的性質
◼ 正規マルコフ情報源の定常分布の計算法
◼ 一般マルコフ情報源のエントロピー計算法
◼ マルコフ情報源の𝑛次エントロピー