Internet & Web Application

Discrete-Time Markov Chain – State Classification

ทำความเข้าใจคุณลักษณะ Markov Chain โดยแยกแยะจากประเภท State

Accessibility

“State j is accesible from state i, written i -> j, if Pij(n) > 0 for some n > 0.” [1]

Communicating States

“State i and j communicate, written i <-> j, if i -> j and j -> i.” [1]

ข้อสังเกตคือ i จะถือว่า Communicate กับตัวเองเสมอ (step=0) และถ้าหากว่า j , k Communicate กับ i แล้ว จะพบว่า j , k Communication กันเองด้วย ซึ่งเรียกว่าเป็น “Set” หรือ “Class” ของการ Communication กัน

Communicating Class

“A communicating class is a nonempty subset of states C, such that if i is member of C, then j is member of C too, iff i <-> j”

ข้อสังเกตคือ การ Communicate อาจใช้จำนวน Step มากกว่า 1 ก็ได้

Periodic & Aperiodic States

“State i has period d if d is the largest integer such that Pii(n) = 0 whenerver n is not divisible by d. If d = 1, then state i is called aperiodic.”

พูดถึงจำนวน Step ที่ออกจาก State i ไป และกลับเข้ามาอีกครั้ง, จำนวน Step ดังกล่าวอาจมีมากกว่าหนึ่งค่า (อาจมีได้หลายเส้นทาง) ซึ่งหากนำมาหา Great Common Divider (GCD) แล้วได้เท่ากับ 1 แสดงว่า Markov Chain นี้เป็น Aperiodic

Transient & Recurrent States

“In a finite Markov chain, a state i is transient if there exists a state j such that i -> j but j -/-> i; otherwise, if no such state j exists, then state i is recurrent.”

ถ้าไปแล้วกลับไม่ได้เรียก Transient, ในทางตรงข้างเรียก Recurrent

Irreducible Markov Chain

“A Markov chain is irreducible if there is only one communicating class.”

เมื่อทุก State ใน Chain สามารถไปถึงกันได้แล้วแสดงว่า Irreducible

Reference

[1] Book, “Probability and Stochastic processes“, Roy D. Yates

Advertisements
มาตรฐาน

ใส่ความเห็น

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / เปลี่ยนแปลง )

Twitter picture

You are commenting using your Twitter account. Log Out / เปลี่ยนแปลง )

Facebook photo

You are commenting using your Facebook account. Log Out / เปลี่ยนแปลง )

Google+ photo

You are commenting using your Google+ account. Log Out / เปลี่ยนแปลง )

Connecting to %s