2012-8-24 前言：马尔可夫过程的描述分类 例1 直线上带吸收壁的随机游动（醉汉游动） 设一质点在线段[1，5 ]上随机游动，每秒钟发生一次随机游动，移动的规则是： （1）若移动前在2，3，4处，则均以概率 1或向右 移动一单位； 2向左（2）若移动前在1，5处，则以概率1停留在原处。 1 2 3 4 5 质点在1，5两点被“吸收”若 X(n)表示质点在时刻n所处的位置，分析它的 概率特性。 一步转移概率矩阵的计算 引例 例1 直线上带吸收壁的随机游动（醉汉游动） 设一质点在线段[1，5 ]上随机游动，每秒钟发生一次随机游动，移动的规则是： （1）若移动前在2，3，4处，则均以概率 1向左或向右 移动一单位； 2（2）若移动前在1，5处，则以概率1停留在原处。 1 2 3 4 5 质点在1，5两点被“吸收”若 X(n)表示质点在时刻n所处的位置，求 一步转移概率。 例2．带有反射壁的随机游动 设随机游动的状态空间I = {0，1，2，…}，移动的规则是： （1）若移动前在0处，则下一步以概率p向右移动一个单位，以概率q停留在原处（p+q=1）； （2）若移动前在其它点处，则均以概率p向右移动一个单位，以概率q向左移动一个单位。 设 Xn表示在时刻n质点的位置， 则{ Xn， }n≥0是一个齐次马氏链，写出其一步转移概率。 首页 例2 X(t),直线上的随机游动时的位置是 无后效性的随机过程.例3 电话交换台在t时刻前来到的呼叫数X(t), 是无后效性的随机过程. 例4 布朗运动 无未来处于某状态的概率特性只与现在状态记有关，而与以前的状态无关，这种特性叫忆无记忆性（无后效性）。 性 首页 状态空间I={1，2，3，4，5}， 参数集T={1，2，3，………}， 其一步转⎡000⎤移矩阵为 ⎢1⎢12010200⎥⎥P⎢1=⎢1⎢02010⎥⎥⎢121⎥⎢000⎥⎢2⎥⎣002001⎥⎦有两个吸收壁的随机游动 首页 q p q p 0 1 2 m-1 m 左反射壁 右反射壁 ⎡⎢qp000...000⎤⎢q0p00...000⎥P⎢0q0p0...000⎥⎥1=⎢⎢...........................⎥⎢⎥⎢00000...q0p⎥⎣00000...0qp⎥⎦首页 1 2012-8-24 ⎡q p ⎢qp000...⎤P0p00...⎥0 1 2 3 1=⎢q⎢反⎢0q0p0...⎥⎥射⎣..................⎥⎦壁 首页 4．一个质点在全直线的整数点上作随机游动，移动的规则是：以概率p从i移到i-1，以概率q从i移到i+1，以概率r停留在i，且 r+p+q=1，试求转移概率矩阵。 E={...,−2,−1,0,1,2,...}⎡⎢........................⎤P...0prq00...⎥1=⎢⎢⎢...00prq0...⎥⎥⎣........................⎥⎦首页 练习题． 扔一颗色子，若前n次扔出的点数的最大值为j，就说 Xn=j, 试问 Xn=j,是否为马氏链？求一步转移概率矩阵。 I={1，2，3，4，5，6} 首页 例3．一个圆周上共有N格（按顺时针排列），一个质点在该圆周上作随机游动，移动的规则是：质点总是以概率 q=1−pp顺时针游动一格， 以概率 逆时针游动一格。试求转移概率矩阵。 I={1,2,...,N}⎡0p00...0q⎢⎤⎢q0p0...00⎥⎥P=⎢⎢0q0p...00⎥1⎢.....................⎥⎢⎥⎢00...0q0p⎥⎣p0...00q0⎥⎦首页 5．设袋中有a个球，球为黑色的或白色的，今随机地从袋中取一个球，然后放回一个不同颜色的球。若在袋里有k个白球，则称系统处于状态k，试用马尔可夫链描述这个模型（称为爱伦菲斯特模型），并求转移概率矩阵。 解 这是一个齐次马氏链，其状态空间为 I={0，1，2，…，a} ⎡⎢0100...0⎤⎢1a−1⎥...0⎥一步转移矩阵是 ⎢⎢a0a0⎥P⎢020a−2...0⎥⎥1=⎢aa⎢⎥⎢..................⎥⎢0...a−101⎥⎥首页 ⎢0⎢aa⎥⎣0...0010⎥⎦⎡111111⎢⎤⎢666666⎥⎢021111⎥⎢⎥⎢66666⎥111⎥P=⎢⎢003⎢6666⎥⎥⎢411⎥⎢000666⎥⎢⎥⎢0...0051⎥⎢66⎥⎢⎣0...0010⎥⎥⎦2 2012-8-24 例1 甲、乙两人进行比赛，设每局比赛中甲胜的概率是p，乙胜的概率是q，和局的概率是 （ p+q+r=1r，）。设每局比赛后，胜者记“+1”分，负者记“—1”分，和局不记分。当两人中有一人获得2分结束比赛。以 X局时甲获得的分数。 n表示比赛至第n（1）写出状态空间； （2）求P(2)； （3）问在甲获得1分的情况下，再赛二局可以结束比赛的概率是多少？ 首页 （2）二步转移概率矩阵 P(2)=P2⎡⎢10000⎤q+rpr2+pq2prp20⎥=⎢⎢q2⎢2rqr2+2pq2prp2⎥⎥⎢0q22qrr2+pqp+rp⎥⎢⎥⎣00001⎥⎦首页 首页 例2 赌徒输光问题 赌徒甲有资本a元，赌徒乙有资本b元，两人进行赌博，每赌一局输者给赢者1元，没有和局，直赌至两人中有一人输光为止。设在每一局中，甲获胜的概率为p，乙获胜的概率为 q=1−p，求甲输光的概率。 分这个问题实质上是带有两个吸收壁的随机游动。从析 甲的角度看，他初始时刻处于a，每次移动一格，向右移（即赢1元）的概率为p，向左移（即输1元）的概率为q。如果一旦到达0（即甲输光）或a + b（即乙输光）这个游动就停止。这时的状态空间为{0，1，2，…，c}，c = a + b，。现在的问题是求质点从a出发到达0状态先于到达c状态的概率。 解 （1） 记甲获得“负2分”为状态1，获得“负1分”为状态2，获得“0分”为状态3，获得“正1分”为状态4，获得“正2分”为状态5，则状态空间为 I={1，2，3，4，5}一步转移概率矩阵 ⎡⎢10000⎤rp00⎥P=⎢q⎢⎢0qrp0⎥⎥⎢00qrp⎥⎢⎥⎣00001⎥⎦首页 （3） 在P(2)中p(2)45是在甲得1分的情况下经二步转移至得2分从而结束比赛的概率； p(2)41是在甲得1分的情况下经二步转移至—2分（即乙得2分）从而结束比赛的概率。 所以题中所求概率为 p(2)(2)45+p41 =(p+rp)+0=p(1+r)首页 解 设0≤j≤c设uj为质点从j出发到达0状态先于到达c状态的概率。考虑质点从j出发移动一步后的情况 在以概率p移到j+1的假设下，到达0状态先于到达c状态的概率为uj+1同理 以概率q移到j−1的前提下，到达0状态先于到达c状态的概率为uj−1根据全概率公式有 uj=uj+1p+uj−1q这一方程实质上是一差分方程，它的边界条件是 u0=1,uc=0首页 3 2012-8-24 欲求 ua先求 uj于是 （p + q）uj=puj+1+quj−1uqj−uj+1=(p)(uj−1−uj)设 r=qpdj=uj−uj+1则可得到两个相邻差分间的递推关系 dj=rdj−1于是 dj=rdj−1=r2dj−2=L=rjd0需讨论 r 首页 a故 r−rcua=1−rc=⎛⎜⎜(qaqc⎞⎛p)−(p)⎟⎟⎜⎜⎝1−(qp)c⎞⎝⎠⎟⎟⎠当 r=1u0−uc=1=cd0而 uj=(c−j)d0因此 uc−jj=c故 uc−aa=c=bc首页 例3 排队问题 顾客到服务台排队等候服务，在每一个服务周期中只要服务台前有顾客在等待，就要对排在前面的一位提供服务，若服务台前无顾客时就不能实施服务。 设在第 n个服务周期中到达的顾客数为一随机变量Yn且诸Yn独立同分布：P（Yn=k)=pk，k=0,1,2,L， ∑pk=1记Xk n为服务周期n开始时服务台前顾客数则有在第n周期已有一个 X⎧X−1+Yn,若Xn≥1n+1=⎨n顾客在服务，到第n+1 ⎩Yn,若Xn=0周期已服务完毕 此时{Xn，n≥1 }为一马氏链，求其转移矩阵 当 r≠1∑c−11=u0−uc=(uj−uj+1)j=0=∑c−1∑c−1d1−rcj=rjd0=j=0c−1j=01−rd0而 uj=uj−uc=∑(ui−ui+1)c−1i=j−1=∑di=∑crid0i=ji=j=rj(1+r+L+rc−j−1)drj−rc0=两式相比 1−rd0urj−rcj=首页 1−rc由以上计算结果可知 当r≠1即p≠q时，甲先输光的概率为⎛⎜⎜(qaqc⎞⎛p)−(p)⎟⎟⎜⎜qc⎞⎝⎠⎝1−(p)⎟⎟⎠当r=1即p=q时，甲先输光的概率为b用同样的方法可以求得乙先输光的概率 c当p≠q时，乙输光的概率为⎜⎜⎛1−(qa⎞⎛qc⎝p)⎟⎟⎠⎜⎜⎝1−(p)⎞⎟⎟⎠当p=q时，乙先输光的概率为ac首页 解 先求出转移概率 p00=P(X1=0|X0=0)=P(Y0=0)=p0p01=P(X1=1|X0=0)=P(Y0=1)=p1p10=P(Xn+1=0|Xn=1)=P(X=P(Yn−1+Yn=0|Xn=1)p11=P(Xn+1=1|Xn=0)=p0n=1)=P(Xn−1+Y=n=1|Xpn=1)=P(Yn=1)1p20=P(Xn+1=0|Xn=2)=P(Xn−1+Yn=0|Xn=2)p21=P(Xn+1=1|Xn=2)==PP((YXn=−1)=0=P(Yn−1+Yn=1|Xn=2)n=0)=p0p22=P(Xn+1=2|X首页 n=2)=P(Yn=1)=p14 2012-8-24 所以转移矩阵为 ⎧ppp⎪01p23p4L⎫p0p1p2p3p⎪4LP=⎪⎪1⎨0pp⎪01p2p⎪⎪3L⎬⎪00p0p1p2L⎪⎪⎩LLLLLL⎪⎭⎪首页 定理4.3 马尔科夫链的有限维分布： P{X1=i1,X2=i2,L,Xm=im}=∑pipiii∈I1pi1i2Lpim-1im由全概率公式得到证明，它是公式（1)的推广。例3：考虑状态0，1，2上的一个马氏链Xn,n≥0,⎡0.10.20.7⎤它又转移概率矩阵P=⎢⎢0.90.10⎥⎢⎥⎣0.10.80.1⎥⎦初始分布为p0=0.3，p1=0.4，p2=0.3，试求概率（1）p{X0=0,X1=1,X2=2} （2）p{X2=0,X3=2,X4=1}例4 市场占有率预测 设某地有1600户居民，某产品只有甲、乙、丙3厂家在该地销售。经调查，8月份买甲、乙、丙三厂的户数分别为480，320，800。9月份里，原买甲的有48户转买乙产品，有96户转买丙产品；原买乙的有32户转买甲产品，有64户转买丙产品；原买丙的有64户转买甲产品，有32户转买乙产品。用状态1、2、3分别表示甲、乙、丙三厂，试求 （1）转移概率矩阵； （2）9月份市场占有率的分布； （3）12月份市场占有率的分布； 证 P{Xn=j}=P{Xn=j,UX0=i}=∑P{Xin=j,X0=i}i∈I=∑P{X0=i}P{Xn=j|X0=i}i∈I=∑p(n)ipiji∈I例2 设马氏链的状态空间I={1,2},初始分布为P=3,P=212,试对n=1,2,3,计算 P(n)(n)551,P2解：n=1,P(1)=P{X(1)(1)11=1}=∑p(1)ipi1=p1p11+p2p21i∈E•练习：马氏链的状态空间I={1，2，3}，初始概率为 ⎡⎢13⎢440⎤⎥⎥p1=14,p2=12,p3=14,P=⎢111⎢⎥⎢333⎥⎢13⎥⎢⎣044⎥⎥⎦(1)计算P{X(0)=1,X(1)=2,X(2)=2},p12(2)(2)证明：P{X(1)=2,X(2)=2X(0)=1}=p12p22(3)求P{X(1)=1,X(2)=2,X(3)=3}解 （1）E{1，2，3},状态1、2、3分别表示甲、乙、丙的用户 P480−48−9611=480=0.7, 0.1,P4812=480= 0.2P9613=480=P3221=320=0.1, 0.7,P320－32－646422=320= P23=320＝0.2P6431=800=0.08, 0.04,P32800−64−3232=800= P33=800＝0.88⎡0.70.10.2⎤一步转移概率矩阵为 P⎢1=⎢0.10.70.2⎥⎢⎣0.080.040.88⎥⎥⎦（2）以1600除8月份甲，乙，丙的户数，得初始概率分布（即初始市场占有率） P(0)=(p(0)(0)(0)1,p2,p3)=(0.30.20.5)5 2012-8-24 所以9月份市场占有率分布为 ⎡0.70.10.2⎤P(1)=P(0)P1=(0.30.20.5)⎢⎢0.10.70.2⎥⎢0.080.040.⎥⎥=(0.270.190.54)⎣88⎦（3）12月份市场占有率分布为 P(4)=P(0)P41⎡0.70.10.2⎤4=(0.30.20.5)⎢⎢0.10.70.2⎥⎢⎣0.080.040.88⎥⎥⎦=(0.23190.16980.5983)1/2 1/2 1/3 2/3 0 1 2 1/2 1/4 1/4 由图可知 状态0可到达状态图3---1 1，经过状态1又可到达状态2；反之，从状态2出发经状态1也可到达状态0。 因此，状态空间I的各状态都是互通的。 又由于I 的任意状态i (i = 0，1，2)不能到达I 以外的任何状态， 所以I是一个闭集 而且I 中没有其它闭集 所以此马氏链是不可约的。 首页 1/2 1/2 1 3 4 1/2 1 2 1/2 1 1 5 由图可知 图4---2 状态3为吸收态 故 C1= {3}为闭集且 C2={1,4}闭集， C3={1,3,4}闭集， C4={1,2,3,4} 闭集， 其中 C1，C2是不可约的。 又因状态空间I有闭子集， 故此链为非不可约链。 首页 例1 设马氏链{Xn,n≥0}的状态空间I={0，1，2}其一步转移矩阵为 ⎡⎢1120⎤⎥P1211⎥1=⎢⎢⎢244⎥⎢⎢⎣012⎥⎥33⎥⎦试研究各状态间的关系，并画出状态传递图。 解 先按一步转移概率，画出各状态间的传递图 首页 例2 设马氏链的状态空间为I = {1，2，3，4，5}其一步转移矩阵为 ⎡1/2001/20⎢⎤1/201/200⎥P⎢⎥1=⎢⎢00100⎥⎢10000⎥⎢⎥⎣01000⎥⎦试讨论哪些状态是吸收态、闭集及不可约链。 解 先按一步转移概率，画出各状态间的传递图 首页 3．常返态与瞬时态 若fii=1则称状态i为常返态 若fii<1则称状态i为瞬时态 注 “常返”一词，有时又称“返回”、“常驻”或“持久” “瞬时”也称“滑过” 或“非常返” 定理4 若fii=1，则系统以概率1无穷次返回i；若fii<1，则系统以概率1只有有穷次返回i。 ∞定理5 i是常返态的充要条件是∑p(n)ii=∞n=0定理6 如果i为常返态，且 i↔j，则j也是常返态。 定理7 所有常返态构成一个闭集 6 2012-8-24 5．正常返态与零常返态 平均返回时间 从状态i出发，首次返回状态i的平均时间 μi=E[Tii]=∑nP{Tii=n}=∑nf(n)iin≥1n≥1称为状态i平均返回时间. 根据的值是有限或无限，可把常返态分为两类： 设i是常返态， 若μi<∞则称i为正常返态； 若μi=∞，则称i为零常返态。 首页 用极限判断状态类型的准则 ∞（1）i是瞬时态 ⇔∑p(n)ii<∞n=0（这时limn→∞p(n)ii=0）∞（2）i是零常返态 ⇔∑p(n)ii=∞n=0且 limn→∞p(n)ii=0（3）i是正常返态 ⇔∑∞p(n)ii=∞n=0首页 且 limn→∞p(n)ii≠0从图可知，此链的每一状态都可到达另一状态，即4个状态都是相通的。 考虑状态1是否常返，需要计算 f11：f(1)111=4f(2)11=p=114⋅p414f(3)=p⋅p1111334⋅p41=4f(4)111=p12p23p34p41=4f(n)∞11=0（n=5,6,L） f(n)11=∑f11=1111n=14+4+4+4=1于是状态1是常返的。 1/4 ∞又因为 μ=∑nf(n)111=51 1 n=12<∞1/4 所以状态1是正常返的。 2 1/4 1/4 4 此链所有状态都是正常返的。 1 3 1 例 设马氏链{Xn,n≥0}的状态空间I={1，2，3, …,7} 其一步转移矩阵如下，是对I进行分解。 ⎡⎢0.10.10.20.20.40 0⎤⎢0 0 0.50.50 0 0⎥⎢0001000⎥⎥P=⎢⎢0100000⎥⎢⎥⎢00000.50.50⎥⎢0 0 0 00.500.5⎥⎢⎥⎣000000.50.5⎥⎦I可分解为：C⎡0.5⎤⎡0.500.5⎤={5，6,7} 两个闭集及1={2，3, 4} CP⎢00.51=1⎥N={1} 2，即I=N+ C1+ C2 ⎢00⎢⎥ P⎢⎥2=⎢0.50.50⎣100⎥⎦⎢0.50.5⎥⎣0⎥⎦例3 已知马氏链{Xn,n=0,1,2,L}的状态空间 I={1,2,3,4}转移矩阵 ⎛⎜1111⎞444⎟P=⎜4⎜0010⎟⎟ ⎜⎜001⎟首页 ⎜ 0 ⎝1000⎟⎟试对其状态分类。 1/4 ⎠解 1/4 1 1 按一步转移概率， 画出各状态间的传2 1/4 1/4 4 递图 1 3 1 三、状态的周期与遍历 1．周期状态 1/2 1/2 1 对于任意的 i∈I，令 4 1/2 3 1 2 1/2 d=GCD{n≥1：p(n)1 1 iii>0}5 其中GCD表示最大公约数 图4---2 如果di>1，则称 i为周期态， di为周期如果di=1则称 i为非周期态。 定理11 设马氏链的状态空间为I，i,j∈I（1）若i↔j，则di=dj；（2）若是不可约马氏链，且pii>0，则此马氏链是非周期链。2．遍历状态 若状态i是正常返且非周期，则称i为遍历状态。 若马氏链{Xn}的所有状态都是遍历的，则称{Xn}为遍历链 7 2012-8-24 例4 设马氏链的状态空间I = {0,1,2,…}，转移概率为 p00=12，p11i,i+1=2，pi0=2，i∈I试讨论各状态的遍历性。 解 根据转移概率作出状态传递图 1/2 1/2 1/2 1/2 1/2 0 1/2 1 1/2 2 1/2 3 … 图4---4 首页 例5．设马氏链的状态空间I={1，2，3，4}，其一步转移矩阵为 ⎡111⎢0⎤4 33P=⎢⎢1003⎥1/3 1 1⎢110⎥⎢00⎥⎥1/3 1/2 1/2 ⎢2⎣01200⎥⎦⎥1 1 2 3 试对其状态分类。 1/3 解 按一步转移概率，画出各状态间的传递图 它是有限状态的马氏链，故必有一个常返态，又链中四个状态都是互通的。因此，所有状态都是常返态，这是一个有限状态不可约的马氏链。 可继续讨论是否为正常返态 4 状态1是常返态 1/3 1 ∞1/3 μ=∑nf(n)1/2 1/2 111n=11 1 2 3 =2⋅13+3⋅12+4⋅11/3 12+5⋅112⋅12+6⋅22⋅12+L<∞状态1是正常返态 所以，全部状态都是正常返态 首页 从图可知，对任一状态 i∈I都有 i↔0， 故由定理可知，I 中的所以状态都是相通的， 因此只需考虑状态0是否正常返即可。 f(1)=1∞00(2)2,f111(3)13100=2⋅2=4,f00=(2)=8,… f00=∑1n=12n=1故 从而0是常返态。 1/2 1/2 1/2 1/2 1/2又因为 ∞∞μ(n)n⋅11/2 1 2 3 0=∑nf00=n=2<∞0 1/2 1/2 … n=1∑n=12所以状态0为正常返。 又由于 图4---4 p(1)100=2>0故状态0为非周期的 从而状态0是遍历的。 故所有状态i都是遍历的。 可讨论状态1 4 f(1)111=0f(2)11=1/3 1 31/2 f(3)11111/3 1/2 11=3+3⋅2=21 1 2 3 f(4)11111/3 11=3⋅2⋅2⋅1=12f(5)1111111=⋅⋅⋅⋅1f(6)13121212=12⋅12111=3⋅2⋅2⋅2⋅2⋅1=22⋅12∞f(n)1111111=∑f11=+++n=132122⋅12+22⋅12+L=1例1 设马氏链{Xn,n≥0}的状态空间E={1，2，3} 其一步转移矩阵为 ⎡⎢1230⎤⎥P=⎢132⎥1⎢⎢303⎥⎢2⎥⎢⎥⎣0133⎥⎦试证此链具有遍历性，并求平稳分布和各状态的平均返回时间 解 ⎡124由于 ⎢⎤P(P2⎢39⎥2=1)=⎢1494⎥⎢99⎥⎢1292⎥⎢⎥首页 ⎣993⎥⎦8 2012-8-24 所以 当n0=2时，对于一切i,j∈E，p(2)ij>0。 因此，该马氏链具有遍历性。 ⎧⎪π=1113π1+3π2⎪⎪⎪⎨π2=23π1+13π3解得 ⎪⎪⎪π223=3π2+3π3⎪⎩π1+π2+π3=1X 1 2 3 所以马氏链的平稳分布为 πi124777各状态的平均返回时间 μ1=1/π1=7,μ2=1/π2=3.5,μ3=1/π3=7/4 解 （1）因Xn表红球数，所以状态空间E = {0,1,2} 其一步转移矩阵为 ⎛⎜12⎞⎜30⎟P1=⎜2352⎟⎜⎟999⎟甲 乙 ⎜⎜⎝021⎟33⎟⎠红球0 红球2 白球3 白球1 1/3 2/3 5/9 2/3 1/3 红球1 红球1 白球2 白球2 0 1 2 红球2 红球0 2/9 2/9 白球1 白球3 也可以利用定理1证明遍历性 ⎛2⎜120⎞⎜3⎟P2352⎟2=P21=⎜⎜⎟⎜999⎟⎜⎟⎝02133⎟⎠（3）由于limp(n)n→∞ij=πj（j=0,1,2）， 所以先求平稳分布πj 首页 例2 设有6个球（其中2个红球，4个白球）分放于甲、乙两个盒子中，每盒放3个，今每次从两个盒中各任取一球并进行交换，以X X0表示开始时甲盒中红球的个数， n（ n≥1）表示经n次交换后甲盒中的红球数。 ( 1 ) 求马氏链{ Xn，n }≥1的转移概率矩阵； ( 2 ) 证明{ Xn，n }≥1是遍历的； （3）求 limn→∞p(n)iji,j=0,1,2（4）求 limn→∞pj(n)j=0,1,2首页 由状态传递图 1/3 2/3 5/9 2/3 1/3 0 1 2 2/9 2/9 （2）由于它是一个有限马氏链，故必有一个常返态， 又链中三个状态0、1、2都相通，所以每个状态都是常返态。 所以是一个不可约的有限马氏链，从而每个状态都是正常返的。又由p100=3>0 所以此链为非周期的。 首页 故此链是不可约非周期的正常返链，即此链是遍历的。 ⎧⎪π1+20=⎪3π09π1⎪⎪⎪π=2π+5π+21π⎨309132⎪⎪π212=9π1+3π2⎪⎪π0+π1+π2=1⎪⎩πj>0,(j=0,1,2)解之得 π=1故得 5，π=31015，π2=5 limp(n)1n→∞i0=π0=limp(n)π35n→∞i1=1=5首页 9 2012-8-24 limp(n)n→∞i2=π12=5 （4） limp0(n)=π1n→∞0=5limp=3n→∞1(n)=π15nlim→∞p2(n)=π12=5 首页 解 （1） 由题意得频数转移矩阵为 ⎡3364896⎤N=⎢⎢3222464⎥⎢⎣6432704⎥⎥⎦再用频数估计概率，得转移概率矩阵为 ⎡0.70.10.2⎤P=⎢1⎢0.10.70.2⎥首页 ⎢⎣0.080.040.88⎥⎥⎦（2）以1600除以N中各行元素之和，得初始概率分布（即初始市场占有率） P(0)=(p1,p2,p3)=(0.30.20.5)（4）由于该链不可约、非周期、状态有限正常返的，所以是遍历的。 解方程组 ⎧π1=0.7π1+0.1π2+0.08⎪π3⎪⎨π2=0.1π1+0.7π2+0.04π3⎪π3=0.2π1+0.2π2+0.88π3⎪⎩π1+π2+π3=1即得当顾客流如此长期稳定下去是市场占有率的分布为 (π1,π2,π3)=(0.2190.1560.625)（5） (μ1,μ2,μ3)=(1/0.2191/0.1561/0.625) 市场占有率预测 例3 设某地有1600户居民，某产品只有甲、乙、丙3厂家在该地销售。经调查，8月份买甲、乙、丙三厂的户数分别为480，320，800。9月份里，原买甲的有48户转买乙产品，有96户转买丙产品；原买乙的有32户转买甲产品，有64户转买丙产品；原买丙的有64户转买甲产品，有32户转买乙产品。用状态1、2、3分别表示甲、乙、丙三厂，试求 （1）转移概率矩阵； （2）9月份市场占有率的分布； （3）12月份市场占有率的分布； （4）当顾客流如此长期稳定下去市场占有率的分布。 （5）各状态的平均返回时间 首页 所以9月份市场占有率分布为 ⎡00.10.2⎤P(1)=P(0)P1=(0.30.20.5)⎢.7⎢0.10.70.2⎥⎢0.080.040.88⎥⎥=(0.270.190.54)⎣⎦（3）12月份市场占有率分布为 P(4)=P(0)P4首页 1⎡0.70.10.2⎤4=(0.30.20.5)⎢⎢0.10.70.2⎥⎢⎥⎣0.080.040.88⎥⎦=(0.23190.16980.5983)例4 设马氏链{X,n≥0}的状态空间I={1，2，3, …,7} (书中n69页其一步转移矩阵为 例4.18） ⎡0.10.10.20.20.40 0⎢⎤⎢0 0 0.50.50 0 0⎥⎢0001000⎥⎥P=⎢⎢0100000⎥⎢⎥⎢00000.50.50⎥⎢0 0 0 00.500.5⎥⎢⎥⎣000000.50.5⎥⎦试并每个不可约闭集的平稳分布 10 状态空间可分解为：C={2，3, 4} D={5，6,7} 两个闭集，分别求对应转移概率矩阵 ⎡P=⎢00.50.5⎤⎡0.500.5⎤⎢001⎥ P=⎢0.50.50⎥12⎢00⎥⎢⎥⎣1⎥⎦⎢⎣00.50.5⎥⎦的平稳分布得 (π2121,π2,π3,π4,π5,π6,π7)=(0,5,5,5,0,0,0)(π,π1111,π23,π4,π5,π6,π7)=(0,0,0,0,3,3,3,)2012-8-24 11