曹雪虹 信息论与编码答案

3.3 在有扰离散信道上传输符号0和1，在传输过程中每100个符号发生一个错误，已知P(0)=P(1)=1/2，信源每秒内发出1000个符号，求此信道的信道容量。

解：

由题意可知该二元信道的转移概率矩阵为：

0.990.01P0.010.99 为一个BSC信道

所以由BSC信道的信道容量计算公式得到：

ClogsH(P)log2pilogi1210.92bit/signpi1CtC1000C920bit/sect

3.5 求下列二个信道的信道容量，并加以比较

pp（1）pp22pp （2）pp2002

其中p+p=1 解：

（1）此信道是准对称信道，信道矩阵中Y可划分成三个互不相交的子集 由于集列所

pp组成的矩阵pp22,而这两个子矩阵满足对称性，因此可直接利用准对称信道的

信道容量公式进行计算。

C1=logr-H(p1’ p2’ p3’)-k1NklogMk2

其中r=2,N1=M1=1-2 N2=2 M2=4 所以

C1=log2-H(p,p-ε,2ε)-(1-2)log(1-2)-2log4

=log2+(p)log(p)+(p-ε)log(p-ε)+2εlog2ε-(1-2ε)log(1-2ε)-2εlog4ε

=log2-2εlog2-(1-2ε)log(1-2ε)+(p)log(p)+(p-ε)log(p-ε)

=(1-2ε)log2/(1-2ε)+(p)log(p)+(p-)log(p-)

输入等概率分布时达到信道容量。

（2）此信道也是准对称信道，也可采用上述两种方法之一来进行计算。先采用准对称信道的信道容量公式进行计算，此信道矩阵中Y可划分成两个互不相交的子集，由子集列

pp所组成的矩阵为pp20，02这两矩阵为对称矩阵 其中r=2,N1=M1=1-2

N2=M2=2，所以

C=logr-H(p-,p-ε,2ε,0)-k1NklogMk2

=log2+(p-)log(p-)+(p-ε)log(p-ε)+2εlog2ε-(1-2ε)log(1-2ε)-2εlog2ε

=log2-(1-2ε)log(1-2ε)+( p-)log(p-)+(p-ε)log(p-ε)

=(1-2ε)log2/(1-2ε)+2εlog2+(p-)log(p-)+(p-ε)log(p-ε)

=C1+2εlog2

输入等概率分布（P（a1）=P（a2）=1/2）时达到此信道容量。比较此两信道容量，可得C2=C1+2εlog2

3-6 设有扰离散信道的传输情况分别如图3－17所示。求出该信道的信道容量。

X1/21/21/21/21/21/21/2Y1/2图3-17

10012201102211002211002 解：2对称信道

1log42log2ClogmH(Y|ai)2

取2为底 C1bit/符号

1X0a0DP(X)1/21/20a 求这信源的Dmax和4.2 某二元信源 其失真矩阵为

Dmin和R(D)函数。

解：

11aDmaxminDjminp(xi)d(xi,yj)a0j222i11Dminp(xi)mind(xi,yj)000j22i

因为二元等概信源率失真函数：

DR(D)lnnHa

其中n = 2, 所以率失真函数为：

DDDDR(D)ln2ln1ln1aaaa

123X0P(X)1/41/41/41/4 ，接收符号Y = {0, 1, 2, 3}，其失4.3 一个四元对称信源 

011真矩阵为 1111011101110， 求D并画出其曲线（取4至5 max和Dmin及信源的R(D)函数，

个点）。

解：

11113DmaxminDjminp(xi)d(xi,yj)1110j44444i1111Dminp(xi)mind(xi,yj)00000j4444i

因为n元等概信源率失真函数：

DDDDR(D)lnnlna1ln1an1aa

其中a = 1, n = 4, 所以率失真函数为：

R(D)ln4DlnD1Dln1D3

函数曲线：

R(D)ln4D01/41/23/4

其中：

D0,R(0)ln4nat/symbol1116D,R(D)ln4lnnat/symbol42311D,R(D)ln4ln12nat/symbol223D,R(D)0nat/symbol4

4-3

01d11111011101110

信源熵为 H(x)Log(4)2

3333Dmax =min{4,4,4,4} R(Dmax)=0

Dmin=0R(Dmin)=R(0)=H(X)=log(4)=2

p(y1)p(y2)p(y3)p(y4)只要满足p(y1)+p(y2)+p(y3)+p(y4)=1在[0,1]区间可以任意取值。

5-7 (1)

5-10