实验一、离散信源的熵与离散信道的容量

信息学院 10电子A 班级 第 组 姓名 同组成员 实验名称 实验设备 实验目的 实验一、离散信源的熵与离散信道的容量 （1）计算机 （2）所用软件：Matlab或C 掌握信源的熵、信道容量的物理意义，概念；熟练掌握离散信源熵、离散信道容量的计算方法步骤；利用Matlab编写离散信源熵、离散信道容量的计算程序；验证程序的正确性。 （1）根据熵，信道容量计算的方法步骤，用Matlab编写离散信源熵、离散信道容量的计算程序； （2）用习题2.16和例3.6验证程序的正确性。 实验内容 实 验 报 告 要 求 1、 简要总结信源的熵、信道容量的物理意义，概念； 2、 写出离散信源熵、离散信道容量计算的基本步骤，画出实现离散信源熵、离散信道容量计算的程序流程图； 3、 实现离散信源熵、离散信道容量计算的Matlab源程序； 4、 讨论信源的熵的大小与前后符号之间相关性的关系，讨论信道容量与信源先验概率及信道转移概率的关系。 5、实验报告在实验后一周内交给老师，报告单一律用16开大小的纸写，以此单为封面，装订成册。 完成时间：2012 年 12 月 22 日

1、简要总结信源的熵、信道容量的物理意义，概念。

信源熵的物理意义是指信源中的各个符号的平均不确定性；熵是信源符号的平均信息量，是信源符号的平均不确定度。

信道容量 概念：在信道可以传输的基本前提下，对信源的一切可能的概率分布而言，信道能够传输的最大（接收）熵速率称为信道容量。

意义：求出了某个信道的信道容量，也就找到了信源的最佳概率分布。从而指导人们改造信源，使之最大可能地利用信道的传输能力。

2、写出离散信源熵、离散信道容量计算的基本步骤，画出实现离散信源熵、离散信道容量计算的程序流程图；

离散信源熵的计算步骤：

q1HrXElogrpailograi

p(ai)i1信道容量的计算步骤：CIX;Ybit/符号 maxPX 输入p(xi)p(0)(xi) p(yj/xi) aiexpp(yj/xi)lnjp(x)p(y/x)iji i p(xi)ai p(xi)C1n1,nlnp(xi)aip(xi)ai ii C2n1,nlnmaxaii 否 C1n1,nC2n1,n 是 CC1n1,n 结束 3、实现离散信源熵、离散信道容量计算的Matlab源程序； 实验程序：

1）计算信源熵： 新建M文件： function[h]=H(x) h=-log2(x)*x'; 保存为H.m

之后在命令窗口输入H(x)； 2）计算信道容量（对称信道）： function[c]=C(p) a=0;

s=length(p);

for i=1:s,a=a+p(1,i)*log2(p(1,i)); end

c=log2(s)+a; 保存为C.m

之后在命令窗口输入C(p) 习题2.16实验程序:

clear all; %清除所有变量

Px=[0.7 0.3];P=0; %输入信源概率，Px=p(x) Hx=-Px*log2(Px') %计算信源的熵 H(X) Pyx=[0.9 0.2;0.1 0.8];px=[0.7 0.3;0.7 0.3]; %Pyx为条件概率p(y/x)

Pxy=Pyx.*px; %计算联合概率p(xy) for i=1:2

hxx(i,1)=-Pxy(i,:)*log2(Pxy(i,:)');

P=P+hxx(i,1); %计算H(X^2) end

h2x=P/2 %计算H2(X) 习题3.6实验程序：

clear all; %清除所有变量 a=0;

p=[2/3 1/3;1/3 2/3]; %信道矩阵P for i=1:2,a=a+p(1,i)*log2(p(1,i));end

C=log2(2)+a %计算对称离散信道的信道容量C for i=1:2,p1(i)=1/2;end

p1 %最佳输入概率分布

4、讨论信源的熵的大小与前后符号之间相关性的关系，讨论信道容量与信源先验概率及信道转移概率的关系。

信源的相关性是信源符号间的依赖程度的度量。由于信源输出符号间的依赖关系也就是 信源的相关性使信源的实际熵减小。信源输出符号间统计约束关系越长，信源的实际熵越小。当信源输出符号间彼此不存在依赖关系且为等概率分布时，信源的实际熵等于最大熵。

信道容量与信源先验概率及信道转移概率的关系。

信道容量是信道的一个参数，反映了信道所能传输的最大信息量，其大小与信源无关。对不同的输入概率分布，互信息一定存在最大值。我们将这个最大值定义为信道的容量。一但转移概率矩阵确定以后，信道容量也完全确定了。尽管

信道容量的定义涉及到输入概率分布，但信道容量的数值与输入概率分布无关。我们将不同的输入概率分布称为试验信源，对不同的试验信源，互信息也不同。其中必有一个试验信源使互信息达到最大。这个最大值就是信道容量。