最基本的信源是单个消息(符号)信源,它可以用随机变量X及其概率分布P来表示。通常写成(X,P)。根据信源输出的随机变量的取值集合,信源可以分为离散信源和连续信源两类。对于离散信源
式中X为随机变量,其取值集合为A={x1,x2,…,xn},X取xi的概率为Pi。例如当时,二进制数据信源可表示为对于连续信源式中随机变量X取值于区间(ɑ,b),对应的概率密度为p(x)。
实际信源是由最基本的单个消息信源组合而成的。离散时,它是由一系列消息串组成的随机序列X1,X2,…,Xj,…,XL来表示。电报、数据、数字等信源均属此类。连续时,它是由连续消息所组成的随机过程Xt来表示。语声、图像等信源属于这类。对于离散随机序列信源,消息序列X的取值集合为AL,概率分布为PX(),记为(X,PX())。
离散序列信源又分为无记忆和有记忆两类。当序列信源中的各个消息相互统计独立时,称信源为离散无记忆信源。若同时具有相同的分布,则称信源为离散平稳无记忆信源。例如最简单的(设L=3)脉冲编码信源,当P0 = P1 = 1 / 2时,
当序列信源中各个消息前后有关联时,称信源为离散有记忆信源。描述它一般比较困难,尤其当记忆长度很大时。但在很多实际问题中仅须考虑有限记忆长度,特别是当信源系列中的任一消息仅与其前面的一个消息有关联,数学上称它为一阶马尔科夫链。在马尔科夫链中,若其转移概率与所在位置无关,则称为齐次马尔科夫链。若同时还满足当转移步数充分大时与起始状态无关,则称它为齐次遍历马尔科夫链。例如数字图像信源常采用这一模型。
连续的随机过程信源,一般很复杂且很难统一描述。但在实际问题中往往可采用以下两类方法。最常见的处理方法是将连续的随机过程信源在一定的条件下转化为离散的随机序列信源;另一种方法则是把连续的随机过程信源按易于分析的已知连续过程信源处理。实际上,绝大多数连续随机过程信源都近似地满足限时(T)、限频(F)的条件。这时,连续的随机过程可以转化为有限项傅里叶级数或抽样函数的随机序列,而抽样函数表达式尤为常用。但这两种方式在一般情况下其转化后的离散随机序列是相关的,即信源是有记忆的。这给进一步分析带来一定的困难。另外一种是将连续随机过程展开成相互线性无关的随机变量序列,这种展开称为卡休宁-勒维展开。由于实现困难,这种展开除具有一定理论价值外,实际上很少被采用。直接按随机过程来处理信源受到分析方法的限制,人们还主要限于研究平稳遍历信源和简单的马尔科夫信源。
上述信源都是单一信源,又称为单用户信源。70年代以来又进一步引入多个相互不独立或相关的信源,称为多用户信源,其目的是研究多用户信源编码,以进一步压缩信源的信息率或达到某些其他目的。