概率分布 （probability distribution）：描述随机变量或一簇随机变量在每一个可能取到的状态的可能性大小。描述概率分布的方式取决于随机变量是离散的还是连续的。

离散型变量和概率质量函数

离散型变量的概率分布用概率质量函数（probability mass function，PMF），通常用大写字母P表示。概率质量函数将随机变量能够取得的每个状态映射到随机变量取得该状态的概率。

联合概率分布 （joint probability distribution）：概率质量函数可以同时作用于多个随机变量。P(x=x,y=y)表示x=x和y=y同时发生的概率，也可以简写为P(x,y)。

函数P是随机变量x的概率质量函数，必须满足下面几个条件：

• P的定义域必须是x所有可能状态的集合。

• 不可能发生的事件概率为0，并且不存在比这概率更低的状态。类似地，能够确保一定发生的事件概率为1，而且不存在比这概率更高的状态。

• 归一化（normalized）性质，防止得到大于1的概率。

连续型变量和概率密度函数

当研究的对象是连续型随机变量时，用概率密度函数（probability density function，PDF） 描述其概率分布。

函数P是概率密度函数，必须满足下面几个条件：

• p的定义域必须是x所有可能状态的集合。
• 注意，并不要求p(x)≤1。
•