期望：

1. 定义：

设离散型随机变量$$X$$的分布律为：$$P{X=x_i}=p_k, k=1,2,...$$，若级数$$\displaystyle\sum_{k=1}^{\infty} x_k p_k$$绝对收敛，则称该级数的和为随机变量$$X$$的数学期望（mean），记为$$E(X)$$。即

$$ E(X)=\displaystyle\sum_{k=1}^{\infty} x_k p_k $$

设连续型随机变量$$X$$的概率密度为$$f(x)$$，若积分$$\textstyle{\Large\int}_{-\infty}^{\infty}xf(x)dx$$绝对收敛，则称该积分的值为随机变量$$X$$的数学期望，记为$$E(x)$$，即

$$ E(x)=\textstyle{\Large\int}_{-\infty}^{\infty}xf(x)dx $$

数学期望简称为期望，又称为均值。

数学期望$$E(x)$$完全由随机变量$$X$$的概率密度所确定，若$$X$$服从某一分布，也称$$E(X)$$是这一分布的数学期望。

2. 期望的性质

• 设$$C$$是常数，则有$$E(C)=C$$
• 设$$X$$是一个随机变量，$$C$$是常数，则有$$E(CX)=CE(X)$$
• 设$$X$$，$$Y$$是两个随机变量，则有$$E(X+Y)=E(x)+E(Y)$$
• 设$$X$$，$$Y$$是相互独立的随机变量，则有$$E(XY)=E(X)E(Y)$$

方差

1. 定义

设$$X$$是一个随机变量，若$$E{[X-E(X)]^2}$$存在，则称其为$$X$$的**方差（variance）**记为$$D(X)$$或$$Var(X)$$，即：

$$ D(X)=Var(X)=E{[X-E(X)]^2} $$

在应用上还引入量$$\sqrt{D(X)}$$，记为$$\sigma(X)$$，称为标准差或均方差。

随机变量$$X$$的方差表达了$$X$$的取值与其数学期望的偏离程度，若$$D(X)$$较小意味着$$X$$的取值比较集中在$$E(X)$$附近；反之若$$D(X)$$较大则意味着$$X$$的取值比较分散。因此$$D(X)$$是刻画$$X$$取值分散度的一个量，它是衡量$$X$$取值分散程度的一个尺度。

对于离散型随机变量，

$$ D(X)=\displaystyle\sum_{k=1}{\infty}[x_k-E(X)]2 p_k $$

其中$$P{X=x_i}=p_k, k=1,2,...$$是$$X$$的分布律

对于连续型的随机变量，

$$ D(X)=\textstyle{\Large\int}_{-\infty}{\infty}[x-E(X)]2f(x)dx $$

其中$$f(x)$$是$$X$$的概率密度。

随机变量$$X$$的方差也可以按照下列公式计算：

$$ D(X)=E(X2)-[E(X)]2 $$

2. 方差的性质

• 设$$C$$是常量，则$$D(C)=0$$
• 设$$X$$是随机变量，$$C$$是常数，则$$D(CX)=C^2D(X)$$，$$D(X+C)=D(X)$$
• 设$$X$$，$$Y$$是随机变量，则有

$$ D(X+Y)=D(X)+D(Y)+2E{[X-E(X)][Y-E(Y)]} $$

特别地，如果$$X$$，$$Y$$相互独立，则有

$$ D(X+Y)=D(X)+D(Y) $$

协方差

1. 定义

量$$E{[X-E(X)][Y-E(Y)]$$称为随机变量$$X$$和$$Y$$的协方差（Covariance）。记为$$Cov(X,Y)$$，即

$$ Cov(X,Y)=E{[X-E(X)][Y-E(Y)] $$

而

$$ \rho_{XY}=\dfrac{Cov(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}} $$

称为随机变量$$X$$与$$Y$$的相关系数。

由定义可知：$$Cov(X,Y)=Cov(Y,X)$$，$$Cov(X,X)=D(X)$$

方差也可以表达成

$$ D(X+Y)=D(X)+D(Y)+2Cov(X,Y) $$

2. 协方差的性质

• $$Cov(aX,bY)=abCov(X,Y)$$，$$a,b$$是常数
• $$Cov(X_1+X_2,Y)=Cov(X_1,Y)+Cov(X_2,Y)$$

3. 相关系数的性质

• $$|\rho_{XY}|\leqslant 1$$
• $$|\rho_{XY}|= 1$$的充要条件是存在常数$$a,b$$使得$$P{Y=a+bX}=1$$，即当$$|\rho_{XY}|= 1$$时，$$X$$，$$Y$$之间以概率1存在着线性关系。
• $$|\rho_{XY}|=0$$时，称$$X$$和$$Y$$不线性相关。

$$\rho_{XY}$$是一个可以用来表征$$X$$，$$Y$$之间线性关系紧密程度的量，当$$|\rho_{XY}|$$较大时，二者的线性相关程度较好，当$$|\rho_{XY}|$$较小时，二者的线性相关程度较差。

4. “不相关”和“相互独立”

$$X$$和$$Y$$不线性相关，并不表示$$X$$和$$Y$$相互独立，二者直接可能存在非线性关系，比如平方的关系。相关是就线性关系来说的。

特殊地，对于服从正态分布的随机变量，$$X$$和$$Y$$不相关和相互独立是等价的。

协方差矩阵

定义

$$n$$维随机变量$$(X_1,X_2,...,X_n)$$，任意二维随机变量的协方差

$$ c_{ij}=Cov(X_i,X_j)=E{[X_i-E(X_i)][X_j-E(X_j)] $$

其中$$i,j=1,2,...,n$$，都存在，则称矩阵：

$$ C=\begin{bmatrix} c_{11} & c_{12} & ... & c_{1n} \ c_{21} & c_{22} & ... & c_{2n} \ \vdots & \vdots & & \vdots \ c_{n1} & c_{n2} & ... & c_{nn} \end{bmatrix} $$

为$$n$$维随机变量的协方差矩阵。由于$$c_{ij}=c_{ji}$$，因此协方差矩阵是一个对称矩阵。