时间序列分析方法第章预测

在本章当中我们讨论预测的一般概念和方法，然后分析利用ARMA(p,q)模型进行预测的问题。 §4.1 预期原理

利用各种条件对某个变量下一个时点或者时间阶段内取值的判断是预测的重要情形。为此，需要了解如何确定预测值和度量预测的精度。

4.1.1 基于条件预期的预测

假设我们可以观察到一组随机变量Xt的样本值，然后利用这些数据预测随机变量Yt1的值。特别地，一个最为简单的情形就是利用Yt的前m个样本值预测Yt1，此时Xt可以描述为：

假设Yt*那么如何度量预测效果呢？通常情况下，我们利用损1|t表示根据Xt对于Yt1做出的预测。失函数来度量预测效果的优劣。假设预测值与真实值之间的偏离作为损失，则简单的二次损失函数可以表示为(该度量也称为预测的均方误差)：

定理4.1 使得预测均方误差达到最小的预测是给定Xt时，对Yt1的条件数学期望，即： 证明：假设基于Xt对Yt1的任意预测值为： 则此预测的均方误差为：

对上式均方误差进行分解，可以得到：

其中交叉项的数学期望为(利用数学期望的叠代法则)： 因此均方误差为：

为了使得均方误差达到最小，则有： 此时最优预测的均方误差为：

2MSE(Yt*1|t)E[Yt1E(Yt1|Xt)] End

我们以后经常使用条件数学期望作为随机变量的预测值。 4.1.2 基于线性投影的预测

由于上述条件数学期望比较难以确定，因此将预测函数的范围限制在线性函数当中，我们考虑下述线性预测：

如此预测的选取是所有预测变量的线性组合，预测的优劣则体现在系数向量的选择上。 定义4.1 如果我们可以求出一个系数向量值，使得预测误差(Yt1Xt)与Xt不相关： 则称预测Xt为Yt1基于Xt的线性投影。

定理4.2 在所有线性预测当中，线性投影预测具有最小的均方误差。 证明：假设gXt是任意一个线性预测，则对应的均方误差可以分解为： 由于Xt是线性投影，则有： 因此均方误差为：

为了使得均方误差达到最小，线性预测满足：

这是一个线性投影。 End 我们将线性投影预测表示为： 或者简化为：

显然线性投影的预测误差仍然不小于条件期望预测，因此有：

ˆ表示含有常数项的线性投当条件中包含常数的时候，此时线性投影当中就含有常数，为此使用E影预测，即：

4.1.3 线性投影的性质

根据线性投影的定义，我们可以求出投影的系数向量： 如果E(XtXt)是可逆的，则有： 命题4.1 线性预测满足下述性质： (1) 最优线性预测的均方误差为： (2) 线性投影满足线性平移性质：

证明：(1) 根据投影向量的表达式，可以得到： 化简就可以得到命题表达式。

ˆ(Y|X)b是aY(2) 需要证明aPt1tt1b的线性投影。显然，它是线性函数，其次，可以证明它

满足正交性质。 End 4.1.4 线性投影和普通最小二乘回归

线性投影与最小二乘估计紧密相关，这两种概念之间存在联系。例如，将yt1基于xt建立线性回归方程，得到：

对于给定yt1和xt的T个样本，样本残差平方和定义为： 使得残差平方和达到最小的系数最小二乘估计为： 如果过程是协方差平稳过程且关于二阶矩是遍历的，则有： 因此上述OLS估计按概率收敛到线性投影系数： 4.1.5 向量预测

上述结果可以推广到利用m1维向量Xt预测n1维向量Yt1，记为： 其中为投影系数的一个nm阶矩阵，满足正交条件：

ˆ)的每一个分量与条件变量X的每一个分量都无关。 上式说明预测误差(Yt1Ytt1|tˆ是Y的最小均方误差线性预测，命题4.2 假设Y则对任意Yt1的线性组合zt1hYt1，它的t1t1|t最小均方误差线性预测为：

证明：只需证明是线性投影即可，这时需要验证相应的正交性。 End 类似地，投影矩阵为： 与此对应的均方误差矩阵为： §4.2 基于无限个观测值的预测

无论是条件期望预测还是正交线性预测，都是基于有限个条件变量的，下面我们分析基于无限个观测值情形下的预测。

4.2.1 基于滞后误差的预测

考察一个无限阶移动平均过程MA()： Yt(L)t，(L)01L2L2，|j|

j0假设已经知道过去所有时间阶段的残差观测值{t,t1,t2,}，也知道模型中各种参数的值。现在我们要预测s个阶段以后的Yts，根据模型它应该是：

对此最优线性预测形式为： 这个预测值的对应误差为： 这个预测值的均方误差为：

例4.1 试求MA(q)过程的最优线性预测。 解：MA(q)过程为：

Yt(L)t，(L)01L2L2则它的最优线性预测为：

qLq

对应的均方误差为：

上述预测具有清楚的含义，在时间间隔q以后，使用过程的均值进行预测，而方差是过程的无条件方差。

4.2.2 基于滞后Y的预测

一般情况下，我们仅仅可以观察到Y的值，为此假设移动平均过程具有可逆表示： 其中：

(L)01L2L2，01，|j|

j0假设上述AR过程与MA过程之间滞后算子多项式的关系： 1. 协方差平稳的AR(p)过程为： 表示成为算子多项式形式： 满足：

(L)(L)，(L)[(L)]1 2. 一个MA(q)过程可以表示成为： 也可以表示成为算子多项式形式： 在可逆性假设条件下，则有： (L)(L)，(L)[(L)]1

如果给出了观测值{Yt,Yt1,}，可以在模型当中构造出残差序列{t,t1,}，例如在AR(1)过程当中：

对于给定系数和{Yt,Yt1,}，由上式可以计算出：

在可逆的MA(1)过程当中，可以得到：

最后，可以得到给定{Yt,Yt1,}条件下的预测公式为： 或者：

1ˆ[Y|Y,Y,](L)Etstt1Ls(L)(Yt)

上述公式也被称为Wiener-Kolmogorov预测公式。上述公式当中的算子是截断形式的算子表达式，算子表达式中将滞后算子的负指数项省略。

4.2.3 预测一个AR(1)过程

对于一个平稳的AR(1)过程，可以将算子多项式表示成为： 利用上述公式，可以得到s阶段后的最优线性预测为：

上述预测公式说明，随着预测阶段的增加，预测值将趋于长期均值。对应的预测误差为：

随着预测阶段的增加，预测误差也趋于无条件方差2/(12)。

4.2.4 预测一个AR(p)过程

对于一个平稳的AR(p)过程，可以利用Wiener-Kolmogorov预测公式进行预测。该公式的主要特点在于：它可以利用过去的过程观测值和未来的残差值表示预测值，然后未来的残差值利用期望去掉。

其中fi(jt)表示矩阵Ft中第i行、第j列元素，矩阵F为：

这时s阶段的最优预测为：

显然上述预测是均值基础上加上观测值的一个线性组合，是观测值的线性函数。 相应的预测误差为：

下面我们给出具体的预测推导过程： (1) 进行1个时期的预测，它满足：

(2) 将时间开始阶段换为t1，得到：

根据多重投影定理断言，如果Yt2的t1期预测是t期信息的投影，则该预测也是t期进行的最优线性预测，则有：

将1期预测代入得到：

(3) AR(p)过程的前s期预测根据叠代可以得到： ˆˆˆˆY(Y)(Y)(Ytj|t1tj1|t2tj2|tptjp|t)，j1,2,,s

其中：

ˆY，t Y|t4.2.5 预测一个MA(1)过程

继续考察一个MA(1)过程，可以利用滞后算子表示为： Yt(1L)t，||1

利用Wiener-Kolmogorov预测公式进行预测，得到： 向前预测1期时有： 则预测值为：

当预测步长超过1时： 则预测值为：

4.2.6 预测一个MA(q)过程 继续考察一个可逆的MA(q)过程：

利用Wiener-Kolmogorov预测公式进行预测，得到： 其中：

对于比较近期的预测(s1,2,,q)有： ˆt可以利用下述递推表示： 其中对于比较远期的预测(sq)比较简单： 4.2.7 预测一个ARMA(1,1)过程

ARMA(1,1)过程可以表示为：

假设该过程是平稳的(||1)和可逆的(||1)，则： 其中：

代入到预测公式中：

注意到对于任意s1，预测值满足递推公式：

这意味着预测值按照几何方式以速度收敛到无条件均值。前1期预测由下式给出： 上式可以等价地表示为： 其中：

或者：

4.2.8 预测一个ARMA(p,q)过程

综合上述各种预测情形，我们可以得到预测平稳ARMA(p,q)过程的方法。ARMA(p,q)过程可以表示为：

最优线性预测方程可以表示为： ˆt可以利用下述递推表示： 其中前s期预测为： 其中： ˆY|t1Y，t

§4.2 基于无限个观测值的预测

下面我们假设已知模型的参数，但是只获得了有限样本{Yt,Yt1,,Ytm1}情形下的预测问题。 4.3.1 最优预测的近似

基于有限个观察值的预测方法是假设样本之前的残差都为零，这是因为有下面的近似公式存在：

4.3.2 有限样本情形下的精确预测

利用线性投影可以得到有限样本情形下的精确预测： §4.7 ARMA(1)过程之和

下面我们考虑两个ARMA过程相加所得到的时间序列性质。 4.7.1 MA(1)过程与白噪声之和

假设一个序列是零均值的ARMA(1)过程： 其中ut是白噪声序列，满足： 此时Xt过程自协方差函数为：

假设随机过程vt是另外一个白噪声过程，满足：

假设两个白噪声序列之间在任何时点都是不相关的，也即有： E(utvs)0，s,t 这是也有：

E(Xtvs)0，s,t

目前的问题是，如何观测到一个序列Yt是上述移动平均过程和白噪声过程的和，那么这个和过程的性质如何？

显然，上述过程仍然具有零均值，它的自协方差函数可以表示为：

由此可见，随机过程Yt也是平稳过程，它的自协方差函数与MA(1)过程是类似的。此时，我们设想是否有一个MA(1)过程： 其中白噪声满足：

它具有与和过程一致的自协方差函数？

如何是这样，则要求白噪声的方差满足：

2,2，满足上述要求的值为： 对于给定的参数：,uv20，则上式变为： 在特殊情形下，如果v对于其他情形，可以分析具有相同自协方差函数的自回归系数的要求。 4.7.2 两个移动平均过程之和

假设Xt是MA(q1)过程，Yt是MA(q2)过程，并且两个过程的残差在任何时点都不相关，则可以证明，他们的和过程满足过程MA(max(p,q))。

4.7.2 两个自回归过程之和

假设随机过程Xt和Wt是两个AR(1)过程，满足：

其中ut和vt是两个在任何时点上都不相关的白噪声序列。假设我们可以观察到 并且想利用{Ys,st}来对Yt1进行预测。

为此，我们需要分析时间序列的结构。在特殊情形下，如果一旦自回归系数相同，或，则直接得到YtXtWt的自回归表示：

如果，则有： 可以等价地表示为： 对应的要求为： 因此可以知道：

更为一般地，对于两个残差序列不相关的自回归过程而言： 它们相加可以得到一个ARMA(p1p2,max{p1,p2})过程：

(L)(L)(L)，(L)t(L)ut(L)vt

§4.8 Wold分解和Box-Jenkins建模思想

平稳时间序列具有类似的性质，那么如果表示平稳时间序列的一般结构呢？Wold分解定理给出了一般的结论。

4.8.1 Wold分解

定理4.3 (Wold分解定理) 任何零均值协方差平稳过程Yt可以表示成为如下形式： 其中：01，2j，t是利用(Ytj,j1)预测Yt时产生的误差：

j0对于任意j，t与tj不相关，并且t也可以利用利用(Ytj,j1)进行预测：

t称为过程Yt的线性确定性成分，而jtj称为过程Yt的线性非确定性成分。如果t0，

j0则称该过程是纯线性不确定性的。

4.8.2 Box-Jenkins建模思想

任何时间序列数据都有自己的生成机制，但是如何揭示和描述时间序列的数据生成机制呢？这需要利用时间序列模型对数据生成机制进行逼近或者近似，这就需要寻求建立时间序列模型的基本过程。

(1) 建立模型一个基本出发点是，所采用的模型越节俭越好，所要估计的参数越多，模型出现错误的可能性就越大。

(2) 即使一个复杂的模型描述和模拟历史数据的能力很好，但是有时进行预测时的误差却很大。以前大型经济计量模型的失败则说明了这一点。

Box-Jenkins提出并倡导的预测方法主要步骤为：

(1) 如果有必要，可以对数据进行变化，使得数据的协方差平稳性变得更为合理。

(2) 对于描述平稳性数据的ARMA(p,q)模型的阶数做出一个初始的数值比较小的猜测。 (3) 估计自回归和移动平均算子多项式中的系数。

(4) 对模型进行诊断分析以确定所得到的模型确实与观测到的数据具有类似的特征。

其中数据变化主要根据经济时间序列的特征，对数序列的差分是非常常用的变换方法。时间序列模型的估计与诊断是后面讨论的主要内容。

4.8.3 样本自相关函数

为了确定模型的阶数，我们首先讨论自相关函数的估计问题。一般情况下可以利用样本的矩估计进行：

ˆj1T1T，，(yy)(yy)yj0,1,2,,T1tyt tjTtj1Tt1根据MA(q)和AR(p)过程的性质，我们可以根据上述样本自协方差函数收敛到零的性质，区分出两类过程。

ˆj近似为： 如果数据由一个高斯MA(q)过程生成，则估计的方差q112i2，jq1,q2, Ti1ˆj应该在95%的时特别地，如果认为该数据是由高斯白噪声数据生成的，则对于任意的j0，ˆj)Var(ˆj的渐近分布为N(0,1/T)，而标准正态分布的5%临界值为1.96。 间内落在2T之间。这是因为4.8.4 偏自相关函数

为了识别自回归过程的阶数，一个有用的度量方法是采用偏自相关函数。第m阶偏自相关系数(表

(m)示为m)定义为Yt1关于它的最近m个值的线性投影的最后一个系数：

(m)(m),,m]可以利用下述方程计算： 其中向量(m)[1(m),2上述命题将线性投影的系数与AR(p)过程的自协方差联系起来，这是一个需要证明的重要命题。如果数据满足AR(p)过程，则只有最近的p个Y值用于预测，因此当阶数大于p以后，投影系数：

(m)m0，mp1,p2,

如果数据满足MA(q)过程，则上述偏自相关系数是渐近趋于零而非中断性的。

一种比较自然的偏自相关函数估计方法是利用线性回归进行，即利用普通最小二乘估计获得： 如果数据是由AR(p)过程生成的，那么偏自相关函数的方差可以表示为：

1(m)ˆmVar()，mp1,p2,

Tˆi(i)与ˆ(jj)是渐近独立的。 在假设检验时，可以知道当i,jp时，例4.1 中国实际GDP数据的时间序列模型

我们可以类似地说明如何利用ARMA模型处理中国经济的实例。