平稳金融时间序列：ARMA 模型

1. MA(q) 模型与滞后多项式#

移动平均过程（Moving-average Process, MA）：当前随机变量由常数均值和当期及有限个过去白噪声创新的线性组合构成的时间序列过程；最高非零创新滞后阶数称为移动平均阶数。

设 $\{\varepsilon_t\}$ 为均值为 0、方差为 $\sigma_\varepsilon^2$ 的白噪声过程。$q$ 阶移动平均过程（Moving-average Process of Order $q$, MA(q)） 写为：

令 $\theta_0:=1$，定义 MA 滞后多项式：

则模型可写为：

有限阶 MA 过程只含有限个有限方差白噪声项，因此对任意有限的 $\theta_1,\ldots,\theta_q$ 都是弱平稳过程。系数大小不决定 MA(q) 是否平稳；系数根的位置决定的是可逆性。

2. MA(1) 的总体矩与自相关#

一阶移动平均过程（First-order Moving-average Process, MA(1)）：最高非零创新滞后阶数为 1 的移动平均过程：

由于创新均值为 0：

中心化后有：

利用不同时点白噪声互不相关，可得无条件方差：

一阶自协方差为：

当 $|k|>1$ 时，$Y_t-\mu$ 与 $Y_{t-k}-\mu$ 不再含共同创新项，因此：

相应理论 ACF 为：

因此 MA(1) 的理论 ACF 在第 1 阶后严格截尾。并且：

$\theta_1$ 与 $1/\theta_1$ 给出相同的一阶自相关系数。例如 $\theta_1=0.5$ 与 $\theta_1=2$ 都对应 $\rho_1=0.4$。仅凭 ACF 无法在这两个参数分支之间作唯一选择。

图 4-1 直接绘制 $\rho_1(\theta_1)=\theta_1/(1+\theta_1^2)$。曲线在 $\theta_1=1$ 与 $\theta_1=-1$ 分别达到 $0.5$ 与 $-0.5$；可逆性把规范参数限制在 $|\theta_1|<1$ 的分支，从而排除具有相同 ACF 的非可逆表示。

3. MA(q) 的自协方差与 ACF 截尾#

对一般 MA(q)，令 $\theta_0=1$。当 $0\leq k\leq q$ 时，$Y_t-\mu$ 与 $Y_{t-k}-\mu$ 共同包含的创新项决定自协方差：

特别地：

当 $k>q$ 时，两期变量不再共享任何创新项：

由 $\theta_q\neq0$ 可知：

因此最小阶数为 $q$ 的 MA(q) 理论 ACF 恰好在第 $q$ 阶后截尾。这个有限记忆结构是 MA 模型最重要的二阶矩识别特征。

例如 MA(2)：

其前三个非重复自协方差为：

且 $\gamma_k=0$ 对全部 $k>2$ 成立。

1. 可逆性与根条件#

可逆性（Invertibility）：时间序列的创新可以由当前及过去观测值构成的收敛线性滤波唯一恢复的性质。对中心化 MA(q)：

若 $\Theta(L)$ 存在收敛逆算子，则：

MA(q) 的标准可逆条件是 MA 多项式：

的全部零点位于单位圆外：

可逆性不决定有限阶 MA 过程是否平稳。MA(q) 在有限方差白噪声条件下本身已经弱平稳；可逆条件用于保证创新表示具有规范性，并使过去创新能够由观测历史恢复。

2. MA(1) 的逆表示#

MA(1) 的中心化形式为：

其 MA 多项式唯一零点为：

因此可逆条件为：

在该条件下，逆算子可展开为几何级数：

从而：

这等价于把可逆 MA(1) 写成收敛的 $AR(\infty)$ 表示。$|\theta_1|\geq1$ 时，上述系数不再按几何速度衰减，不能得到这一稳定的单边逆表示。

1. ARMA(p,q) 模型与滞后多项式#

自回归移动平均过程（Autoregressive Moving-average Process, ARMA）：当前随机变量同时由自身有限个滞后值以及当期和有限个过去创新线性决定的时间序列过程。

$ARMA(p,q)$ 过程的中心化形式为：

其中 AR 多项式与 MA 多项式分别定义为：

展开后：

若采用含常数项的非中心化形式：

则平稳过程的无条件均值满足：

AR(p) 与 MA(q) 分别是 ARMA 的特殊情形：

2. 因果平稳性、可逆性与最小阶数#

对 ARMA(p,q)，因果平稳性由 AR 多项式决定。若：

的全部零点满足：

则在有限方差白噪声条件下存在唯一的因果弱平稳解。

可逆性由 MA 多项式决定。若：

的全部零点也满足 $|z_j|>1$，则创新可以由当前及过去的 $Y_t$ 收敛恢复。

最小 ARMA 表示（Minimal ARMA Representation）：AR 多项式 $\Phi(z)$ 与 MA 多项式 $\Theta(z)$ 没有共同零点、因而不存在可约去公共因子的 ARMA 表示。若二者存在共同因子，模型可降为更低的 $p$ 或 $q$，原阶数不是唯一的最小描述。

因此一个规范的平稳可逆 ARMA 模型通常同时检查：

• AR 零点全部位于单位圆外，保证因果平稳性。
• MA 零点全部位于单位圆外，保证可逆性。
• AR 与 MA 多项式没有共同零点，保证表示为最小阶数。

AR 多项式出现单位根意味着当前平稳 ARMA 设定失效；仅由“存在单位根”不能直接确定差分阶数 $d$，差分与 ARIMA 的正式定义需要进一步分析序列的非平稳结构。

3. MA(∞) 与 AR(∞) 表示#

在因果平稳条件下，$\Phi(L)$ 存在收敛的单边逆算子，因此：

其中：

于是：

$\psi_j$ 表示一次单位创新在 $j$ 期后对变量留下的边际影响，因此同时给出线性 ARMA 模型的冲击响应系数。因果平稳条件保证这些远期冲击权重充分衰减。

在可逆条件下还可反向写为：

其中 $\Pi(L)$ 为收敛的无限阶滞后多项式。因果性解决“观测值如何由过去创新生成”，可逆性解决“创新如何由观测历史恢复”。

4. ARMA(p,q) 的高阶自相关递推#

令 $X_t:=Y_t-\mu$。对平稳 ARMA(p,q)，当滞后阶数 $k>q$ 时，$X_{t-k}$ 与 $\varepsilon_t,\varepsilon_{t-1},\ldots,\varepsilon_{t-q}$ 均正交，因此自协方差满足 $\gamma_k=\phi_1\gamma_{k-1}+\cdots+\phi_p\gamma_{k-p}$，相应自相关满足 $\rho_k=\phi_1\rho_{k-1}+\cdots+\phi_p\rho_{k-p}$。

MA 部分主要改变前若干阶自相关的起始条件；超过 $q$ 阶后，ACF 按 AR 部分对应的齐次递推继续传播。平稳条件下，这一递推产生指数衰减或阻尼振荡等拖尾形态。

5. ARMA(1,1) 的理论 ACF#

考虑中心化 ARMA(1,1)：

平稳因果条件为 $|\phi|<1$，可逆条件为 $|\theta|<1$；若 $\theta=-\phi$，AR 与 MA 多项式存在公共因子，模型可约简，因此最小的 ARMA(1,1) 还要求 $\theta\neq-\phi$。

其无条件方差为：

一阶自相关为：

从第 2 阶起，自协方差不再直接包含 MA 创新交叉项，因此：

等价地：

因此 ARMA(1,1) 的 ACF 不在有限阶后截尾，而是在第 1 阶由 $\phi$ 与 $\theta$ 共同决定起点，随后按 AR 系数 $\phi$ 的速度衰减。MA 项主要改变低阶相关结构，AR 项决定高阶相关的递推衰减率。

1. AR、MA 与 ARMA 的理论识别特征#

第三章定义的 ACF 与 PACF 可以用于比较 AR、MA 与 ARMA 的理论二阶依赖结构。对最小阶数且不存在特殊参数退化的模型，典型识别关系为：

MA(q) 的 ACF 截尾来自“相隔超过 $q$ 期后不再共享创新”；可逆 MA(q) 的 PACF 对应无限阶 AR 表示，因此通常拖尾。AR(p) 的结论相反：其 PACF 在 $p$ 阶后截尾，而 ACF 满足 AR 递推并逐渐衰减。ARMA 同时具有有限 AR 与 MA 部分，一般两种相关函数都拖尾。

图 4-2 使用三个满足相应平稳或可逆条件的理论模型。AR(2) 的 PACF 在第 2 阶后为 0；MA(2) 的 ACF 在第 2 阶后为 0；ARMA(1,1) 的 ACF 与 PACF 均持续衰减。所有柱线均在整数滞后上由模型公式直接计算。

2. 样本 ACF 与样本 PACF#

设平稳序列观测样本为 $y_1,\ldots,y_T$，样本均值为：

常用的 $k$ 阶样本自协方差定义为：

相应的**样本自相关函数（Sample Autocorrelation Function, SACF）**为：

样本偏自相关函数（Sample Partial Autocorrelation Function, SPACF）：利用有限样本估计总体第 $k$ 阶偏自相关系数的统计量；可通过第 $k$ 阶线性投影中最后一个滞后系数，或由样本 ACF 使用 Durbin–Levinson 递推得到，记为 $\hat\alpha_k$。

在白噪声近似且样本量较大时，常用：

作为单个非零滞后样本自相关的近似 95% 参考界限。该界限用于快速识别单个滞后是否异常，不是对前 $m$ 阶自相关同时为 0 的联合检验；联合判断应使用端口曼托检验等统计方法。

1. Ljung–Box Q 检验#

Ljung–Box Q 检验（Ljung–Box Portmanteau Test）：联合检验时间序列或模型残差从第 1 阶到第 $m$ 阶自相关是否同时为 0 的端口曼托检验。

原假设为：

备择假设为前 $m$ 阶中至少一个自相关系数不为 0。统计量为：

其中 $T$ 为有效样本量，$m$ 为联合检验的最大滞后阶数，$\hat\rho_k$ 为待检验序列的第 $k$ 阶样本自相关。

对直接检验白噪声序列的情形，在常见正则条件和大样本下可用 $\chi_m^2$ 近似其原假设分布。若检验已经估计的 ARMA(p,q) 模型残差，常用自由度调整为：

并要求 $m>p+q$。不同软件对估计参数和自由度修正的具体口径可能不同，报告结果时应保持统计量、滞后数和自由度定义一致。

若 p 值较小，则拒绝“前 $m$ 阶均无自相关”的原假设，说明模型残差仍保留线性时序结构。未拒绝原假设只表示没有发现给定滞后范围内的显著线性相关，不证明残差相互独立，也不排除条件异方差等非线性依赖。

2. Breusch–Godfrey LM 检验#

Breusch–Godfrey 序列相关 LM 检验（Breusch–Godfrey Serial Correlation LM Test, BG-LM）：通过残差对原回归变量和自身多个滞后项的辅助回归，联合检验回归误差是否存在指定最高阶数以内的序列相关。

设原回归模型为：

得到残差 $\hat u_t$ 后，建立最高阶数为 $m$ 的辅助回归：

原假设为：

若辅助回归使用 $N$ 个有效观测，则大样本 LM 统计量为：

在原假设下渐近服从：

BG-LM 可以同时检验多个滞后阶数，并允许原模型包含被解释变量的滞后项，因此比经典 Durbin–Watson 检验适用于更一般的动态回归误差诊断。

3. Durbin–Watson 检验及其边界#

Durbin–Watson 统计量（Durbin–Watson Statistic, DW）：利用相邻 OLS 残差差分平方和与残差平方和之比，诊断经典线性回归误差一阶序列相关的统计量：

忽略端点项并在残差平方和相近的条件下，有近似关系：

其中 $\hat\rho_1$ 为残差的一阶样本自相关。因此 $d\approx2$ 与较弱的一阶残差自相关相对应，$d<2$ 倾向于正一阶相关，$d>2$ 倾向于负一阶相关。

经典 DW 检验只针对特定线性回归设定中的一阶序列相关，其临界值存在上下界与不可判定区，并且在模型包含被解释变量滞后项等动态设定下不能直接沿用传统判别表。ARMA 建模中的多阶残差诊断通常优先使用 Ljung–Box；一般动态回归误差检验可使用 BG-LM。

1. ARMA 模型确定流程#

对平稳序列选择 ARMA(p,q) 时，模型形式与阶数应由理论相关结构、简约性和拟合后诊断共同确定。一个可复现的基本流程为：

1. 确认建模对象平稳：均值、方差和动态依赖必须与平稳 ARMA 设定相容；若存在趋势、单位根或结构变化，应先处理相应非平稳结构。
2. 提出候选阶数：根据样本 ACF/PACF 的截尾、拖尾和主要显著滞后，提出少量低阶 AR、MA 或 ARMA 候选模型。
3. 估计并检查参数约束：检查 AR 根、MA 根和公共因子，排除非因果、非可逆或非最小表示。
4. 比较信息准则：在相同数据区间、相同似然口径下比较 AIC、BIC 等指标，避免用增加大量参数换取机械的样本内拟合改善。
5. 诊断残差：检查残差 ACF/PACF 与 Ljung–Box 等联合检验；若仍有显著线性相关，应重新考虑阶数或模型形式。

ACF/PACF 决定候选集合，信息准则在候选模型间权衡拟合与复杂度，残差诊断检查最终模型是否仍遗漏可预测的线性动态。这三类证据不能互相替代。

2. AIC、BIC 与自上而下删阶#

赤池信息准则（Akaike Information Criterion, AIC）：用最大化对数似然与参数数量惩罚共同评价候选统计模型的相对准则：

贝叶斯信息准则（Bayesian Information Criterion, BIC）：在对数似然基础上使用随样本量增加而增强的参数惩罚项：

其中：

• $\hat\ell$：候选模型在统一似然口径下的最大化对数似然。
• $K$：计入准则的自由参数数量。
• $T$：用于比较的有效样本量。

在同一数据与同一准则定义下，AIC 或 BIC 越小表示该准则下的拟合—复杂度权衡越优。BIC 的单参数惩罚为 $\ln T$，当 $T>e^2$ 时强于 AIC 的固定惩罚 2，因此样本量较大时通常更偏向低阶模型。

某些软件报告按观测值标准化或加上共同常数后的 AIC/BIC，数值水平可能不同；只要候选模型使用相同口径，共同常数不改变模型排序。

对纯 AR 模型还可使用自上而下删阶（General-to-specific Lag Reduction）：从预先设定的最大阶数 $p_{\max}$ 开始，检验最高阶滞后系数；若不显著则删除该项并重新估计，直到最高保留阶数满足预设准则。该方法依赖逐步显著性检验，容易受起始最大阶数和重复检验影响，宜与信息准则和残差诊断共同使用。

3. AR 与 ARMA 的估计差异#

纯 AR(p) 模型：

在创新对过去信息条件均值为 0、相应矩条件成立时，可把滞后 $Y$ 作为回归变量进行条件 OLS 估计。

MA(q) 与 ARMA(p,q) 的方程包含未直接观测的过去创新：

这些创新不是样本中预先给定的解释变量，因此不能把理论 ARMA 方程直接当作普通线性回归并用观测到的“真实误差项”做 OLS。常用估计方法包括条件平方和与基于创新递推的最大似然；若进一步假定高斯创新，可以构造高斯条件或精确似然。

估计得到的**残差（Residual）**是创新的样本估计，不等同于不可观测的总体创新。模型诊断应使用残差检查其是否仍保留可系统预测的线性结构。

4. 例：ARMA(1,1) 的动态表示与相关结构#

考虑：

其多项式为：

AR 零点与 MA 零点分别为：

两者均位于单位圆外且不相同，因此模型同时满足因果平稳、可逆和最小表示条件。

其 MA($\infty$) 滤波器为：

因此一次单位创新的前四期响应系数为：

一阶理论自相关为：

随后：

冲击响应系数 $\psi_h$ 与自相关系数 $\rho_h$ 都会衰减，但含义不同：$\psi_h$ 衡量一次创新对未来变量的边际影响，$\rho_h$ 衡量同一平稳过程相隔 $h$ 期的线性相关程度，二者不能互换。

5. 拟合后的残差审核#

一个候选 ARMA 模型估计完成后，至少应检查以下项目：

• 参数约束：AR 多项式满足因果平稳条件，MA 多项式满足可逆条件，且不存在可约去的公共因子。
• 参数不确定性：报告系数估计及其标准误或置信区间，不只根据点估计解释动态强弱。
• 残差相关图：残差 ACF/PACF 不应继续呈现系统性的低阶结构。
• 联合白噪声诊断：对若干具有实际意义的滞后阶数执行 Ljung–Box 检验，并使用与已估计 ARMA 阶数一致的自由度口径。
• 模型比较：AIC/BIC 只在同一有效样本和同一估计口径下横向比较。

残差在均值方程上近似白噪声只说明线性条件均值结构已经得到较充分提取，不表示残差独立同分布，也不排除波动聚集、厚尾或其他高阶依赖。