高斯过程

定义

一统计学分布定义为{Xₜ, t∈T}是一个高斯过程，当且仅当对下标集合T的任意有限子集t₁,...,tₖ，
Xₜ₁,...,tₖ=(Xₜ₁,...,Xₜₖ)
是一个多元正态分布，这等同于说(Xₜ₁,...,Xₜₖ)的任一线性组合是一单变量正态分布。更准确地，取样函数Xₜ 的任一线性泛函均会得出正态分布。可以写成X ~ GP(m,K)，即随机函数X 以高斯过程（GP）方式分布，且其平均数函数为m 及其协方差函数为K。当输入向量t为二维或多维时，高斯过程亦可能被称为高斯场。
有些人 假设随机变量 Xₜ 平均为0；其可以在不失一般性的前提下简化运算，且高斯过程的均方属性可完全由协方差函数K得出。

协方差函数

高斯过程的关键事实是它们可以完全由它们的二阶统计量来定义.因此，如果高斯过程被假定为具有平均值零, defining 协方差函数完全定义了过程的行为。重要的是，这个函数的非负定性使得它的谱分解使用了K-L转换. 
可以通过协方差函数定义的基本方面是过程的平稳过程, 各向同性, 光滑函数 和 周期函数。
平稳过程指的是过程的任何两点x和x'的分离行为。如果过程是静止的，取决于它们的分离x-x'，而如果非平稳则取决于x和x'的实际位置。例如，一个特例Ornstein–Uhlenbeck 过程, 一个 布朗运动 过程，是固定的。
如果过程仅依赖于| x  -  x'|，x和x'之间的欧几里德距离（不是方向），那么这个过程被认为是各向同性的。同时存在静止和各向同性的过程被认为是同质与异质;在实践中，这些属性反映了在给定观察者位置的过程的行为中的差异（或者更确切地说，缺乏这些差异）。
最终高斯过程翻译为功能先验，这些先验的平滑性可以由协方差函数引起。如果我们预期对于“接近”的输入点x和x'，其相应的输出点y和y'也是“接近”，则存在连续性的假设。如果我们希望允许显著的位移，那么我们可以选择一个更粗糙的协方差函数。行为的极端例子是Ornstein-Uhlenbeck协方差函数和前者不可微分和后者无限可微的平方指数。
周期性是指在过程的行为中引发周期性模式。形式上，这是通过将输入x映射到二维向量u（x）=（cos（x），sin（x））来实现的。