🏂Modern Prob
🥕 Expectation
⛺什么是期望?
首先,我们假设有一个随机变量 X,它是在概率空间 (Ω,F,P) 上定义的。简单来说,这意味着 X 在某种“世界”中随机地取值,而我们希望了解它的“平均值”或“期望”,也就是 E(X)。在这个世界中,Ω 是所有可能发生的情况的集合(称为样本空间),F 是这些事件的集合,P 是每个事件发生的概率。
我们可以将期望 E(X) 想象成这样一个问题:假设你每次从一个袋子中随机取一个数 X,那么你取到的数的平均值会是多少呢?这就是我们要用 Lebesgue-Stieltjes 积分来计算的。
公式:
E(X):=∫ΩXdP
这个积分表示了我们在所有可能的情况(样本空间 Ω)中,对 X 进行加权平均,而加权的方式由概率 P 来决定。
Step 1: 简单随机变量的期望
假设 X 是一个简单的随机变量,这意味着它可以被分解成一些常数和指示函数的加和形式:
X=k=1∑∞ak1Ak
这里,ak 是一些常数,1Ak 是事件 Ak 是否发生的“指示函数”(它在 Ak 上为 1,其他地方为 0)。举个例子,如果 X 表示抛一枚硬币的结果,那么 X 可能取值为 0(表示反面)或 1(表示正面)。我们可以将 X 表示成 X=1⋅1{正面}+0⋅1{反面}。
对于这样的简单变量,期望可以定义为:
E(X)=k=1∑∞akP(Ak)
这相当于我们在每种可能的结果上取它的值 ak 并乘以其发生的概率 P(Ak)。
Step 2: 一般非负随机变量的期望
如果 X≥0 是一个一般的随机变量,我们可以将它“分层”表示成一系列简单随机变量 Xn 的极限,其中:
Xn:=k=1∑∞2nk−11(2nk−1<X≤2nk)
通过这种方式,我们逐渐“逼近” X,并定义 E(X) 为 Xn 的期望的极限:
E(X)=n→∞limE(Xn)
可以想象我们在无限细分 X 的可能取值区间,使得 Xn 越来越接近真实的 X。比如,把一个随机数值的范围不断切分得更小,以便获得更精确的期望值。
Step 3: 一般随机变量的期望
对于任意随机变量 X,我们将其拆分为正的部分和负的部分:
X=X+−X−
其中 X+:=X∨0 表示 X 的非负部分,而 X−:=(−X)∨0 表示 X 的非正部分。
于是,我们可以定义 X 的期望为:
E(X):=∫ΩXdP:=∫ΩX+−∫ΩX− dP:=E(X+)−E(X−)(1)
这种方法的本质是,我们将一个有正负值的随机变量分解成纯粹的非负值的部分,从而使得每一部分的期望都可计算,然后通过减法得到 X 的期望。
可以把这种分解的过程类比成我们计算净资产:假设 X 是你的总资产值(有正有负),X+ 是你所有的资产,而 X− 是你的所有负债,那么 X 的期望就是你资产的期望减去负债的期望,得到净资产的期望值。
接下来讲一下可积随机变量,这个概念告诉我们,在什么情况下我们能够计算一个随机变量的期望,并且这个期望是有限的。
🥕 Integrable random variables
⛺可积随机变量的定义
假设我们有一个随机变量 X,如果 X 的期望 E(X) 存在且是有限的,那么我们称 X 为一个可积随机变量。这也就是为什么在(14)中,我们有了一个条件来判断期望是否存在并且是有限的。
⛺公式分析
-
绝对值的分解:我们将 ∣X∣ 表示为 X+ 和 X− 的和:
∣X∣=X++X−(2)
这意味着 X 的绝对值等于它的正部分和负部分之和。可以理解为,将 X 的正值部分和负值部分拆开,然后把这两部分加起来。
-
期望的绝对值:通过对 ∣X∣ 求期望,我们得到:
E∣X∣=EX++EX−(3)
这条公式表明,如果 X 的正部分和负部分的期望都是有限的,那么 X 的期望就是有限的。换句话说,如果 EX+ 和 EX− 都存在且是有限值,那么 E∣X∣ 也是有限的。
-
判断期望存在的条件:从(1)和(3),可以得到以下等价条件:
E(X) 存在且有限⟺E∣X∣<∞⟺EX+<∞且EX−<∞(4)
这个条件的意思是,只要 X 的正部分和负部分的期望都存在且有限,那么整个 X 的期望就是存在且有限的。
🌟可以将这个情况想象成一个“资产负债表”的情景:X 是你的净资产,X+ 是你所有的资产,X− 是你的负债。如果你的资产和负债都不是无限大的(也就是 EX+<∞ 且 EX−<∞),那么你的净资产 X 的期望值就是有限的。这样,我们就可以对你的资产状况做出有意义的统计分析了。
这段定理的核心是理解在什么情况下我们可以计算一个随机变量的期望值,并且保证这个值是有限的。只要正部分和负部分的期望都是有限的,那么这个随机变量就称为可积随机变量(integrable random variable)或者that its expectation/mean is finite,也就是我们可以合理地去计算它的期望。
🥕 Lebesgue-Stieltjes (LS) 积分
⛺LS积分的构造
首先,我们有一个测度空间 (S,B,μ),其中:
- S 是我们讨论的空间(可以是实数集 R 或更广泛的集合)。
- B 是 S 上的一个 σ-代数,也就是说它是 S 的所有可能“事件”或“集合”的一个集合。
- μ 是定义在 B 上的一个测度(它可以不是概率测度)。测度的作用是给集合赋予一个“大小”或“体积”。
假设我们有一个函数 f:S→R,并且它在测度 μ 下是可测的。我们定义 f 关于 μ 的 LS 积分为:
∫Sfdμ=∫Sf(s)dμ(s)
这个积分的含义是我们对 S 空间中的每一个“点” s,按照测度 μ 的权重来“加权”函数 f 的值。这种加权积分方式比传统的 Riemann 积分更灵活,因为它允许处理的函数和集合更加复杂。
⛺特殊情况:Lebesgue 积分
当 S=R,B=B(R) 表示实数上的 Borel 集合,μ=λ 为 Lebesgue 测度时,我们得到 Lebesgue 积分。这时,LS 积分就简化为普通的 Lebesgue 积分,记作:
∫Rfdλ=∫Rf(x)dx
Lebesgue 积分的出现是为了扩展 Riemann 积分,使得我们可以对更加复杂的函数进行积分,比如一些在传统 Riemann 积分下无法处理的函数。
⛺特殊情况:Lebesgue-Stieltjes 积分
当测度 μ 是 λF,其中 λF 是一个由分布函数 F 生成的测度时,我们得到的是 Lebesgue-Stieltjes 积分:
∫RfdλF=∫Rf(x)dF(x)
分布函数 F 描述了随机变量的累积分布,而积分 ∫fdF 表示对 f 进行加权平均,权重由 F 确定。
🥕 The standard machine
这个方法是用来证明一些“线性”陈述的,特别是关于期望的等式。
⛺标准机器的应用
标准机器的流程如下:假设我们想要证明某个关于随机变量 X 的函数 f(X) 的期望 E[f(X)] 可以通过积分的形式表示为
E[f(X)]=∫Ωf(X)dP=∫Rf(x)dPX(x)=∫Rf(x)dFX(x)(5)
其中:
- PX 是随机变量 X 的分布,即 X 的“规律”或“法则”。
- FX 是 X 的累积分布函数,描述了 X 在不同区间上取值的概率累积。
这个等式意味着:对随机变量 X 的期望可以通过 X 的概率分布来计算。它告诉我们,计算期望时可以直接使用分布函数 FX 来加权求和,而不必回到原始的概率空间 Ω。
使用标准机器的步骤
为了证明上面的等式(公式 (5)),我们会按照以下步骤来逐步处理不同的函数类型:
- 从简单函数开始:先考虑 f 是某个 Borel 集合的指示函数。这样可以通过简单的事件计算来理解。
- 逐步扩展到更复杂的函数:然后我们将 f 扩展到简单函数(可以表示为有限个常数和指示函数的和),之后是非负的函数。
- 最终处理一般实值函数:最后,处理任意的实值函数,这一步是通过限制条件和取极限完成的。
这样分步操作的优点是,先处理简单的情况,然后逐渐增加复杂性,直到覆盖一般的情况。这种方法可以确保证明过程清晰、严谨,并且可以用来处理非常一般的随机变量和函数。
“标准机器”方法是一种有条理的证明工具,特别适用于在测度论中处理关于期望的线性陈述。通过分步处理,我们可以从最简单的指示函数出发,最终证明出一般函数的期望公式。这种技巧在测度论和概率论中非常实用,可以用来证明各种关于期望和积分的等式。
🥕 Monotone Convergence Theorem
单调收敛定理(Monotone Convergence Theorem),是测度论中一个非常重要的工具,用于分析一列随机变量的期望收敛行为。
⛺定理内容
假设 (Xn) 是一列随机变量,并且 X 是一个随机变量,定义在同一个概率空间 (Ω,F,P) 上。若满足以下两个条件:
- 当n→∞,则Xn≥0 且 Xn↑X [6],即 (Xn) 是一个非减序列并且收敛到 X;
- 则我们有 E(Xn)↑E(X),即 (Xn) 的期望随着 n 增大单调收敛到 X 的期望。
形式化地表示为:
n→∞limE(Xn)=E(X)
证明过程
这个证明的核心思想是通过构造一列简单的函数 (Zn) 来逼近 X,并验证在这种构造下,Zn 和 Xn 的期望逐步收敛到 E(X)。证明分为几个关键步骤。
第一步:定义序列 Zn
定义 Zn 为:
Zn:=k=1∑∞2nk−11(2nk−1<X≤2nk)
其中 1 表示指示函数,即对于满足 2nk−1<X≤2nk 的情形,1 取值为 1,其他情形取值为 0。这样构造的 Zn 是一个简单函数,它逼近 X。
第二步:验证 Zn↑X 且 E(Zn)↑E(X)
由于 Zn↑X(因为 Zn 随着 n 增大不断逼近 X),根据单调性,我们有 E(Zn)↑E(X)。所以可以找到一个足够大的 n 使得
L<E(Zn)
其中 L≤E(X) 是一个假设值,目的是为了构建一个矛盾。
第三步:重写 Zn
通过以下过程将 Zn 进一步展开为简单的项:
Zn=k=1∑∞2nk−11(2nk−1<X)−k=1∑∞2nk−11(2nk<X)
接下来对 Zn 进行一系列分拆、移项,得到
Zn=k=1∑∞2n11(X>2nk)
第四步:利用公式[6]
通过以上展开,我们可以得到
E(Zn)=k=1∑∞2n1P(X>2nk)
所以,只要 Xn↑X,我们就可以证明 E(Xn)↑E(X),这完成了证明。
⛺Fatou's Lemma
引理内容
设 (Xn) 是定义在同一概率空间 (Ω,F,P) 上的随机变量序列。如果满足以下条件,则有:
-
如果 Xn≥0 对于所有 n≥1,则
E(n→∞liminfXn)≤n→∞liminfE(Xn)(7)
-
如果 Xn≤0 对于所有 n≥1,则
E(n→∞limsupXn)≥n→∞limsupE(Xn)(8)
这些不等式的意义在于,它们描述了当我们对一个随机变量序列取下极限或上极限后,再计算期望时的行为。
证明过程
对于(7)
假设 Xn≥0 对于所有 n≥1,我们希望证明
E(n→∞liminfXn)≤n→∞liminfE(Xn)
-
通过单调收敛定理(Monotone Convergence Theorem,MCT),我们知道 infk≥nXk≥0 随着 n 增大而单调递增,并且 infk≥nXk≤Xk 对所有 k≥n 成立。
-
因此,我们可以得到:
E(n→∞liminfXn)=E(n→∞limk≥ninfXk)=n→∞limE(k≥ninfXk)
这里使用了单调收敛定理,因为 infk≥nXk 是一个非减序列。
-
根据期望的性质,可以得到不等式:
E(k≥ninfXk)≤k≥ninfE(Xk)
-
于是,有:
n→∞limE(k≥ninfXk)≤n→∞limk≥ninfE(Xk)=n→∞liminfE(Xn)
这证明了第一个不等式成立。
对于(8)
如果 Xn≤0 对所有 n≥1,我们希望证明
E(n→∞limsupXn)≥n→∞limsupE(Xn)
-
我们可以通过对(7)两边乘以 −1 来得到这个结论。设 Yn=−Xn,于是 Yn≥0,根据(19)得到:
E(n→∞liminfYn)≤n→∞liminfE(Yn)
-
展开上述不等式,我们有:
E(−n→∞limsupXn)≤−n→∞limsupE(Xn)
-
从而得到:
E(n→∞limsupXn)≥n→∞limsupE(Xn)
这样,我们证明了第二个不等式。
🥕 Dominated Convergence Theorem
主导收敛定理(Dominated Convergence Theorem, DCT)通常用于处理随机变量序列的期望的极限交换问题。该定理可在一定条件下将极限操作和积分操作交换顺序。
引理内容
假设 (Xn) 和 X 是定义在概率空间 (Ω,F,P) 上的随机变量序列。若满足以下条件:
-
Xn→X 几乎必然地收敛于 X,即
Xn→X当n→∞
-
存在一个可积随机变量 Z 使得对所有 n≥1,
∣Xn∣≤Z
则我们可以得到以下结论:
n→∞limE(Xn)=E(X)
证明过程
为了证明这个定理,我们主要应用法图引理(Fatou’s Lemma)以及对期望的极限性质的分析。
-
利用有界性条件:由于我们知道 ∣Xn∣≤Z 且 Z 是一个可积的随机变量,因此我们可以构造一个新的随机变量 Z~ 使得 Z~=2Z。这样,我们有
∣Xn−X∣≤∣Xn∣+∣X∣≤2Z=Z~
这说明 (Xn−X) 也被 Z~ 支配。
-
应用Fatou引理:根据法图引理,我们可以得到
E(n→∞liminf∣Xn−X∣)≤n→∞liminfE(∣Xn−X∣)
由于 Xn→X,因此 liminfn→∞∣Xn−X∣=0。于是有
E(0)≤n→∞liminfE(∣Xn−X∣)
因此得到
n→∞liminfE(∣Xn−X∣)=0
-
证明limsup也为零:另一方面,我们也可以得到
0≤n→∞limsupE(∣Xn−X∣)≤E(0)=0
这意味着
n→∞limE(∣Xn−X∣)=0
-
推导期望的极限:由此我们可以得到
n→∞limE(Xn)=E(X)
这完成了主导收敛定理的证明。
主导收敛定理,使我们能够在满足一定条件(有界性和收敛性)的情况下,将求期望和取极限这两个操作交换顺序。
在主导收敛定理中,∣Xn∣≤Z不可省略。如果我们想让 Xn→X 几乎必然地收敛推出结论 E(Xn)→E(X),则必须有 ∣Xn∣≤Z的存在,即存在一个可积随机变量 Z 使得 ∣Xn∣≤Z 对所有 n≥1 成立。主导条件提供了一个“上界”,保证了收敛的随机变量序列 (Xn) 在期望上也是受控的。
通过证明过程,我们实际上得到了一个更强的结论即:
n→∞limE(∣Xn−X∣)=0
🥕 Scheffé引理
Scheffé引理在测度论中提供了一个重要的结果,说明了当一列随机变量的积分或期望收敛时,该随机变量的L1收敛性(即期望的绝对差的收敛性)。以下是对引理内容及其证明的详细讲解。
引理内容
设 (Xn) 和 X 是定义在同一概率空间 (Ω,F,P) 上的随机变量序列。若满足以下条件:
- Xn→X 几乎必然收敛,即
Xn→X当n→∞
- 同时满足
E∣Xn∣→E∣X∣当n→∞
则可以得出结论
E∣Xn−X∣→0当n→∞
证明过程
证明采用分解和极限分析,具体步骤如下:
-
设定非负性条件:首先假设 Xn≥0 对于所有 n≥1,因此 X≥0 也成立(因为 Xn→X)。
根据 L1的三角不等式,可以得到
E∣Xn−X∣=E((Xn−X)+)+E((Xn−X)−)
我们需要证明 E((Xn−X)+)→0 和 E((Xn−X)−)→0。
-
分解正负部分的期望:利用条件E∣Xn∣→E∣X∣,我们可以得出
E((Xn−X)+)−E((Xn−X)−)→0
由于 Xn≥0 并且 X≥0,这意味着只需证明 E((Xn−X)−)→0 即可。
-
处理负部分的期望:通过观察 (Xn−X)−=(X−Xn)1{Xn≤X}≤X,可以利用主导收敛定理(DCT),因为 X 可积且 E∣Xn∣→E∣X∣,因此
E((Xn−X)−)→0
-
一般实值情况:如果 Xn 和 X 是实值的,我们可以利用Fatou引理得出正负部分的极限。具体计算会表明 E((Xn)+)→E(X+) 和 E((Xn)−)→E(X−),因此 E∣Xn−X∣→0。
最终,以上步骤完成了对Scheffé引理的证明。
🥕 Null sets and expectation
定理内容
-
部分零测集上的期望为零
若 X 是一个随机变量,且事件 A∈F 满足 P(A)=0,则
E(X1A)=0
这是因为在零测集 A 上,随机变量 X 的取值对于期望没有贡献。
-
几乎处处相等的随机变量的期望相等
如果两个随机变量 X 和 Y 满足几乎处处相等,即 P(X=Y)=1,则
E(X)=E(Y)
这是因为 X 和 Y 的差值仅在零测集上取非零值,所以它们的期望相等。
-
非负随机变量的期望为零意味着几乎处处为零
如果 X≥0 且 E(X)=0,则
X=0P-a.s.
也就是说,X 几乎处处等于零。因为对于一个非负随机变量来说,只有当它在几乎所有位置取零值时,其期望才会为零。
证明
(i) 如果 X 是随机变量,且事件 A 满足 P(A)=0,则 E(X1A)=0。
证明过程
-
首先,我们注意到 E(X1A) 的绝对值可以被 E(∣X∣1A) 控制:
∣E(X1A)∣≤E(∣X∣1A)
因此,我们可以假设 X≥0,因为若对 ∣X∣ 成立,则对 X 也成立。
-
接下来,利用单调收敛定理(MCT,Theorem 4),考虑一个截断的随机变量序列 (X∧n)1A。这个序列随着 n→∞ 单调递增趋向于 X1A。
-
根据 MCT,我们有:
E(X1A)=n→∞limE((X∧n)1A)
-
因为 A 是零测集,所以对于任何固定的 n,E((X∧n)1A)≤n⋅P(A)=0。所以,
E(X1A)=0
证明完成。
(ii) 如果 X=Y 几乎处处成立,则 E(X)=E(Y)。
证明过程
-
定义 A={X=Y}。因为 X=Y 几乎处处成立,所以 P(A)=0。
-
利用(i)的结论,我们有:
E(X)=E(X1A+X1Ac)=E(X1Ac)=E(Y1Ac)=E(Y1A+Y1Ac)=E(Y)
这证明了若 X=Y 几乎处处成立,则 E(X)=E(Y)。
(iii) 如果 X≥0 且 E(X)=0,则 X=0 几乎处处成立。
证明过程
-
假设 X 是非负的,且 E(X)=0。
-
对于每一个 n≥1,我们有:
0=E(X)=E(X1{X>0})≥E(X1{X≥n1})≥n1P(X≥n1)
-
这说明 P(X≥n1)=0 对于所有 n≥1 成立。
-
通过概率的下连续性(continuity from below),我们得到
P(X>0)=n→∞limP(X≥n1)=0
-
因此,X=0 几乎处处成立。证明完成。
以上文档的pdf可以用以下链接下载:
下载文档