07|从时间序列到频谱:傅里叶、采样与切窗|合并完整版
发布时间:
发布时间:
本篇保留原专题说明、数学推导、配图与所有练习。
本篇目录
- 数据处理专题|从正弦函数到傅里叶变换与稳健阻抗估计
- 数据处理 01|一段乱糟糟的信号,怎样拆成不同频率?
- 数据处理 02|采样、奈奎斯特频率和 FFT 究竟是什么?
- 数据处理 03|为什么要切窗口:去均值、加窗与频谱泄漏
第1单元|数据处理专题|从正弦函数到傅里叶变换与稳健阻抗估计
如果地表只存在一个绝对纯净的正弦波,那么在同一频率上比较电场、磁场就相对容易。但实际记录器给出的是多个频率、多个场源与各类噪声叠加的五路时间序列。
我们的目标是将它们变成频率相关的可靠阻抗与不确定度估计,而不是画出一条漂亮但无法判断误差的曲线。
这一章从两条正弦波的叠加讲到傅里叶分解、离散采样、FFT 和切窗。接下来再学习阻抗回归与稳健估计。
建议按顺序阅读
复杂信号怎样拆成不同频率?
从两条正弦波的叠加开始,学习频率投影、正交性、正弦与余弦系数、复数傅里叶变换。采样、奈奎斯特频率和 FFT 究竟是什么?
用 8 Hz 采样的 1 Hz 与 7 Hz 波解释混叠,手算四点 DFT,并区分采样频率、频率间隔和 FFT。为什么要切窗口?
去均值、去趋势、窗函数、频谱泄漏、窗口长度与频率分辨率、降采样和多频带处理。从一条直线开始学习最小二乘阻抗估计
用三组数字求最佳斜率,推导残差平方和最小化,再扩展到复数线性回归及阻抗张量。为什么最小二乘会算偏:远参考与稳健回归
认识电、磁通道噪声不对称的问题,用简单公式推导输入噪声偏差,再认识远参考、Huber 损失和 IRLS。
从头到尾其实是一条完整的运算链
\[\text{五路时间序列}\longrightarrow \text{时间分窗与傅里叶系数}\longrightarrow \text{复数阻抗张量}\longrightarrow \text{视电阻率与相位}.\]最后两步包含统计估计,尤其需要关注误差条、受干扰的频带和仪器校准。软件能快速算出结果,但无法替代对数据有效性的判断。
学完这组再进入阻抗张量、维度与畸变分析,便能更清楚地区分“计算出来的阻抗”和“地下可能是哪种结构”。
第2单元|数据处理 01|一段乱糟糟的信号,怎样拆成不同频率?
大地电磁记录器不直接给出“1 Hz 的阻抗是多少”。它给出的是一连串随时间变化的电场和磁场观测值。为什么后来我们能够画出一条横轴为频率、纵轴为视电阻率的曲线?
问题的核心是:怎样知道一段复杂的时间信号里,各种频率分别占多少?
一、先只听两种音调
想象两个音叉,一个每秒振动一次,另一个每秒振动三次。为了看得清楚,假设对应两个函数:
\[s_1(t)=2\cos(2\pi t),\qquad s_2(t)=\cos(6\pi t).\]第一个振幅为 2,频率为 1 Hz;第二个振幅为 1,频率为 3 Hz。
当两个信号同时存在,仪器记录的是相加后的结果:
\[x(t)=s_1(t)+s_2(t)=2\cos(2\pi t)+\cos(6\pi t).\]合成后的曲线不再是单一频率的正弦波。可是我们知道它的构成:1 Hz 的成分振幅 2,3 Hz 的成分振幅 1。
真实测量面临的是反过来的问题:我们只知道 $x(t)$,不知道里面究竟有哪些分量。傅里叶分析的任务就是把它们找出来。
二、如何从合成信号找回其中一种频率?
我们先用一个熟悉的想法:投影。二维向量在某个方向上投影,可以算出它沿该方向的分量。类似地,我们也能把一段信号“投影”到某个特定频率的余弦波上。
比如想找 1 Hz 成分,就拿信号去乘 $\cos(2\pi t)$,然后在整整一秒内求平均:
\[\int_0^1 x(t)\cos(2\pi t)\,dt.\]这里的积分符号 $\int$ 表示把一秒内所有非常小的时间片上的贡献加起来;$dt$ 是小时间段的记号。
为什么乘法和积分能帮忙?在一整段共同周期内,不同整数频率的正弦/余弦通常会正负抵消。具体来看:
\[\int_0^1 \cos(6\pi t)\cos(2\pi t)\,dt=0,\]而相同频率的余弦与自己相乘时:
\[\int_0^1\cos^2(2\pi t)\,dt=\frac12.\]因此
\[\begin{aligned} \int_0^1x(t)\cos(2\pi t)\,dt &=2\times\frac12+1\times0\\ &=1. \end{aligned}\]乘上 2,就找回原来 1 Hz 的振幅 2。
这里“不同频率正负抵消”的性质叫作正交性。它是傅里叶分解的重要数学基础,但需要在完整周期等适当条件下才能像上面这样严格成立。若观察时长截断了波形,其他频率可能不会恰好抵消,后面会讲频谱泄漏。
三、只有余弦够不够?
不够。因为任意相位的信号不一定从余弦波峰开始。
例如
\[x(t)=3\cos(2\pi t+\varphi).\]使用三角恒等式
\[\cos(a+b)=\cos a\cos b-\sin a\sin b,\]它可以写成
\[x(t)=3\cos\varphi\cos(2\pi t)-3\sin\varphi\sin(2\pi t).\]也就是说,要描述某个频率的一般相位成分,我们需要一个余弦系数和一个正弦系数。它们分别记录这个频率成分在两种正交基函数上的投影。
这是不是有点熟悉?复数正好也有实部和虚部两个数。
四、复数为什么让傅里叶分析更方便?
欧拉公式告诉我们
\[e^{i\theta}=\cos\theta+i\sin\theta.\]因此两个实系数可以打包为一个复数傅里叶系数,其模长与辐角保存该频率上的振幅与相位信息(具体振幅换算依赖单双边谱及归一化约定)。
对连续时间信号,常见的傅里叶变换定义为
\[\boxed{X(f)=\int_{-\infty}^{+\infty}x(t)e^{-i2\pi ft}\,dt}.\]傅里叶积分和刚才的频率投影做的是同一件事:$e^{-i2\pi ft}$ 提供这一频率的余弦与正弦参照,积分把整段时间内与它相符的成分累加起来。
上面是正向傅里叶变换的一个常用符号约定。逆变换写成
\[x(t)=\int_{-\infty}^{+\infty}X(f)e^{i2\pi ft}\,df.\]这两式在满足适当数学条件下互为变换。正向负指数、逆向正指数与前面采用的 $e^{+i\omega t}$ 时域相量描述能够配合,但软件中的归一化因子和频率排列仍要核对。
五、为什么会有负频率?
我们可以把
\[\cos(2\pi ft)=\frac12(e^{i2\pi ft}+e^{-i2\pi ft})\]看作一对正向、反向旋转的复指数。一个实数余弦信号在双边频谱上会同时出现 $+f$ 与 $-f$ 两个互为复共轭的成分。负频率反映复平面中的反向旋转方向,在这里是数学表述,和仪器可调的物理频率不是一回事。
对真实的实值时间序列,有
\[X(-f)=X(f)^*,\]右上角的 $^*$ 表示复共轭,即复数的虚部变号。这就是为什么很多软件只展示正频率部分便能表达主要信息。
六、再回到 MT:为什么要对电、磁场都做傅里叶变换?
因为我们最终想分析每个频率对应的电、磁关系。真实观测记录 $E_x(t),E_y(t),H_x(t),H_y(t),H_z(t)$,经预处理、傅里叶变换及仪器响应校正后,在特定频率得到复数系数 $\widetilde E_x(f)$ 等。
对于一维理想情况,可以讨论
\[Z_{xy}(f)=\frac{\widetilde E_x(f)}{\widetilde H_y(f)}.\]实际数据有噪声,二维或三维结构还涉及两个水平磁场分量,所以需要跨多个时间窗口估计完整传递函数。我们不能拿某一时刻的电场数值直接除以磁场数值,就认为得到了阻抗。
七、试一试
题 1: $x(t)=4\cos(2\pi t)+2\cos(10\pi t)$ 中,有哪两种频率?答:1 Hz 与 5 Hz。
题 2: 为什么只用余弦不足以表达任意初相位?答:相位移动会引入正弦成分,需要正弦和余弦两套基函数,或等价的复数系数。
题 3: 对真实时间序列,正频率与负频率的傅里叶系数有何关系?答:互为复共轭。
第3单元|数据处理 02|采样、奈奎斯特频率和 FFT 究竟是什么?
刚刚学过的傅里叶变换把一段连续信号与不同频率的正弦波进行比较。不过,记录器并没有无限连续地存储电场值。它只能每隔一段时间写下一条数字。
所以我们需要把“连续傅里叶变换”变成计算机真正能做的运算。
一、采样:隔多久量一次?
假设每隔 $0.125$ 秒读一次数据。那么一秒内会记录 8 个数:
\[\Delta t=0.125\ \mathrm s,\qquad f_s=\frac1{\Delta t}=8\ \mathrm{Hz}.\]$\Delta t$ 是采样时间间隔,$f_s$ 是采样频率。8 Hz 的采样率代表一秒读取八次,与信号本身的频率不是同一个东西。
例如信号 $x(t)=\cos(2\pi t)$ 每秒振荡一次,而记录器可以在每个周期里读取八次。两个“每秒几次”分别属于信号和仪器。
二、为什么采样太慢会搞错频率?
若采样率为 8 Hz,则采样时刻是
\[t_n=\frac n8,\qquad n=0,1,2,\ldots.\]比较两个信号:
\[x_1(t)=\cos(2\pi t),\quad x_2(t)=\cos(14\pi t).\]第一个是 1 Hz,第二个是 7 Hz。但在离散采样点上:
\[x_2(t_n)=\cos\left(\frac{14\pi n}{8}\right) =\cos\left(2\pi n-\frac{2\pi n}{8}\right) =\cos\left(\frac{2\pi n}{8}\right)=x_1(t_n).\]为什么能去掉 $2\pi n$?因为 $n$ 是整数,余弦每增加整数个完整周期就回到原来的值。
这意味着采样器看到的1 Hz 与 7 Hz 两条离散时间序列完全一样!若没有额外信息,我们无法判断真实连续信号究竟是哪一个。这叫混叠(aliasing)。
三、奈奎斯特频率是什么?
对于以 $f_s$ 均匀采样的带限信号,重建连续信号的经典采样定理要求最高信号频率严格低于 $f_s/2$,并满足相应的带限和采样条件。
因此定义奈奎斯特频率
\[\boxed{f_N=\frac{f_s}{2}}.\]若 $f_s=8$ Hz,则 $f_N=4$ Hz。严格重建还需要处理临界频率以及实际滤波器的过渡带,不能简单认为“4 Hz 以上的信号电脑会自动丢掉”。真实记录器在采样前需要适当的抗混叠滤波。
尤其要小心:已经采样后才发现混叠,一般不能仅凭离散序列逆推出本来是哪一个高频信号。
四、有限个采样点怎样做傅里叶分析?
如果每个窗口有 $N$ 个数据,按顺序写作
\[x_0,x_1,\ldots,x_{N-1},\]那么离散傅里叶变换(DFT)定义为
\[\boxed{X_k=\sum_{n=0}^{N-1}x_n e^{-i2\pi kn/N}}.\]这个式子可能看着长,但只需按符号读:
- $n$:时间上的第几个样本;
- $k$:要分析的第几个离散频率;
- $x_n$:第 $n$ 个测量值;
- $e^{-i2\pi kn/N}$:第 $k$ 个频率对应的复数参照波;
- $\sum$:将 $n=0$ 到 $N-1$ 的各项全部相加。
它做的事情与上一节的傅里叶积分一模一样,只是把连续时间积分换成有限个数的求和。
五、亲手算一个四点 DFT
为了不让数字太多,先只考虑四个离散数据:
\[(x_0,x_1,x_2,x_3)=(1,0,-1,0).\]其平均为零。计算 $k=0$ 时:
\[X_0=\sum_{n=0}^{3}x_n=1+0-1+0=0.\]$k=1$ 时,$e^{-i2\pi n/4}$ 的四个因子依次为 $1,-i,-1,i$,因此
\[X_1=1\cdot1+0\cdot(-i)+(-1)\cdot(-1)+0\cdot i=2.\]由于实数序列存在共轭对称性,可知 $X_3=2$。进一步可算 $X_2=0$。因此这组数据的频谱中,非零成分出现在 $k=1,3$,它们是一对正负频率成分。
如果还原成实际信号的单边余弦振幅,应考虑 DFT 的 $N$ 归一化与正负频率合并;不能直接把未经归一化的 $X_1=2$ 说成“物理振幅就是 2”。
六、频率间隔和奈奎斯特频率不是同一个量
窗口总时长为
\[T_{\rm win}=N\Delta t=\frac N{f_s}.\]两个相邻 DFT 频点的间隔是
\[\boxed{\Delta f=\frac1{T_{\rm win}}=\frac{f_s}{N}}.\]例如 $f_s=8$ Hz、$N=80$,则
\[T_{\rm win}=10\ \mathrm s,\quad\Delta f=0.1\ \mathrm{Hz},\quad f_N=4\ \mathrm{Hz}.\]$\Delta f$ 描述相邻频率格点之间差多少,$f_N$ 描述采样率允许处理的正频率上限尺度。
若窗口长度固定,只增加采样率,可能增加样本数与最高可处理频率,但不会让 $\Delta f=1/T_{\rm win}$ 自动变小。这也是后面必须讨论“为什么低频需要长时间窗口”的原因。
七、FFT 究竟做了什么?
FFT(快速傅里叶变换)是高效计算 DFT 的算法族。
DFT 的数学定义依然不变。FFT 使用复指数的重复结构减少计算量。对很多常见长度,直接按定义计算约需要 $N^2$ 量级运算,而 FFT 可降到约 $N\log N$ 的量级。
这解释了为什么处理很长的电磁时间序列时,FFT 几乎是标准工具。但 FFT 不是神奇的“自动净化数据”算法:数据里如果本来含有工频干扰、饱和或时间错位,FFT 也会把这些问题忠实地带入频谱。
八、练习
① 每隔 0.01 s 采样一次,采样率是多少?答案:100 Hz;奈奎斯特频率 50 Hz。
② 1000 个采样点、采样率 100 Hz,窗口时长是多少?答案:10 s;频率间隔 0.1 Hz。
③ 为什么对 8 Hz 采样的数据,真实 7 Hz 波可能表现得像 1 Hz?因为在采样时刻两者完全重合,发生混叠。
第4单元|数据处理 03|为什么要切窗口:去均值、加窗与频谱泄漏
前两节,我们学会了傅里叶变换和 DFT。似乎只需把记录器整天的信号交给 FFT,就可以得到精确的频谱了。可真实观测的数据经常在不同时刻有不同质量:某十分钟电极接触松动,某个时间段突然有车辆经过,另一些时间的天然场源则非常弱。
如果把整天记录一次性转换到频域,就很难弄清楚某个异常频率成分究竟来自什么时候。切窗口正是为了兼顾时间与频率的信息。
一、什么是时间窗口?
假设测站连续记录了 1000 秒。我们可以一次性处理全部 1000 秒,也可以每 100 秒切一段,得到十个短片段;每段分别做 FFT。
为什么这样有用?因为某一段如果被电机干扰或磁传感器震动污染,就可以单独检查、降低权重,必要时剔除,而不用丢掉整天的全部记录。
但短窗口需要付出代价。我们上一节得到
\[\Delta f=\frac1{T_{\rm win}}.\]如果窗口长 1000 s,相邻离散频率格点间隔是 $0.001$ Hz;如果每窗只长 100 s,频率间隔变为 $0.01$ Hz。
所以更短的窗口有利于定位何时发生异常,却带来更粗的频率采样格点;更长的窗口则相反。这就是时间定位与频率分辨之间的权衡。
二、为什么不能随便剪下一段就直接 FFT?
FFT 数学上相当于把有限时长的信号周期性重复。若窗口两端的信号值不一致,重复后便在接缝处出现突变,导致本来集中在某个频率的能量散布到相邻频率。这个现象叫作频谱泄漏。
例如本来有一个接近纯正弦的信号,但窗口只截取了 2.3 个周期。将这段数据不断重复时,末尾无法自然接上开头,FFT 便不再只在一个频率格点上得到单独的响应。
一项常见处理是把信号乘上一个窗函数(taper),让两端逐渐趋近于零。以 Hann 窗为例:
\[w_n=\frac12\left[1-\cos\left(\frac{2\pi n}{N-1}\right)\right],\qquad n=0,\ldots,N-1.\]新信号是 $y_n=w_nx_n$。窗口两端 $w_n=0$,中间较接近 1,因此两端衔接更加平滑。
但窗函数不是没有代价:它改变了振幅的标定,也会拓宽频谱主瓣。实际软件要根据功率、振幅或传递函数估计方式采用合适的归一化。没有一种窗函数可以同时获得零泄漏与无限好的频率分辨率。
三、为什么还要去均值、去趋势?
仪器采到的时间序列可能带有一个偏置,例如真实振荡围绕 0 变化,记录值却始终围绕 1000 个计数变化。
给每个样本减去该窗口的平均值,叫作去均值(demean):
\[\overline x=\frac1N\sum_{n=0}^{N-1}x_n,\qquad y_n=x_n-\overline x.\]这有助于消除直流偏置,避免巨大零频分量影响处理。
另一种情况是数据整体缓慢上升,例如电极接触电位漂移。我们可以拟合一条直线 $a+bt$,然后做
\[y(t)=x(t)-(a+bt).\]它叫去线性趋势(detrend)。但要小心:真正的低频地球物理信号也可能表现为缓慢变化。过度去趋势会把本来想研究的长周期信号一起删掉,因此必须结合目标频带与仪器特征选择。
四、低频数据为什么需要更长窗口?
假设研究频率为 $0.001$ Hz,对应周期
\[T=\frac1f=1000\ \mathrm s.\]如果每段只有 100 秒,我们连一个完整周期都没有观测到,就很难从这段短记录中稳定辨认该频率的振荡信息。研究长周期通常需要更长的观测时间与时间窗口。
为了减少低频段的计算负担,可以先合理滤波,再按照一定比例降低采样率,这叫降采样(decimation)。例如由每秒 100 次变成每秒 10 次,就能用较少的数据点覆盖相同的长时间窗。
必须先有合适的抗混叠滤波,因为原数据中高于新奈奎斯特频率的成分,否则会折叠到低频。实际宽频带 MT 处理中,常对多个降采样层级分别处理,再合并各频带的响应估计。
五、切好窗口后到底保存了什么?
对每个窗口进行 FFT 后,我们拿到每个频率上的复数傅里叶系数。假设第 $j$ 个窗口、第 $k$ 个频率的电场系数记作 $E_{x,jk}$;磁场也有对应的 $H_{x,jk},H_{y,jk}$ 等。
因此数据不再是一条时间曲线,而是一个频率 × 时间窗口的复数表格。后面在某一频率或相邻频带内,把许多窗口的数据组合起来,估计稳定的阻抗张量。
六、一个完整的小例子
假设仪器以 20 Hz 采样,一次处理 $N=4000$ 点:
\[T_{\rm win}=\frac{4000}{20}=200\ \mathrm s,\qquad \Delta f=\frac1{200}=0.005\ \mathrm{Hz}.\]若同样采样率下改用 $N=1000$,窗口只有 50 s,频率间隔变成 0.02 Hz。可以更细地挑选受污染时段,但对很低频率的分析能力下降。
七、自检
① 为什么要在 FFT 前做去均值?因为偏置会产生强零频成分。
② 窗越短,是不是越能分辨相近频率?不是,离散频率格点间隔一般变大。
③ 降采样只需要隔几个点扔掉其他数据吗?不能。通常必须先进行抗混叠滤波。