Verschiebungssatz (Statistik)

Der Verschiebungssatz (auch Satz von Steiner oder Steinerscher Verschiebungssatz genannt) beschreibt, wie sich die Eigenschaften einer Variablen oder Zufallsvariablen ändern, wenn zu dieser Variable eine Konstante addiert wird. Kurz gesagt, er besagt, dass wenn wir zu einer Variablen oder Zufallsvariablen eine Konstante hinzufügen, sich bestimmte Charakteristika der Verteilung dieser Variable ändern, aber auf vorhersagbare Weise.

Mathmatisch ausgedrückt: Wenn wir zu einer Zufallsvariablen $X$ eine Konstante $c$ addieren und diese modifizierte Variable als $Y$ bezeichnen, dann ändern sich bestimmte Momente von $Y$ auf vorhersagbare Weise. Die Momente von $Y$ können durch eine einfache Formel berechnet werden, die die Momente von $X$ und die hinzugefügte Konstante $c$ berücksichtigt.

Der Verschiebungssatz von Steiner ist wichtig, weil er es uns ermöglicht, die Effekte von konstanten Verschiebungen auf die Verteilung von Variablen oder Zufallsvariablen zu verstehen. Diese Erkenntnis hat viele Anwendungen in der Statistik und Wahrscheinlichkeitstheorie, zum Beispiel bei der Berechnung von durchschnittlichen Werten und Varianzen von veränderten Variablen oder Zufallsvariablen.

Satz von Steiner

Der Satz Steiner für Zufallsvariablen $Y=X+c$ besagt:

$E(Y^{k})=E((X+c)^{k})=\sum _{j=0}^{k}{\binom {k}{j}}c^{k-j}E(X^{j})$

Dabei ist $E(Y^{k})$, das $k$te Moment der Zufallsvariablen $Y$, $E(X^{j})$, das $j$te Moment der Zufallsvariablen $X$. ${\tbinom {k}{j}}$ ist der Binomialkoeffizient $k$ über $j$.

Insbesondere für den Fall $k=2$ gilt

$E(Y^{2})=c^{2}+2cE(X)+E(X^{2})$.

Für die Varianz einer Zufallsvariablen $X$ gilt mit $Y=X-E(X)$, d. h. $c=-E(X)$:

${\begin{aligned}Var(X)&{\stackrel {def}{=}}E((X-E(X))^{2})=E(Y^{2})\\E(Y^{2})&=E^{2}(X)-2E(X)E(X)+E(X^{2})=E(X^{2})-E^{2}(X)\end{aligned}}$.

Empirische Variante

Für die empirische Version des Satzes von Steiner für $n$ Beobachtungswerten mit $y_{i}=x_{i}+c$ müssen die theoretischen durch die empirischen Momente ersetzt werden, also $M_{Y}^{k}={\tfrac {1}{n}}(y_{1}^{k}+\ldots +y_{n}^{k})$ bzw. $M_{X}^{j}={\tfrac {1}{n}}(x_{1}^{j}+\ldots +x_{n}^{j})$ und dann gilt:

$M_{Y}^{k}=\sum _{j=0}^{k}{\binom {k}{j}}c^{k-j}M_{X}^{j}$

Analog zu den Zufallsvariablen kann man für $k=2$ ableiten mit $c=-{\bar {x}}$:

${\frac {1}{n}}\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}=\left({\frac {1}{n}}\sum _{i=1}^{n}x_{i}^{2}\right)-\left({\frac {1}{n}}\sum _{i=1}^{n}x_{i}\right)^{2}$.

Beispiel mit n Beobachtungswerten

Der Verschiebungssatz wird zunächst am einfachsten Fall vorgeführt: Es seien die Werte $x_{1},x_{2},\ldots ,x_{n}$ gegeben, beispielsweise eine Stichprobe. Es wird die Summe der Abweichungsquadrate dieser Werte gebildet:

$SQ_{x}=\sum _{i=1}^{n}(x_{i}-{\overline {x}})^{2}\ ,$

wobei

${\overline {x}}:={\frac {1}{n}}(x_{1}+x_{2}+\ldots +x_{n})={\frac {1}{n}}\sum _{i=1}^{n}{x_{i}}$

das arithmetische Mittel der Zahlen ist. Der Verschiebungssatz ergibt sich aus

$SQ_{x}=\sum _{i=1}^{n}(x_{i}^{2}-2x_{i}{\overline {x}}+{\overline {x}}^{2})=\left(\sum _{i=1}^{n}x_{i}^{2}\right)-2{\overline {x}}\left(\sum _{i=1}^{n}x_{i}\right)+n{\overline {x}}^{2}$

$\quad =\left(\sum _{i=1}^{n}x_{i}^{2}\right)-2{\overline {x}}\cdot n{\overline {x}}+n{\overline {x}}^{2}=\left(\sum _{i=1}^{n}x_{i}^{2}\right)-n{\overline {x}}^{2}$.

Rechenbeispiel

Im Rahmen der Qualitätssicherung werden fortlaufend Kaffeepäckchen gewogen. Für die ersten vier Päckchen erhielt man die Werte (in g) $x_{i}$

$505,500,495,505$

Das durchschnittliche Gewicht beträgt

${\overline {x}}={\frac {505+500+495+505}{4}}=501{,}25$

Es ist

${\begin{aligned}SQ_{x}&=(505-501{,}25)^{2}+(500-501{,}25)^{2}+(495-501{,}25)^{2}+(505-501{,}25)^{2}\\&=14{,}0625+1{,}5625+39{,}0625+14{,}0625\\&=68{,}75\,.\end{aligned}}$

Für die Anwendung des Verschiebungssatzes berechnet man

$q_{1}=\sum _{i=1}^{n}x_{i}=505+500+495+505=2.005$

und

$q_{2}=\sum _{i=1}^{n}x_{i}^{2}=255.025+250.000+245.025+255.025=1.005.075$

$SQ_{x}=q_{2}-{\frac {1}{4}}q_{1}^{2}=68{,}75$

Man kann damit beispielsweise die (korrigierte) empirische Varianz als „durchschnittliches“ Abweichungsquadrat bestimmen:

$s^{2}={\frac {1}{n-1}}SQ_{x}\,,$

im Beispiel

$s^{2}={\frac {1}{4-1}}68{,}75\approx 22{,}9\,.$

Kommt nun ein weiteres Päckchen in die Stichprobe, so reicht es zur Neuberechnung der Stichprobenvariation mit Hilfe des Verschiebungssatzes, lediglich die Werte für $q_{1}$ und $q_{2}$ neu zu berechnen. Beim fünften Päckchen werde das Gewicht 510 g gemessen. Dann gilt:

$q_{1}^{\text{neu}}=q_{1}+510=2.005+510=2.515\,,$

$q_{2}^{\text{neu}}=q_{2}+510^{2}=1.005.075+260.100=1.265.175\,,$ sowie

$SQ^{\text{neu}}=q_{2}^{\text{neu}}-{\frac {1}{5}}\left(q_{1}^{\text{neu}}\right)^{2}=130\,.$

Die Stichprobenvarianz der neuen, größeren Stichprobe ist dann

$s_{\text{neu}}^{2}={\frac {1}{5-1}}SQ^{\text{neu}}=130/4=32{,}5\,.$

Anwendungen

Summe der quadratischen Abweichungen

Für die Summe der quadratischen Abweichungen von $n$ Beobachtungswerten $x_{1},\dotsc ,x_{n}$ und deren arithmetisches Mittel ${\overline {x}}$ gilt:

$SQ_{x}=\sum _{i=1}^{n}\left(x_{i}-{\overline {x}}\right)^{2}=\left(\sum _{i=1}^{n}x_{i}^{2}\right)-n{\overline {x}}^{2}=\left(\sum _{i=1}^{n}x_{i}^{2}\right)-{\frac {1}{n}}\left(\sum _{i=1}^{n}x_{i}\right)^{2}$.

Damit kann man $SQ_{x}$ berechnen, ohne das Mittel ${\overline {x}}$ bereits vorab zu kennen und ohne alle Stichprobenwerte speichern zu müssen.

Bei der Berechnung mit Gleitkommazahlen kann es jedoch zu einer numerischen Auslöschung kommen, wenn ${\overline {x}}^{2}$ erheblich größer ist als die Varianz, die Daten also nicht zentriert sind. Daher bietet sich die Verwendung dieser Formel primär für analytische Betrachtungen an, nicht für die Verwendung mit realen Daten. Eine mögliche Abhilfe ist, vorab eine Näherung ${\tilde {x}}\approx {\overline {x}}$ für das Mittel zu bestimmen und damit zu berechnen:

$SQ_{x}=\sum _{i=1}^{n}\left(x_{i}-{\overline {x}}\right)^{2}=\sum _{i=1}^{n}(x_{i}-{\tilde {x}})^{2}-{\frac {1}{n}}\left(\sum _{i=1}^{n}(x_{i}-{\tilde {x}})\right)^{2}$.

Falls die Näherung ${\tilde {x}}$ nahe genug an dem echten Mittel ${\overline {x}}$ liegt, ist die Genauigkeit mit dieser Formel gut. Weitere numerisch stabilere Berechnungsmethoden finden sich in der Literatur.

Stichprobenkovarianz

Die Summe der Abweichungsprodukte zweier Merkmale $x$ und $y$ ist gegeben durch

$SP_{xy}:=\sum _{i=1}^{n}(x_{i}-{\overline {x}})(y_{i}-{\overline {y}})\ .$

Hier ergibt der Verschiebungssatz

$SP_{xy}=\sum _{i=1}^{n}(x_{i}y_{i})-n{\overline {x}}{\overline {y}}\ .$

Die korrigierte Stichprobenkovarianz berechnet sich dann als „durchschnittliches“ Abweichungsprodukt

$s_{xy}={\frac {1}{n-1}}SP_{xy}\ .$

Zufallsvariable

Varianz

Die Varianz einer Zufallsvariablen

$\operatorname {Var} (X)=\operatorname {E} ((X-\operatorname {E} (X))^{2})$

lässt sich mit dem Verschiebungssatz auch angeben als

$\operatorname {Var} (X)=\operatorname {E} (X^{2})-(\operatorname {E} (X))^{2}\ .$

Dieses Resultat wird auch als Satz von König-Huygens bezeichnet. Es ergibt sich aus der Linearität des Erwartungswertes:

${\begin{aligned}\operatorname {E} {\bigl (}(X-\operatorname {E} (X))^{2}{\bigr )}&=\operatorname {E} {\bigl (}X^{2}-2X\operatorname {E} (X)+\operatorname {E} (X)^{2}{\bigr )}\\&=\operatorname {E} (X^{2})-\operatorname {E} {\bigl (}2X\operatorname {E} (X){\bigr )}+\operatorname {E} {\bigl (}\operatorname {E} (X)^{2}{\bigr )}\\&=\operatorname {E} (X^{2})-2\operatorname {E} (X)\operatorname {E} (X)+\operatorname {E} (X)^{2}\\&=\operatorname {E} (X^{2})-\operatorname {E} (X)^{2}.\end{aligned}}$

Eine allgemeinere Darstellung des Verschiebungssatzes ergibt sich aus:

$\operatorname {Var} (X)=\operatorname {E} \left((X-c)^{2}\right)-\left(\operatorname {E} (X)-c\right)^{2},\quad c\in \mathbb {R}$.

• Man erhält bei einer diskreten Zufallsvariablen $X$ mit den Ausprägungen $x_{i},\,i=1,\dots ,n$ und der dazugehörigen Wahrscheinlichkeit $\operatorname {P} (X=x_{j})=p_{j}$ dann für

$\operatorname {Var} (X)=\operatorname {E} ((X-\operatorname {E} (X))^{2})=\sum _{j}p_{j}\left(x_{j}-\sum _{i}p_{i}x_{i}\right)^{2}=\sum _{i}p_{i}x_{i}^{2}-\left(\sum _{i}p_{i}x_{i}\right)^{2}\ .$

Mit der speziellen Wahl $p_{i}={\frac {1}{n}}$ ergibt sich $\operatorname {E} (X)={\overline {x}}={\frac {1}{n}}\sum _{i}x_{i}$ und die obige Formel

${\frac {1}{n}}\sum _{i}\left(x_{i}-{\overline {x}}\right)^{2}={\frac {1}{n}}\sum _{i}x_{i}^{2}-{\overline {x}}^{2}.$

• Für eine stetige Zufallsvariable $X$ und der dazugehörigen Dichtefunktion $f$ ist

$\operatorname {Var} (X)=\operatorname {E} ((X-\operatorname {E} (X))^{2})=\int _{-\infty }^{\infty }(x-\operatorname {E} (X))^{2}\,f(x)\,\mathrm {d} x\ .$

Man erhält hier mit dem Verschiebungssatz

$\operatorname {Var} (X)=\operatorname {E} ((X-\operatorname {E} (X))^{2})=\int _{-\infty }^{\infty }x^{2}f(x)\,\mathrm {d} x-\operatorname {E} (X)^{2}\ .$

Kovarianz

Die Kovarianz zweier Zufallsvariablen $X$ und $Y$

$\operatorname {Cov} (X,Y)=\operatorname {E} ((X-\operatorname {E} (X))\cdot (Y-\operatorname {E} (Y)))$

lässt sich mit dem Verschiebungssatz als

$\operatorname {Cov} (X,Y)=\operatorname {E} (XY)-\operatorname {E} (X)\operatorname {E} (Y)$

angeben.

Für diskrete Zufallsvariablen erhält man für

$\operatorname {Cov} (X,Y)=\sum _{j}\sum _{k}(x_{j}-\operatorname {E} (X))(y_{k}-\operatorname {E} (Y))\cdot f(x_{j},y_{k})$

entsprechend zu oben

$\operatorname {Cov} (X,Y)=\sum _{j}\sum _{k}x_{j}\,y_{k}\,f(x_{j},y_{k})-\operatorname {E} (X)\cdot \operatorname {E} (Y)\ ,$

mit $f(x_{j},y_{k})$ als gemeinsamer Wahrscheinlichkeit, dass $X=x_{j}$ und $Y=y_{k}$ ist.

Bei stetigen Zufallsvariablen ergibt sich mit $f(x,y)$ als gemeinsamer Dichtefunktion von $X$ und $Y$ an der Stelle $x$ und $y$ für die Kovarianz

$\operatorname {Cov} (X,Y)=\int _{-\infty }^{\infty }\int _{-\infty }^{\infty }(x-\operatorname {E} (X))(y-\operatorname {E} (Y))\cdot f(x,y)\,\mathrm {d} y\,\mathrm {d} x$

entsprechend zu oben

$\operatorname {Cov} (X,Y)=\int _{-\infty }^{\infty }\int _{-\infty }^{\infty }xy\,f(x,y)\,\mathrm {d} y\,\mathrm {d} x-\operatorname {E} (X)\cdot \operatorname {E} (Y)\,$

Geschichte

Es ist unklar, warum für den Verschiebungssatz selten auch die Bezeichnung Satz von Steiner benutzt wird, denn der Verschiebungssatz kann nicht in eine direkte Verbindung gebracht werden mit dem Werk des Mathematikers Jacob Steiner.