Scipy-Signifikanztests

Ein Signifikanztest besteht darin, im Voraus eine Annahme über die Parameter einer Grundgesamtheit (Zufallsvariable) oder die Form der Verteilung der Grundgesamtheit zu treffen und dann mithilfe von Stichprobeninformationen zu beurteilen, ob diese Annahme (Alternativhypothese) vernünftig ist, d. h. festzustellen, ob es einen signifikanten Unterschied zwischen der tatsächlichen Situation der Grundgesamtheit und der Nullhypothese gibt. Mit anderen Worten: Der Signifikanztest wird verwendet, um festzustellen, ob der Unterschied zwischen der Stichprobe und unserer Annahme über die Grundgesamtheit allein auf zufälliger Variation beruht oder durch die Unvereinbarkeit unserer Annahme mit der tatsächlichen Situation der Grundgesamtheit verursacht wird. Der Signifikanztest prüft die Annahmen, die wir über die Grundgesamtheit treffen, und sein Prinzip besteht darin, die Hypothese auf der Grundlage des „Prinzips der praktischen Unmöglichkeit von Ereignissen mit kleiner Wahrscheinlichkeit“ anzunehmen oder abzulehnen.

Der Signifikanztest ist eine Methode, um festzustellen, ob es einen Unterschied zwischen der experimentellen Behandlungsgruppe und der Kontrollgruppe oder zwischen den Wirkungen zweier verschiedener Behandlungen gibt und ob dieser Unterschied signifikant ist.

SciPy stellt das Modul scipy.stats bereit, um Signifikanztestfunktionen von SciPy auszuführen.

Statistische Hypothese

Eine statistische Hypothese ist eine Hypothese über die unbekannte Verteilung einer oder mehrerer Zufallsvariablen. Eine statistische Hypothese, bei der die Form der Verteilung der Zufallsvariablen bekannt ist und die nur einen oder mehrere unbekannte Parameter in der Verteilung betrifft, wird als parametrische Hypothese bezeichnet. Der Prozess der Prüfung statistischer Hypothesen wird Hypothesentest genannt, und der Test, der zur Beurteilung parametrischer Hypothesen verwendet wird, wird parametrischer Test genannt.

Nullhypothese

Die Nullhypothese, ein statistischer Begriff, auch Ausgangshypothese genannt, bezieht sich auf die Hypothese, die im Voraus bei der Durchführung statistischer Tests aufgestellt wird. Wenn die Nullhypothese gilt, sollte die relevante Statistik einer bekannten Wahrscheinlichkeitsverteilung folgen.

Wenn der berechnete Wert der Teststatistik in den Ablehnungsbereich fällt, kann man erkennen, dass ein Ereignis mit geringer Wahrscheinlichkeit eingetreten ist, und die Nullhypothese sollte verworfen werden.

Eine zu testende Hypothese wird oft als H0 bezeichnet, genannt Nullhypothese, und die zu H0 entgegengesetzte Hypothese wird als H1 bezeichnet, genannt Alternativhypothese.

  • Wenn die Nullhypothese wahr ist, wird die Entscheidung, die Nullhypothese zu verwerfen, Fehler 1. Art genannt, und ihre Auftretenswahrscheinlichkeit wird üblicherweise bezeichnet alsα;
  • Wenn die Nullhypothese nicht wahr ist, wird die Entscheidung, die Nullhypothese nicht zu verwerfen, Fehler 2. Art genannt, und ihre Auftretenswahrscheinlichkeit wird üblicherweise bezeichnet alsβ
  • α+β ist nicht notwendigerweise gleich 1.

Üblicherweise wird nur die maximale Wahrscheinlichkeit, einen Fehler 1. Art zu begehen, begrenztα, und die Wahrscheinlichkeit, einen Fehler 2. Art zu begehen, wird nicht berücksichtigtβ. Ein solcher Hypothesentest wird auch Signifikanztest genannt, und die Wahrscheinlichkeitαwird Signifikanzniveau genannt.

Die am häufigsten verwendetenαWerte sind 0.01, 0.05, 0.10 usw. Im Allgemeinen wählt man je nach Forschungsproblem, wenn das Verwerfen einer wahren Hypothese einen großen Verlust verursacht, um solche Fehler zu reduzieren,αeinen kleineren Wert; umgekehrt,αwählt man einen größeren Wert.

Alternativhypothese

Die Alternativhypothese ist einer der Grundbegriffe der Statistik. Sie enthält alle Aussagen über die Verteilung der Grundgesamtheit, die die Nullhypothese ungültig machen. Die Alternativhypothese wird auch Gegenhypothese oder Alternativhypothese genannt.

Die Alternativhypothese kann die Nullhypothese ersetzen.

Zum Beispiel werden wir für die Bewertung von Studierenden Folgendes anwenden:

"Students are worse than average" — as the null hypothesis

Einseitiger Test

Einseitiger Test, auch einseitiger Signifikanztest genannt, auch bekannt als einseitiger Test. In der Hypothesenprüfung wird die Methode, den einseitigen Randbereich in der von der Dichtekurve der Teststatistik und der Achse eingeschlossenen Fläche zur Konstruktion des kritischen Bereichs für den Test zu verwenden, als einseitiger Test bezeichnet.

Wenn unser Hypothesentest nur eine Seite des Wertes prüft, nennt man ihn einen "einseitigen Test".

Beispiel:

Für die Nullhypothese:

“均值等于 k”

Wir können die Alternativhypothese haben:

“平均值小于 k”
或
“平均值大于 k”

Zweiseitiger Test

Zweiseitiger Test, auch zweiseitiger Signifikanztest oder zweiseitiger Test genannt. In der Hypothesenprüfung ein Verfahren, das die Randbereiche auf der linken und rechten Seite der von der Dichtekurve der Teststatistik und der x-Achse eingeschlossenen Fläche zur Konstruktion des kritischen Bereichs für den Test verwendet.

Wenn unsere Hypothese beide Seiten des Wertes testet.

Beispiel:

Für die Nullhypothese:

“均值等于 k”

Wir können die Alternativhypothese haben:

“均值不等于k”

In diesem Fall ist der Mittelwert kleiner oder größer als k, und beide Seiten müssen geprüft werden.

Alpha-Wert

Der Alpha-Wert ist das Signifikanzniveau.

Das Signifikanzniveau ist die Wahrscheinlichkeit, einen Fehler zu begehen, wenn geschätzt wird, dass der Populationsparameter in ein bestimmtes Intervall fällt, bezeichnet durchαangegeben.

Wie extrem die Daten sein müssen, um die Nullhypothese abzulehnen.

Üblicherweise werden 0.01, 0.05 oder 0.1 verwendet.

P-Wert

Der P-Wert gibt an, wie extrem die Daten tatsächlich sind.

Vergleiche den P-Wert mit dem Alpha-Wert, um das Niveau der statistischen Signifikanz zu bestimmen.

Wenn der p-Wert <= alpha, lehnen wir die Nullhypothese ab und sagen, dass die Daten statistisch signifikant sind; andernfalls akzeptieren wir die Nullhypothese.

T-Test

Der T-Test wird verwendet, um festzustellen, ob es einen signifikanten Unterschied zwischen den Mittelwerten zweier Variablen gibt und ob sie zur selben Verteilung gehören.

Dies ist ein zweiseitiger Test.

Die Funktion ttest_ind() nimmt zwei Stichproben gleicher Größe und erzeugt ein Tupel aus der t-Statistik und dem p-Wert.

Finde heraus, ob die gegebenen Werte v1 und v2 aus derselben Verteilung stammen:

Beispiel

import numpy as np
from scipy.stats import ttest_ind

v1 = np.random.normal(size=100)
v2 = np.random.normal(size=100)

res = ttest_ind(v1, v2)

print(res)

Das Ausgabeergebnis ist:

Ttest_indResult(statistic=0.40833510339674095, pvalue=0.68346891833752133)

Wenn Sie nur den p-Wert zurückgeben möchten, verwenden Sie die pvalue-Eigenschaft:

Beispiel

import numpy as np
from scipy.stats import ttest_ind

v1 = np.random.normal(size=100)
v2 = np.random.normal(size=100)

res = ttest_ind(v1, v2).pvalue

print(res)

Das Ausgabeergebnis ist:

0.68346891833752133

KS-Test

Der KS-Test wird verwendet, um zu prüfen, ob ein gegebener Wert einer Verteilung entspricht.

Diese Funktion nimmt zwei Parameter entgegen: den zu testenden Wert und die CDF.

CDF ist die kumulative Verteilungsfunktion, auch Verteilungsfunktion genannt.

Die CDF kann ein String oder eine aufrufbare Funktion sein, die eine Wahrscheinlichkeit zurückgibt.

Es kann als einseitiger oder zweiseitiger Test verwendet werden.

Standardmäßig ist es ein zweiseitiger Test. Wir können den Parameter alternative als einen der Strings "two-sided", "less" oder "greater" übergeben.

Prüfen Sie, ob ein gegebener Wert einer Normalverteilung entspricht:

Beispiel

import numpy as np
from scipy.stats import kstest

v = np.random.normal(size=100)

res = kstest(v, 'norm')

print(res)

Das Ausgabeergebnis ist:

KstestResult(statistic=0.047798701221956841, pvalue=0.97630967161777515)

Statistische Beschreibung der Daten

Mit der Funktion describe() können Sie Informationen über ein Array anzeigen, einschließlich der folgenden Werte:

  1. nobs -- Anzahl der Beobachtungen
  2. minmax -- minimale und maximale Werte
  3. mean -- mathematischer Mittelwert
  4. variance -- Varianz
  5. skewness -- Schiefe
  6. kurtosis -- Wölbung

Zeigen Sie die statistischen Beschreibungsinformationen des Arrays an:

Beispiel

import numpy as np
from scipy.stats import describe

v = np.random.normal(size=100)
res = describe(v)

print(res)

Das Ausgabeergebnis ist:

DescribeResult(
    nobs=100,
    minmax=(-2.0991855456740121, 2.1304142707414964),
    mean=0.11503747689121079,
    variance=0.99418092655064605,
    skewness=0.013953400984243667,
    kurtosis=-0.671060517912661
  )

Normalitätstest (Schiefe und Kurtosis)

Der Test, der beobachtete Daten verwendet, um zu bestimmen, ob eine Grundgesamtheit einer Normalverteilung folgt, wird Normalitätstest genannt. Er ist ein wichtiger spezieller Hypothesentest zur Anpassung in statistischen Entscheidungen.

Der Normalitätstest basiert auf Schiefe und Kurtosis.

Die Funktion normaltest() gibt den p-Wert der Nullhypothese zurück:

“x 来自正态分布”

Schiefe

Ein Maß für die Symmetrie der Daten.

Bei einer Normalverteilung ist sie 0.

Wenn sie negativ ist, bedeutet das, dass die Daten linksschief sind.

Wenn sie positiv ist, bedeutet das, dass die Daten rechtsschief sind.

Kurtosis

Ein Maß dafür, ob Daten im Vergleich zu einer Normalverteilung schwere oder leichte Verteilungsränder aufweisen.

Positive Kurtosis bedeutet schwere Verteilungsränder.

Negative Kurtosis bedeutet leichte Verteilungsränder.

Berechne die Schiefe und Kurtosis von Werten in einem Array:

Beispiel

import numpy as np
from scipy.stats import skew, kurtosis

v = np.random.normal(size=100)

print(skew(v))
print(kurtosis(v))

Das Ausgabeergebnis ist:

 0.11168446328610283
  -0.1879320563260931

Ermittle, ob die Daten aus einer Normalverteilung stammen:

Beispiel

import numpy as np
from scipy.stats import normaltest

v = np.random.normal(size=100)

print(normaltest(v))

Das Ausgabeergebnis ist:

NormaltestResult(statistic=4.4783745697002848, pvalue=0.10654505998635538)
Andere Erweiterungen