Entdecken Sie Beispiele für Maximum-Likelihood-Schätzungen

Steve Debenport/E+/Getty Images

Angenommen, wir haben a zufällige Probe aus einer interessierten Bevölkerung. Wir haben vielleicht ein theoretisches Modell dafür, wie die Population wird ausgeliefert. Es kann jedoch mehrere Populationen geben Parameter deren Werte wir nicht kennen. Die Maximum-Likelihood-Schätzung ist eine Möglichkeit, diese unbekannten Parameter zu bestimmen.

Die Grundidee hinter der Maximum-Likelihood-Schätzung ist, dass wir die Werte dieser unbekannten Parameter bestimmen. Wir tun dies so, um eine zugehörige gemeinsame Wahrscheinlichkeitsdichtefunktion oder zu maximieren Wahrscheinlichkeit Massenfunktion . Wir werden dies im Folgenden genauer sehen. Dann berechnen wir einige Beispiele der Maximum-Likelihood-Schätzung.

Schritte zur Maximum-Likelihood-Schätzung

Die obige Diskussion kann durch die folgenden Schritte zusammengefasst werden:

1. Beginnen Sie mit einer Stichprobe unabhängiger Zufallsvariablen X₁, X_zwei, . . . X_naus einer gemeinsamen Verteilung jeweils mit Wahrscheinlichkeitsdichtefunktion f(x;θ₁, . . .ich_k). Die Thetas sind unbekannte Parameter.
2. Da unsere Stichprobe unabhängig ist, ergibt sich die Wahrscheinlichkeit, die von uns beobachtete spezifische Stichprobe zu erhalten, aus der Multiplikation unserer Wahrscheinlichkeiten. Dies gibt uns eine Wahrscheinlichkeitsfunktion L(θ₁, . . .ich_k) = f(x₁ich₁, . . .ich_k) f(x_zweiich₁, . . .ich_k) . . . f(x_nich₁, . . .ich_k) = Πf( x_ichich₁, . . .ich_k).
3. Als nächstes verwenden wir Infinitesimalrechnung um die Werte von Theta zu finden, die unsere Wahrscheinlichkeitsfunktion L maximieren.
4. Genauer gesagt differenzieren wir die Likelihood-Funktion L in Bezug auf θ, wenn es einen einzigen Parameter gibt. Wenn es mehrere Parameter gibt, berechnen wir partielle Ableitungen von L in Bezug auf jeden der Theta-Parameter.
5. Um den Prozess der Maximierung fortzusetzen, setzen Sie die Ableitung von L (oder Teilableitungen) gleich Null und lösen Sie nach Theta auf.
6. Wir können dann andere Techniken (z. B. einen zweiten Ableitungstest) verwenden, um zu überprüfen, ob wir ein Maximum für unsere Likelihood-Funktion gefunden haben.

Beispiel

Angenommen, wir haben ein Paket Samen, von denen jeder eine konstante Wahrscheinlichkeit hat p des Keimungserfolgs. Wir pflanzen n von diesen und zähle die Zahl derer, die sprießen. Nehmen Sie an, dass jeder Samen unabhängig von den anderen sprießt. Wie bestimmen wir den Maximum-Likelihood-Schätzer des Parameters? p ?

Wir beginnen mit der Feststellung, dass jeder Seed durch eine Bernoulli-Verteilung mit einem Erfolg von modelliert wird p. Wir lassen X entweder 0 oder 1 sein, und die Wahrscheinlichkeitsmassenfunktion für einen einzelnen Startwert ist f ( x ; p ) = p^x (1 - p )^1-x.

Unser Muster besteht aus n anders X_ich , wobei jede davon eine Bernoulli-Verteilung hat. Die Samen, die sprießen, haben X_ich = 1 und die Samen, die nicht aufgehen, haben X_ich = 0.

Die Wahrscheinlichkeitsfunktion ist gegeben durch:

L ( p ) = P p^x_ich (1 - p )^{1 - x}_ich

Wir sehen, dass es möglich ist, die Likelihood-Funktion umzuschreiben, indem man die Gesetze der Exponenten verwendet.

L ( p ) = p^{S x}_ich (1 - p ) ^{n - S x}_ich

Als nächstes differenzieren wir diese Funktion nach p . Wir gehen davon aus, dass die Werte für alle X_ich sind bekannt und somit konstant. Um die Wahrscheinlichkeitsfunktion zu differenzieren, müssen wir die verwenden Produktregel zusammen mit der Potenzregel :

L' ( p ) = Σx_ich p ^{-1 +S x}_ich(1 - p ) ^{n - S x}_ich - ( n - S x_ich)p^{S x}_ich (1 - p ) ^{n -1 - S x}_ich

Wir schreiben einige der negativen Exponenten um und haben:

L' ( p ) = (1/ p ) S x_ichp^{S x}_ich(1 - p ) ^{n - S x}_ich - 1/(1 - p ) ( n - S x_ich)p^{S x}_ich (1 - p ) ^{n - S x}_ich

= [(1/ p ) S x_ich- 1/(1 - p ) ( n - S x_ich )]_ichp^{S x}_ich(1 - p ) ^{n - S x}_ich

Um nun den Prozess der Maximierung fortzusetzen, setzen wir diese Ableitung gleich Null und lösen nach auf p:

0 = [(1/ p ) S x_ich- 1/(1 - p ) ( n - S x_ich )]_ichp^{S x}_ich(1 - p ) ^{n - S x}_ich

Seit p und 1- p ) ungleich Null sind, haben wir das

0 = (1/ p ) S x_ich- 1/(1 - p ) ( n - S x_ich ).

Beide Seiten der Gleichung multiplizieren mit p (1- p ) gibt uns:

0 = (1 - p ) S x_ich- p ( n - S x_ich ).

Wir erweitern die rechte Seite und sehen:

0 = Σx_ich- p S x_ich- p n + pΣx_ich = Σx_ich- p n .

Also Σ x_ich= p n und (1/n)Σx_ich= p. Dies bedeutet, dass der Maximum-Likelihood-Schätzer von p ist ein Stichprobenmittelwert. Genauer gesagt ist dies der Probenanteil der gekeimten Samen. Dies entspricht perfekt dem, was uns die Intuition sagen würde. Um den Anteil der keimenden Samen zu bestimmen, betrachten Sie zunächst eine Probe aus der interessierenden Population.

Änderungen an den Schritten

Es gibt einige Änderungen an der obigen Liste von Schritten. Wie wir oben gesehen haben, lohnt es sich beispielsweise, etwas Zeit mit etwas Algebra zu verbringen, um den Ausdruck der Likelihood-Funktion zu vereinfachen. Der Grund dafür ist, die Differenzierung einfacher durchführbar zu machen.

Eine weitere Änderung der obigen Liste von Schritten besteht darin, natürliche Logarithmen zu berücksichtigen. Das Maximum für die Funktion L tritt am selben Punkt auf wie für den natürlichen Logarithmus von L. Daher ist die Maximierung von ln L gleichbedeutend mit der Maximierung der Funktion L.

Aufgrund des Vorhandenseins von Exponentialfunktionen in L wird das Nehmen des natürlichen Logarithmus von L oft einige unserer Arbeiten erheblich vereinfachen.

Beispiel

Wir sehen, wie man den natürlichen Logarithmus verwendet, indem wir uns das Beispiel von oben noch einmal ansehen. Wir beginnen mit der Wahrscheinlichkeitsfunktion:

L ( p ) = p^{S x}_ich (1 - p ) ^{n - S x}_ich.

Wir verwenden dann unsere Logarithmusgesetze und sehen, dass:

R( p ) = lnL( p ) = Σx_ichln p + ( n - S x_ich ) ln(1 - p ).

Wir sehen bereits, dass die Ableitung viel einfacher zu berechnen ist:

R'( p ) = (1/ p )Sx_ich- 1/(1 - p )( n - S x_ich ) .

Nun setzen wir wie zuvor diese Ableitung gleich Null und multiplizieren beide Seiten mit p (1 - p ):

0 = (1- p ) S x_ich- p ( n - S x_ich ) .

Wir lösen nach p und finden Sie das gleiche Ergebnis wie zuvor.

Die Verwendung des natürlichen Logarithmus von L(p) ist auf andere Weise hilfreich. Es ist viel einfacher, eine zweite Ableitung von R(p) zu berechnen, um zu überprüfen, ob wir wirklich ein Maximum am Punkt (1/n)Σ x haben_ich= p.

Beispiel

Nehmen wir als weiteres Beispiel an, dass wir eine Zufallsstichprobe X haben₁, X_zwei, . . . X_naus einer Population, die wir mit einer Exponentialverteilung modellieren. Die Wahrscheinlichkeitsdichtefunktion für eine Zufallsvariable hat die Form f ( x ) = ich ^{- 1} und ^{-x /th}

Die Wahrscheinlichkeitsfunktion ist durch die gemeinsame Wahrscheinlichkeitsdichtefunktion gegeben. Dies ist ein Produkt mehrerer dieser Dichtefunktionen:

L(θ) = Πθ ^{- 1} und^-x_ich ^/th= ich ^-n und^{-S x}_ich ^/th

Auch hier ist es hilfreich, den natürlichen Logarithmus der Likelihood-Funktion zu betrachten. Dies zu differenzieren erfordert weniger Arbeit als das Differenzieren der Likelihood-Funktion:

R(θ) = ln L(θ) = ln [θ ^-n und^{-S x}_ich ^/th]

Wir wenden unsere Logarithmengesetze an und erhalten:

R(θ) = ln L(θ) = - n In ich + - S x_ich/th

Wir differenzieren nach θ und haben:

R'(θ) = - n / ich + S x_ich/th ^zwei

Setzen Sie diese Ableitung gleich Null und wir sehen Folgendes:

0 = - n / ich + S x_ich/th ^zwei.

Multiplizieren Sie beide Seiten mit ich ^zweiund das Ergebnis ist:

0 = - n ich + S x_ich .

Verwenden Sie nun Algebra, um nach θ aufzulösen:

θ = (1/n)S x_ich .

Wir sehen daraus, dass der Stichprobenmittelwert die Likelihood-Funktion maximiert. Der Parameter θ zur Anpassung an unser Modell sollte einfach der Mittelwert aller unserer Beobachtungen sein.

Verbindungen

Es gibt andere Arten von Schätzern. Eine alternative Art der Schätzung wird als an bezeichnet unvoreingenommener Schätzer . Für diesen Typ müssen wir den erwarteten Wert unserer Statistik berechnen und feststellen, ob er mit einem entsprechenden Parameter übereinstimmt.