Processing math: 100%

The hardware and bandwidth for this mirror is donated by METANET, the Webhosting and Full Service-Cloud Provider.
If you wish to report a bug, or if you are interested in having us mirror your free-software or open-source project, please feel free to contact us at mirror[@]metanet.ch.

log-likelihood-gradients

Ableitung der Log-Likelihood

L(θθ)=kln(2π)⏟1+ln(|ΣΣ(θθ)|)⏟2+(xx−μμ(θθ))TΣΣ(θθ)−1(xx−μμ(θθ))⏟3

Wir wollen nach θθ ableiten.

Element 1

Es gilt ∂∂θjkln(2π)=0

Element 2

Es gilt:

∂∂θjln(|ΣΣ(θθ)|)=1|ΣΣ(θθ)|∂∂θj|ΣΣ(θθ)|

Jacobis Formel:

∂∂θj|ΣΣ(θθ)|=|ΣΣ(θθ)|tr(ΣΣ(θθ)−1∂∂θjΣΣ(θθ)) und somit:

∂∂θjln(|ΣΣ(θθ)|)=1|ΣΣ(θθ)||ΣΣ(θθ)|tr(ΣΣ(θθ)−1∂∂θjΣΣ(θθ))=tr(ΣΣ(θθ)−1∂∂θjΣΣ(θθ))

Wir brauchen also die Ableitung der modell-implizierten Kovarianzmatrix nach den Parametern: ∂∂θjΣΣ(θθ). Dabei gilt: ΣΣ(θθ)=FF(II−AA)−1SS((II−AA)−1)TFFT.

Fall 1: Der Parameter θj ist in SS.

Dann gilt: Außer SS kann alles andere als Konstante behandelt werden. Es folgt:

∂∂θjΣΣ(θθ)=FF(II−AA)−1∂∂θjSS((II−AA)−1)TFFT wobei ∂∂θjSS eine sparse Matrix mit einsen an den Stellen ist, an denen θj vorkommt.

Zusammenfassung:

∂∂θjln(|ΣΣ(θθ)|)=tr(ΣΣ(θθ)−1FF(II−AA)−1∂∂θjSS((II−AA)−1)TFFT)

Achtung: Wenn die Person Missings hat, kann man die Matrix FF so anpassen, dass die entsprechenden Zeilen und Spalten herausfallen.

Fall 2: Der Parameter θj ist in AA.

Dann gilt: Außer AA kann alles andere als Konstante behandelt werden. Zudem gilt: ∂∂aiAA−1=AA−1∂AA∂aiAA−1 (https://math.stackexchange.com/questions/4074265/derivative-involving-inverse-matrix?noredirect=1&lq=1). Es folgt:

∂∂θjΣΣ(θθ)=FF[(II−AA)−1∂AA∂θj(II−AA)−1][SS((II−AA)−1)TFFT]+FF(II−AA)−1SS[(II−AA)−1∂AA∂θj(II−AA)−1]TFFT

Zusammenfassung:

∂∂θjln(|ΣΣ(θθ)|)=tr(ΣΣ(θθ)−1[FF[(II−AA)−1∂AA∂θj(II−AA)−1][SS((II−AA)−1)TFFT]+FF(II−AA)−1SS[(II−AA)−1∂AA∂θj(II−AA)−1]TFFT])

Fall 3: Der Parameter θj ist in mm, wobei mm die Mittelwertstruktur des SEM ist.

Dann gilt: Die Ableitung ist 0.

Hinweis: Element 2 ist unabhängig vom Datensatz!

Element 3

∂∂θj(xx−μμ(θθ))TΣΣ(θθ)−1(xx−μμ(θθ))

Es gilt:

∂∂θj(xx−μμ(θθ))TΣΣ(θθ)−1(xx−μμ(θθ))=[∂∂θj(xx−μμ(θθ))T]ΣΣ(θθ)−1(xx−μμ(θθ))+(xx−μμ(θθ))T∂∂θj[ΣΣ(θθ)−1(xx−μμ(θθ))]=[∂∂θj(xx−μμ(θθ))T]ΣΣ(θθ)−1(xx−μμ(θθ))+(xx−μμ(θθ))T[∂∂θjΣΣ(θθ)−1](xx−μμ(θθ))+(xx−μμ(θθ))TΣΣ(θθ)−1∂∂θj[(xx−μμ(θθ))]

mit μμ(θθ)=FF(II−AA)−1mm wobei mm die Mittelwertstruktur des SEMs ist.

Fall 1: Der Parameter θj ist in SS.

Dann gilt: Außer SS kann alles andere als Konstante behandelt werden. Es folgt: [∂∂θj(xx−μμ(θθ))T]=0 und somit

[∂∂θj(xx−μμ(θθ))T]ΣΣ(θθ)−1(xx−μμ(θθ))+(xx−μμ(θθ))T[∂∂θjΣΣ(θθ)−1](xx−μμ(θθ))+(xx−μμ(θθ))TΣΣ(θθ)−1∂∂θj[(xx−μμ(θθ))]=(xx−μμ(θθ))T[∂∂θjΣΣ(θθ)−1](xx−μμ(θθ))

Es gilt (https://math.stackexchange.com/questions/4074265/derivative-involving-inverse-matrix?noredirect=1&lq=1): ∂∂θjΣΣ(θθ)−1=−ΣΣ(θθ)−1∂∂θjΣΣ(θθ)Σ(θθ)−1 und somit:

∂∂θj(xx−μμ(θθ))TΣΣ(θθ)−1(xx−μμ(θθ))=(xx−μμ(θθ))T[∂∂θjΣΣ(θθ)−1](xx−μμ(θθ))=(xx−μμ(θθ))T[−ΣΣ(θθ)−1∂∂θjΣΣ(θθ)Σ(θθ)−1](xx−μμ(θθ))=(xx−μμ(θθ))T[−ΣΣ(θθ)−1FF(II−AA)−1∂∂θjSS((II−AA)−1)TFFTΣΣ(θθ)−1](xx−μμ(θθ))

Hinweis: Der letzte Schritt wurde bei Element 2 besprochen.

Fall 2: Der Parameter θj ist in AA.

AA findet sich auch in der Mittelwertstruktur wieder. Hier gilt

∂∂θj(xx−μμ(θθ))TΣΣ(θθ)−1(xx−μμ(θθ))=[∂∂θj(xx−μμ(θθ))T]ΣΣ(θθ)−1(xx−μμ(θθ))+(xx−μμ(θθ))T[∂∂θjΣΣ(θθ)−1](xx−μμ(θθ))+(xx−μμ(θθ))TΣΣ(θθ)−1∂∂θj[(xx−μμ(θθ))]

mit [∂∂θj(xx−μμ(θθ))]=[−∂∂θjμμ(θθ))]=−∂∂θjFF(II−AA)−1mm=−FF(II−AA)−1∂(II−AA)∂θj(II−AA)−1mm

Es folgt: ∂∂θj(xx−μμ(θθ))TΣΣ(θθ)−1(xx−μμ(θθ))=2∗[−FF(II−AA)−1∂(II−AA)∂θj(II−AA)−1mm]TΣΣ(θθ)−1(xx−μμ(θθ))+(xx−μμ(θθ))T[∂∂θjΣΣ(θθ)−1](xx−μμ(θθ))=2∗[−FF(II−AA)−1∂(II−AA)∂θj(II−AA)−1mm]TΣΣ(θθ)−1(xx−μμ(θθ))+(xx−μμ(θθ))T[−ΣΣ(θθ)−1[FF[(II−AA)−1∂AA∂θj(II−AA)−1][SS((II−AA)−1)TFFT]+FF(II−AA)−1SS[(II−AA)−1∂AA∂θj(II−AA)−1]TFFT]ΣΣ(θθ)−1](xx−μμ(θθ))

Hinweis: Der letzte Schritt wurde bei Element 3 besprochen.

Fall 3: Der Parameter θj ist in mm.

Dann gilt: Außer μμ(θθ)=FF(II−AA)−1mm kann alles andere als Konstante behandelt werden.

∂∂θj(xx−μμ(θθ))TΣΣ(θθ)−1(xx−μμ(θθ))=[∂∂θj(xx−μμ(θθ))T]ΣΣ(θθ)−1(xx−μμ(θθ))+(xx−μμ(θθ))T∂∂θj[ΣΣ(θθ)−1(xx−μμ(θθ))]=[∂∂θj(xx−μμ(θθ))T]ΣΣ(θθ)−1(xx−μμ(θθ))+(xx−μμ(θθ))TΣΣ(θθ)−1∂∂θj[(xx−μμ(θθ))]=(−FF(II−AA)−1ee)TΣΣ(θθ)−1(xx−μμ(θθ))+(xx−μμ(θθ))TΣΣ(θθ)−1(−FF(II−AA)−1ee)=2∗(−FF(II−AA)−1ee)TΣΣ(θθ)−1(xx−μμ(θθ)) wobei ee=[00...1...0]T ein Vektor ist, der eine eins an der Stelle hat, an der θj in mm sitzt.

These binaries (installable software) and packages are in development.
They may not be fully stable and should be used with caution. We make no claims about them.