Differences
This shows you the differences between two versions of the page.
Both sides previous revision Previous revision Next revision | Previous revision | ||
lehrkraefte:ks:ffstat2324 [2024/04/26 09:03] Simon Knaus |
lehrkraefte:ks:ffstat2324 [2024/05/31 17:47] (current) Simon Knaus |
||
---|---|---|---|
Line 1: | Line 1: | ||
+ | ==== Lektion 09 ==== | ||
+ | === Ziele === | ||
+ | * Jeder/r weiss, wie das Histogramm einer normalverteilten Zufallsvariable aussieht welcher Prozentsatz innerhalb welches Intervall liegt. | ||
+ | * Jede/r kann die $Z$-Transformierte (standardisierte) eines Merkmals ausrechnen. | ||
+ | * Jede/r kann auf Grund von Histogrammen der $Z$-transformierten Merkmale entscheiden, | ||
+ | * Optional: Jede/r kann die Wahrscheinlichkeit berechnen, dass ein Merkmal innerhalb / ausserhalb eines Intervalls zu liegen kommt. | ||
+ | |||
+ | === Aufträge === | ||
+ | * Theorie durchlesen | ||
+ | * Für die Variablen aus der {{lehrkraefte: | ||
+ | * jeweils standardisieren | ||
+ | * in einer weiteren Spalte zwei Histogramme erstellen: Eines vor und eines nach der Standardisierung (z.B. mit Geogebra) und | ||
+ | * entscheiden, | ||
+ | * Für die normalverteilten Variablen ein Intervall der Form $[a,b]$ angeben, in welchem $95\%$ der Daten zu liegen kommen. | ||
+ | * Intelligenzquotient als Beispiel einer normalverteilten Zufallsgrösse. Schaut euch die Videos unten an. | ||
+ | * [[https:// | ||
+ | * [[https:// | ||
+ | * // | ||
+ | < | ||
+ | Achtung: Es sind nicht alle Grössen normalverteilt, | ||
+ | {{ : | ||
+ | |||
+ | Die Intervalle berechnen sich jeweils aus Mittelwert $\pm$ $2\sigma$: | ||
+ | * Geburtsgewichte: | ||
+ | * Autopreise: $[-4731.3, | ||
+ | * Aktienrenditen: | ||
+ | |||
+ | </ | ||
+ | |||
+ | === Theorie === | ||
+ | == Normalverteilung == | ||
+ | Grosse Teile der Statistik beruhen auf der sogenannten Normaleverteilung. Eine Grösse resp. ein Merkmal ist normalverteilt, | ||
+ | {{ : | ||
+ | |||
+ | == Aussehen Normalverteilung == | ||
+ | Dabei ist wichtig festzuhalten, | ||
+ | |||
+ | {{ : | ||
+ | |||
+ | == Standardnormalverteilung und Standardisieren == | ||
+ | Um nun sicher zu stellen, dass man immer von der gleichen Normalverteilung spricht, transformiert man Merkmale. Wenn $\mu_X=\frac1n\sum_{i=1}^n x_i$ und $\sigma_X=\sqrt{\frac1{n-1}\sum_{i=1}^n(x_i-\mu_X)^2}$ ist, dann sagt man, dass das Merkmal $Z=\frac{X-\mu}{\sigma}$ das **standardisierte** Merkmal von $X$ ist. Man kann dann jede Beobachtung $x_i$ zu $z_i=\frac{x_i-\mu}{\sigma}$ standardisieren. | ||
+ | |||
+ | ^ ^$x_i$^$x_i-\mu_X$^$\frac{x_i-\mu_X}{\sigma_X}$^ | ||
+ | | |-5|-9|-1.21| | ||
+ | | |5|1|0.13| | ||
+ | | |5|1|0.13| | ||
+ | | |0|-4|-0.54| | ||
+ | | |15|11|1.48| | ||
+ | |$\mu$|4|0|0| | ||
+ | |$\sigma$|7.41|7.41|1| | ||
+ | |||
+ | |||
+ | Berechnet man nun den Mittelwert von $Z$ (geschrieben: | ||
+ | <hidden Beweis> | ||
+ | Es gilt ja $\mu_z=\frac{1}{n}\sum_{i=1}^n z_i = \frac{1}{n}\sum_{i=1}^n (x_i-\mu_x) = \frac{1}{n}\sum_{i=1}^n x_i -n\cdot\frac1n \mu_x = \mu_x-\mu_x=0$. | ||
+ | |||
+ | Das gleiche Argument kann für $\sigma_Z$ geführt werden: Die Rechnung wird etwas garstiger, funktioniert aber genau gleich. | ||
+ | </ | ||
+ | |||
+ | Ist nun ein Merkmal $X$ **normalverteilt** so ist das standardisierte Merkmal **standardnormalverteilt**, | ||
+ | |||
+ | | ||
+ | == Wahrscheinlichkeiten == | ||
+ | Für standard-normalverteilte Merkmale -- und damit auch für normalverteilte Merkmale -- können sehr starke Aussagen über die Verteilung gemacht werden. So gilt z.B., dass im Intervall $[\mu_X-\sigma_X, | ||
+ | ^ ^k ^ Prozent in $[\mu_x-k\cdot\sigma_X, | ||
+ | | |1 | $68.3\%$ | | ||
+ | | |2 | $95.4\%$ | | ||
+ | | |3 |$99.7\%$ | | ||
+ | | |4| $\approx 100\%$ | | ||
+ | |||
+ | |||
+ | Hat ein normalverteiltes Merkmal zum Beispiel den Mittelwert $\mu_X=11.2$ und $\sigma_X=3.1$ dann liegen ca. $68\%$ der Daten im Intervall $[8.1, | ||
+ | |||
+ | == Relevanz == | ||
+ | Der Begriff einer (Standard-)normalverteilten Variable ist sehr wichtig: Einerseits, weil theoretisch gezeigt werden dann, dass die Summe vieler gleichartiger und unabhängiger Zufälle **immer** normalverteilt ist und andererseits weil eben gerade die Eigenschaft dazu führt, dass viele Daten in der "Welt da draussen" | ||
+ | |||
+ | Aus einer mathematischen Sicht gilt noch anzumerken, dass zum Teil auch der Logarithmus eines Merkmals normalverteilt sein kann. Dies ist dann der Fall, wenn davon auszugehen ist, dass das Merkmal das Produkt vieler gleichartigen und unabhängigen Zufällen ist. | ||
+ | |||
+ | |||
+ | === Daten in R === | ||
+ | == Daten Einlesen == | ||
+ | < | ||
+ | # Daten aus Clipboard | ||
+ | inputdata <- read.table(file(" | ||
+ | # Gibt ein Dataframe aus der Excel-Zwischenablage zurück, getrennt durch | ||
+ | # Tabulator (so trennt Excel) | ||
+ | |||
+ | # oder | ||
+ | inputdata <- readClipboard(file(" | ||
+ | # Falls eine einzelne Spalte | ||
+ | |||
+ | # oder | ||
+ | inputdata <- read.csv2(" | ||
+ | # Trennung durch Semikolon, daher csv2 | ||
+ | </ | ||
+ | == Daten Standardisieren == | ||
+ | <code R> | ||
+ | insp <- inputdata$V2 | ||
+ | mu <- mean(insp) | ||
+ | sd <- sd(insp) | ||
+ | hist(insp) | ||
+ | hist((insp-mu)/ | ||
+ | </ | ||
+ | Wer möchte, kann '' | ||
+ | |||
+ | <hidden Lösung> | ||
+ | <code R> | ||
+ | inputdata <- read.table(file(" | ||
+ | head(inputdata) | ||
+ | insp <- inputdata$V1 | ||
+ | mu <- mean(insp) | ||
+ | sd <- sd(insp) | ||
+ | par(mfrow = c(2, 1)) | ||
+ | hist(insp, breaks = 40, | ||
+ | hist((insp - mu)/sd, breaks = 40, | ||
+ | curve(dnorm, | ||
+ | |||
+ | </ | ||
+ | </ | ||
+ | |||
+ | |||
+ | ==== Lektion 08 ==== | ||
+ | |||
+ | === Ziele === | ||
+ | |||
+ | * Jede/r kann eine eindimensionale Regression mit R durchführen und interpretieren. | ||
+ | * Jede/r kann das Problem (mathematisch) formulieren, | ||
+ | * Jede/r kann eine Schätzung abgeben, wie viel ein gefahrener Kilometer gemäss dem eigenen Regressionsmodell kostet. | ||
+ | |||
+ | === Aufträge === | ||
+ | * Theorie Regression | ||
+ | * Theorie Regression unten durcharbeiten (oder zuhören) | ||
+ | * [[https:// | ||
+ | * Praxis Regression: | ||
+ | * Regression in den beiden [[https:// | ||
+ | * Scatterplot erstellen | ||
+ | * Regression durchführen, | ||
+ | * Mögliche Fragen: | ||
+ | * Wie lautet die Gleichung der beiden Geraden? | ||
+ | * Welche Gerade ist << | ||
+ | * Regression für ein BMW-Modell durchführen | ||
+ | * Eine Regression durchführen, | ||
+ | * Freiwillig: Anstelle des Preises kann auch der Logarithmus des Preises als $y$-Variable verwendet werden. Wird das Modell ($R^2$) besser oder schlechter? Was heisst das für die Interpretation? | ||
+ | |||
+ | === Theorie === | ||
+ | Bei der Regression geht es letztendlich darum, den Zusammenhang, | ||
+ | |||
+ | Die Idee der Regression ist, die Summe der quadratischen Abstände einer Geraden zu den beobachteten Datenpunkten zu minimieren. Dabei ist wichtig zu beachten, dass nur die **vertikalen** Abstände betrachtet werden: | ||
+ | {{ : | ||
+ | |||
+ | Jede lineare Funktion $g$ kann als $g:y=mx+q$ beschrieben werden. Man sucht also $m$ und $q$ so, dass die quadrierte Summe der Längen der gestrichelten Linien minimal ist. | ||
+ | |||
+ | Streng mathematisch ausgedrückt hat man die Wertepaare $(x_1, | ||
+ | |||
+ | Schliesslich sucht man eben $m$ und $q$ so, dass die Summe | ||
+ | $$ | ||
+ | (y_1-(mx_1+q))^2+(y_2-(mx_2+q))^2+(y_3-(mx_3+q))^2+\cdots (y_n-(mx_n+q))^2=\sum_{i=1}^n (y_i-(mx_i+q))^2 | ||
+ | $$ | ||
+ | minimal ist, das heisst, dass die Summe der quadrierten Abstände möglichst klein ist. | ||
+ | |||
+ | Betrachtet man diese Summe genauer, stellt man fest, dass dieser Ausdruck ein quadratischer Ausdruck ist, wenn man $m$ und $q$ als Variablen betrachtet. In anderen Worten, würde man -- für gegebene Datenpunkte werden $x_i$ und $y_i$ zu Zahlen -- diesen Ausdruck als Graph darstellen, erhielte man eine Parabel. Für Parabeln kann der Scheitelpunkt, | ||
+ | |||
+ | Mit dieser Feststellung kann dann $m= \frac{\sum\limits_{i=1}^n (x_i - \bar x)(y_i - \bar y)}{\sum\limits_{i=1}^n (x_i - \bar x)^2}$ und $q=\bar y-m\bar x$ berechnet werden. Die Berechnung von $m$ und $q$ mit diesen Formeln führt zum Ziel, ist aber umständlich. Alle vernünftigen Datenanalyse-Programme können sogenannte Regressionsanalysen -- oder eben Ausgleichsgeraden -- berechnen. | ||
+ | |||
+ | === R Tipps === | ||
+ | Im Beispiel haben wir ein Datensatz gehabt mit den Spalten '' | ||
+ | Möchte man ausschliesslich die Daten eines Modells, könnte man wie folgt vorgehen: | ||
+ | |||
+ | <code R datenaufbereiten.r> | ||
+ | setwd(" | ||
+ | cardata <- read.table(" | ||
+ | head(cardata) # Erste Zeilen (6) anzeigen | ||
+ | unique(cardata$model) | ||
+ | unique(cardata$treibstoff) | ||
+ | |||
+ | # Nur die Modelle ' | ||
+ | selected <- cardata$model==" | ||
+ | # wie schaut der Vektor aus? | ||
+ | head(selected) | ||
+ | # Wie viele sind' | ||
+ | sum(selected) | ||
+ | |||
+ | # Daten auswählen, d.h. Zeilen auswählen | ||
+ | regdata <- cardata[selected, | ||
+ | |||
+ | |||
+ | |||
+ | </ | ||
+ | |||
+ | |||
+ | |||
+ | === Lösungen === | ||
+ | |||
+ | < | ||
+ | {{ : | ||
+ | |||
+ | {{ : | ||
+ | Berechnet man für die normalen Preise (nicht $\log$) die Regressiongerade, | ||
+ | * x1: $y = -0.3029\cdot x+47132$ | ||
+ | * x3: $y = -0.2412\cdot x+52607$ | ||
+ | * x4: $y = -0.3317\cdot x+65518$ | ||
+ | * x5: $y = -0.35\cdot x+78561$ | ||
+ | * x6: $y = -0.3912\cdot x+82847$ | ||
+ | |||
+ | Für den X1 << | ||
+ | |||
+ | </ | ||
+ | |||
+ | ==== Lektion 07 ==== | ||
+ | === Ziele === | ||
+ | * Jede/r kann einen Scatterplot von zwei Datenreihen / Merkmalen erstellen | ||
+ | * Jede/r kann die Korrelation von zwei Datenreihen / Merkmalen berechnen | ||
+ | * Jede/r kann die Korrelation interpretieren und die Masszahl Punktewolken aus dem Scatterplot zuordnen. | ||
+ | * Erste Ideen für ein eigenes Projekt. | ||
+ | |||
+ | === Auträge === | ||
+ | * Lies die Theorie unten durch. | ||
+ | * Korrelation im Auto-Datensatz | ||
+ | * Wähle ein BMW-Modell und erstelle eine Scatterplott, | ||
+ | * Berechne die Korrelation und das Bestimmtheitsmass für die gewählten Variablen. | ||
+ | * // | ||
+ | |||
+ | * Welche Korrelationen (Vorzeichen und Stärke) vermutest du im Datensatz? Welche zwei Variablen sind jeweils wie korreliert? | ||
+ | * Schau dir die Webseite {{https:// | ||
+ | === Theorie === | ||
+ | Wird ein Zusammenhang zwischen zwei kardinalen Merkmalen vermutet, sollte als erstes ein sogenannter Scatterplot erstellt werden. Zu diesem Zweck, wird das eine Merkmal auf der $x$-Achse und das andere Merkmal auf der $y$-Achse abgetragen. | ||
+ | |||
+ | {{ : | ||
+ | |||
+ | Nun gibt es ein Mass für diesen Zusammenhang: | ||
+ | $$R_{xy}=\frac{\sum\limits_{i=1}^n (x_i-\bar{x})(y_i-\bar{y})}{\sqrt{\sum\limits_{i=1}^n (x_i-\bar{x})^2 \sum\limits_{i=1}^n (y_i-\bar{y})^2}}$$ | ||
+ | Die Korrelation nimmt nur Werte zwischen $-1$ und $1$ an. In Excel wie auch in R sind Funktionen zur Berechnung der Korrelation hinterlegt. Wichtig dabei ist zu beachten, dass die Korrelation nur einen **linearen Zusammenhang** misst: | ||
+ | |||
+ | {{ : | ||
+ | Möchte man die Stärke der Korrelation messen, quadriert man $R_{xy}$ zur $R^2=R_{xy}^2$. Man spricht von einem **<< | ||
+ | |||
+ | Zusammenfassend kann gesagt werden, dass Richtung und Stärke eines linearen Zusammenhangs gemessen werden kann: | ||
+ | |||
+ | * **Richtung: | ||
+ | * **Stärke: | ||
+ | |||
+ | === Korrelation und Kausalität === | ||
+ | Auch wenn $R^2$ sehr gross ist, muss das nicht heissen, dass in Tat und Wahrheit wirklich ein Zusammenhang dieser beiden Variablen vorliegt. Es kann durchaus sein, dass die Korrelation zufällig zu Stande gekommen ist. Man spricht dann auch von **Scheinkorrelation** oder in Englisch von **spurious correlation**. | ||
+ | |||
+ | Kausalität in diesem Zusammenhang besagt, dass ein Merkmal ein anderes bedingt: So ist zum Beispiel bei der Thematik Schuhgrösse und Körpergrösse wirklich davon auszugehen, dass ein kausaler Zusammenhang besteht. | ||
+ | |||
+ | === Umsetzung in R === | ||
+ | In R können Scatterplots mit '' | ||
+ | <code R plot.r> | ||
+ | x <- c(2,3,7,10) | ||
+ | y <- c(7,1,2,30) | ||
+ | plot(x, y, main=" | ||
+ | </ | ||
+ | <hidden Optional: Funktionen zeichnen> | ||
+ | Mit dem gleichen Befehl könnten auch Funktionen gezeichnet werden: | ||
+ | <code R plot.r> | ||
+ | x <- seq(-3,3, by = 0.1) | ||
+ | y <- x^2 | ||
+ | plot(x, y, main=" | ||
+ | plot(x, y, main=" | ||
+ | plot(x, y, main=" | ||
+ | </ | ||
+ | </ | ||
+ | |||
+ | Die Korrelation kann mit '' | ||
+ | <code R plot.r> | ||
+ | x <- c(2,3,7,10) | ||
+ | y <- c(7,1,2,30) | ||
+ | R <- cor(x,y) | ||
+ | R | ||
+ | R^2 | ||
+ | </ | ||
+ | |||
+ | <hidden Optional: Manuelle Umsetzung> | ||
+ | In R werden Vektoren Element für Element multipliziert: | ||
+ | < | ||
+ | x <- c(2,3,7,10) | ||
+ | y <- c(7,1,2,30) | ||
+ | x-mean(x) | ||
+ | (x-mean(x))*(y-mean(y)) | ||
+ | sum((x-mean(x))*(y-mean(y))) | ||
+ | </ | ||
+ | </ | ||
+ | |||
+ | |||
+ | |||
+ | |||
+ | === Korrelationen BMW Datensatz nach Modell === | ||
+ | {{ : | ||
+ | <hidden R-Code> | ||
+ | <code correlation_plot.R> | ||
+ | library(corrplot) | ||
+ | png(" | ||
+ | par(mfrow=c(2, | ||
+ | for(mod in sort(unique(bmw$model))){ | ||
+ | tbmw = subset(bmw, | ||
+ | corbmw <- tbmw[, | ||
+ | corrplot(cor(corbmw, | ||
+ | } | ||
+ | dev.off() | ||
+ | </ | ||
+ | </ | ||
+ | |||
+ | |||
==== Lektion 06 ==== | ==== Lektion 06 ==== | ||
=== Ziele === | === Ziele === | ||
Line 15: | Line 319: | ||
* Überlege dir alternative Masse, um Konzentration resp. Ungleichverteilung (im Einkommenskontext) zu messen. | * Überlege dir alternative Masse, um Konzentration resp. Ungleichverteilung (im Einkommenskontext) zu messen. | ||
| | ||
- | * Besprich mit deinem/r Nachbar:in Ideen für eine eigene Projekte, welche untersucht werden könnte und halte diese [[https:// | + | * Besprich mit deinem/r Nachbar:in Ideen für eine eigene Projekte, welche untersucht werden könnte und halte diese [[https:// |
Line 32: | Line 336: | ||
Zeichnet man nun die Punkte $(\text{Kumulierte relative Anzahl}, | Zeichnet man nun die Punkte $(\text{Kumulierte relative Anzahl}, | ||
- | {{ : | + | {{ : |
---- | ---- | ||
Line 73: | Line 377: | ||
- | <hidden R Code> | + | < |
<code R> | <code R> | ||
computeLorenzCurve <- function(x, plot = T) { | computeLorenzCurve <- function(x, plot = T) { | ||
Line 432: | Line 736: | ||
<code R | intro.R> | <code R | intro.R> | ||
- | setwd(" | + | setwd(" |
cardata <- read.table(" | cardata <- read.table(" | ||
head(cardata) # Erste Zeilen (6) anzeigen | head(cardata) # Erste Zeilen (6) anzeigen |