Meine ersten Schritte in R.Rmd

---
title: "Meine ersten Schritte in R"
subtitle: "Wuppertal (Tagesstudium)"
author: "Norman Markgraf"
date: "Sommersemester 2019/20"
output: word_document
---

```{r setup, include=FALSE}
knitr::opts_chunk$set(echo = TRUE)
library(mosaic)
```

## Vorlesung vom 25.03.2019

Diese Datei muss mit der Endung ".Rmd" gespeichert werden, sonst klappt hier nicht viel!

Zu Beginn einer jeden Vorlesung müssen wir zuerst Mosaic starten. Das geht wie folgt:

```{r}
library(mosaic)
```


In R sind interne Datensätze vorhanden, u.a. der Datensatz "Alcohol", den man aber erst sieht, wenn man hin freischaltet:

```{r}
data(Alcohol)
```


Möchte mensch die ersten Einträge im Datensatz sehen, so geht das mit:

```{r}
head(Alcohol)  # Die ersten Beobchtungen
```


Die letzten Einträge in dem Datensatz können wir mit dem folgenden Befehl erhalten:

```{r}
tail(Alcohol)  # Die letzten Beobachtungen
```


Wir interessieren uns zuerst nur für die Werte aus Deutschland. Wir "filtrieren" dazu den Datensatz wie folgt:

```{r}
Alcohol.Ger <- Alcohol %>% filter(country == "Germany")
```


Falls wir uns nur für das Jahr 2008 interessieren könnten wir wie folgt filtern:

```{r}
Alcohol.2008 <- Alcohol %>% filter(year == 2008) 
```


Wir können also einzelne Beobachtungen "filtern"!

Falls wir uns nur noch für das Jahr 2008 interessieren sind alle anderen Spalten als die Spalten der Länder und der Alkoholmengen für uns uninteressant. Also erzeugen wir und eine neue Tabelle "Alcohol.2008" in der nur das nötigste enthalten ist.
Dazu "filtern" wir das Jahr 2008 herraus und "selektieren" die Spalten country und alcohol:

```{r}
Alcohol.2008 <- Alcohol %>% # Ich bin nur ein Kommentar!!! ;-)
  filter(year == 2008) %>%  # Nur das Jahr 2008 ist von Interesse 
  select(country, alcohol)  # Nur Land und Alkoholverbrauch!
```


Wir sortieren einmal die Daten nach dem Alkoholverbrauch, mit dem Befehl "arrange()":

```{r}
Alcohol.2008.sort <- Alcohol.2008 %>%
  arrange(alcohol)
```


Vielleicht interessiert doch eher der "Rang", das können wir wie folgt hinzufügen. Dazu "mutieren" wir den Datensatz mit dem Befehl `mutate()` und erzeugen so eine neue Spalte:

```{r}
Alcohol.2008.rank <- Alcohol.2008 %>%
  mutate(rank = rank(alcohol))        # Neue Spalte "rank" mit dem Rang hinzufügen!
```


Und auf welchem Rang steht nun Deutschland?

```{r}
Alcohol.2008.rank %>% 
  filter(country == "Germany")
```


Wie sieht das mit Deutschland, Österreich, Schweiz, Spanien, Griechenland und Groß-Britanien im Vergleich aus?

```{r}
Alcohol.2008.rank %>% filter(
  country == "Germany" |
  country == "Austria" |
  country == "Switzerland" |
  country == "Spain" |
  country == "Greece" |
  country == "United Kingdom"
)
```


Wie speichert R das intern ab?

```{r}
str(Alcohol)
```


Und was hat R an Daten erkannt und wie?

```{r}
inspect(Alcohol)
```


## Vorlesung vom 01.04.2019

Wir laden zunächst "mosaic":

```{r}
library(mosaic)
```


Dann laden wir die "tipping"-Daten herunter und lesen diese in die Variable "tips":

```{r}
download.file("https://goo.gl/whKjnl", destfile="tips.csv")
tips <- read.csv2("tips.csv")
```


Wir laden nun noch "gridExtra" nach, da wir später zwei Tabellen nebeneinander darstellen möchten:

```{r}
library(gridExtra)
```


Wir schauen uns als erstes den Datensatz "tips" einmal an:

```{r}
str(tips)
```


Noch ein Blick mit `inspect` auf die Daten:

```{r}
inspect(tips)
```



Wir sehen: 

- "Factor" steht für kategorielle Variabeln mit .. "levels" für die Anzahl der unterschiedlichen Ausprägungen.
- "int" steht für ganzzahlige Werte.
- "num" steht für reelwertige Werte.


### Säulen und Balkendiagramme in R

Mit "grind.arrange" können wir die zwei Diagramme (plot1 und plot2) nebeneinander darstellen:

```{r}
# Zwei Plots erzeugen
plot1 <- gf_bar(             # Säulendiagramm
                 ~ sex,      # (unabhängige) Variable, die analysiert wird.
                 data = tips # Daten aus dem Datensatz "tips"
  )
plot2 <- gf_barh(             # Balkendiagramm
                 ~ sex,      # (unabhängige) Variable, die analysiert wird.
                 data = tips # Daten aus dem Datensatz "tips"
  )
grid.arrange(plot1, plot2, nrow=1)
```


Um den Anteil der Frauen im Datensatz zu bestimmen nutzt mensch:

```{r}
prop( ~ sex, success = "Female", data=tips)
```


Die *absoluten* Häufigkeiten als Tabelle erhalten wir mit:

```{r}
tally( ~ sex, data=tips)
```


Die *relativen* Häufigkeiten als Tabelle erhalten wir mit:

```{r}
tally( ~ sex,
       format = "proportion",
       data=tips)
```



```{r}
gf_bar(   # Säulendiagramm (engl. bar chart)
  ~ sex   # analysiere das Geschlecht
  | time, # gruppiere nach der Zeit
  data = tips # Datensatz "tips"
  )
```


Die Tabellen zu der Grafik:

```{r}
tally(   # tabelle (engl. tally für Stichliste)
  ~ sex   # analysiere das Geschlecht
  | time, # gruppiere nach der Zeit
  format = "proportion", # gib Anteilswerte an
  data = tips # Datensatz "tips"
  )
```


```{r}
tally( ~ smoker | day, format="proportion", data = tips )
tally( ~ day | smoker, format="proportion", data = tips )
```


### Übung 31

```{r}
gf_histogram( ~ tip,          # Analysiere die Trinkgelder  
              binwidth = 1,   # Breite der bins (Körbe)
              center = 0.5,   # Mitte des bins (Korbmitte)
              data = tips)    # Datensatz tips
```


## Vorlesung vom 8.4.2019

Zunächst laden wir noch einmal "Mosaic" und den Datensatz "tips":

```{r}
library(mosaic)
tips <- read.csv2("tips.csv")
```


Ein Blick auf die Daten mit dem "inspect"-Befehl:

```{r}
inspect(tips)
```


Ein Blick auf die Kennzahlen des Rechnungsbetrages:

```{r}
favstats( ~ total_bill, data=tips)
```


Ein Boxplot:

```{r}
gf_boxplot( ~ tip , data=tips)
```


### Übung 48:

```{r}
gf_boxplot( total_bill ~ smoker, data= tips)
```
```{r}
gf_boxplot( ~ total_bill | smoker , data=tips)
```


```{r}
gf_boxplot( ~ total_bill | sex, data = tips)
```


Die Kennzahlen zum Boxpolot:

```{r}
favstats( ~ total_bill | sex , data=tips)
```


Ein Blick auf das Steudiagramm, Trinkgeld in Abhängigkeit von Rechnungsbetrag:

```{r}
gf_point(tip ~ total_bill, data=tips)
```


Wie sieht der (Pearson-)Korrelationskoeffizent dazu aus? - Antwort:

```{r}
cor(tip ~ total_bill, data=tips)
```


Wir fügen eine neue Spalte "rel_tip" mit *relativer Trinkgeldhöhe* (= *Trinkgeld*/*Rechnungsbetrag*):

```{r}
tips <- tips %>%
  mutate(rel_tip = tip/total_bill)
```


Das Streudiagramm *relative Trinkgeldhöhe* in Abhängigkeit vom *Rechnungsbetrag*

```{r}
gf_point(rel_tip ~ total_bill, data=tips)
```


So sieht es aus, wenn wir die unabhängige und abhängige Variablen (aus versehen ;-) ) vertauschen:

```{r}
gf_point( total_bill ~ rel_tip, data=tips)
```


Der Rechnungsbetrag für Raucher und Nichtraucher als Histogramm:

```{r}
gf_histogram( ~ total_bill | smoker, data=tips)
```


Der Rechnungsbetrag für Raucher und Nichtraucher als Boxplot:

```{r}
gf_boxplot( ~ total_bill | smoker, data=tips)
```


Die Kennzahlen des Rechnungsbetrag für Raucher und Nichtraucher getrennt:

```{r}
favstats( ~ total_bill | smoker, data=tips)
```


Der *Interquartilsabstang* (*idr* für *inter quartil range*):

```{r}
iqr( ~ total_bill | smoker, data=tips)
```



## Vorlesung vom 29.4.2019

Zu erst MOSAIC und die tipping-Daten laden:

```{r}
library(mosaic)
tips <- read.csv2("tips.csv")
```

Wie sieht der Zusammenhang zwischen Rechnungsbetrag und Trinkgeld aus?



```{r}
gf_point(tip ~ total_bill, data=tips)
```



```{r}
cor(tip ~ total_bill, data=tips)

```




## Vorlesung vom 16.4.2019

Wir laden Mosaic und die tipping Daten (nochmal) in den Speicher:


```{r}
library(mosaic)
tips <- read.csv2("tips.csv")
```

Wir betrachten den Frauenanteil der Rechnungszahler*innen

```{r}
tally( ~ sex, data=tips, format = "proportion")
```

und visualisieren das ganze mit einem Säulendiagramm:

```{r}
gf_bar( ~ sex, data=tips, format = "proportion")
```

Wir wollen nun also den Frauenanteil unter der H0 simulieren:

```{r}
set.seed(2019416)

Nullvtlg <- do(10000) *  # Wiederhole 10.000 mal einen Münzwurf
  rflip(n=nrow(tips))    # von jeweils genau so vielen Zeilen wie in tips
```

Und dann visualisieren wir die Verteilung:
```{r}
gf_histogram( ~ prop, data=Nullvtlg)
```

Der beobachtete Frauenanteil in der Stichprobe als Schätzwert für $\pi$.

```{r}
propdach <- prop( ~ sex, data=tips, success="Female")
propdach
```

Die Quantile für extreme Werte in der Verteilun unter der H0 ($pi = 0.5$ und $\alpha = 5\%$):

```{r}
quantile( ~ prop, data=Nullvtlg, probs = c(0.025, 0.975))
```



Der klassiche Test eines Anteilswerts:
```{r}
binom.test( ~ sex,
            p = 0.5,
            success="Female",
            alternative = "two.sided",
            data=tips)
```



Deskriptive Ananlyse der Rechnungshöhe:

```{r}
gf_histogram( ~ total_bill, data=tips)
```



```{r}
favstats( ~ total_bill, data=tips)
```

Um eine Aussage über die mittlere Rechnungshöhe in der Popilation geben zu können, berechnen wir das Bootstrap-95%-KI:

```{r}
set.seed(20191604)

Bootvtlg <- do(10000) *
  mean( ~ total_bill, data=resample(tips))
```

Wir visualisieren nun die Bootstrap-Verteilun mit Hilfe eines Histogramms:

```{r}
gf_histogram( ~ mean, data = Bootvtlg)
```


Wir bestimmen nun aus der Bootstrapverteilung das 95%-Bootstrap-KI:
```{r}
quantile( ~ mean, data=Bootvtlg, probs= c(0.025, 0.975))
```



der klassische Einstichproben-t-Test lautet:
```{r}
t.test( ~ total_bill,
        mu = 15,
        alternative = "greater",
        data=tips)
```

Was passiert mit dem p-Wert, wenn wir statt mit $\mu\leq 15$ mit $\mu \leq 19{,}5$ rechnen?

```{r}
t.test( ~ total_bill,
        mu = 19.5,
        alternative = "greater",
        data=tips)
```


## Vorlesung vom 13.05.2019

Wir laden Mosaic und die tipping Daten (nochmal) in den Speicher:

```{r}
library(mosaic)
tips <- read.csv2("tips.csv")
```


Wir erstellen ein Lineares Modell:

```{r}
erglm1 <- lm(tip ~ total_bill, data=tips)
erglm1
```


```{r}
summary(erglm1)
```


### Lineares Modell: numerisch ~ kategorial

```{r}
erglm2 <- lm(tip ~ smoker, data=tips)
erglm2
```


```{r}
summary(erglm2)
```


Nullhypothese: $H_0: \beta_1 = 0$ d.h. es gibt keinen (lineare) Zusammenhang zwischen Trinkgeldhöhe und Raucher*innen am Tisch.

```{r}
set.seed(2009)
Bootvtlg <- do(10000)* 
  lm(tip ~ smoker, data=resample(tips))
gf_histogram( ~ smokerYes, data=Bootvtlg) %>%
  gf_vline(xintercept = 0)  # Wert der Nullhypothese!
# 95%-Bootstrap-KI:
quantile( ~ smokerYes, probs=c(0.975, 0.025), data=Bootvtlg)
```




```{r}
set.seed(2009)
Nullvtlg <- do(10000) *
  lm(tip ~ shuffle(smoker), data=tips)

stipro_beta_1 <- coef(lm(tip ~ smoker, data=tips))[2]

gf_histogram( ~ smokerYes, data=Nullvtlg) %>%
  gf_vline(xintercept = stipro_beta_1)

# 95%-Annahmebereich:
quantile( ~ smokerYes, probs=c(0.975, 0.025), data=Nullvtlg)
```

## Übunng 125

```{r}
lm(total_bill ~ day, data=tips)
```


## Vorlesung 27.05.2019

Wie immer laden wir zu erst Mosaic:

```{r}
library(mosaic)
```

Danach laden wir die Daten in den Speicher, genauer in die Variable "tips", mit dem Befehl:

```{r}
tips <- read.csv2("tips.csv")
```


```{r}
erglm4 <- lm( tip ~ total_bill + smoker + total_bill:smoker, data= tips)
summary(erglm4)
```

```{r}
erglm5 <- lm( tip ~ total_bill + smoker + total_bill:smoker + day + total_bill:day, data= tips)
summary(erglm5)
```

```{r}
tips %>%
  mutate(isSunday = case_when( day == "Sun" ~ "Sunday", TRUE ~ "NotSunday")) -> tips_mod
 
```

```{r}
erglm6 <- lm( tip ~ total_bill + smoker + total_bill:smoker + isSunday + total_bill:isSunday, data= tips_mod)
summary(erglm6)
```

```{r}
plotModel(erglm6)
```

```{r}
erglm7 <- lm( tip ~ total_bill + smoker + total_bill:smoker + isSunday + total_bill:isSunday, data= tips_mod)
summary(erglm7)
```

Wir schauen uns nun die Modelle an. Als Maß nehmen wir die Summe der absoluten Abweichungen:

```{r}
tips_mod %>% select(total_bill, smoker, isSunday) ->tips_test

# Einfaches Model: tip ~ total_bill:
sum(abs(predict(lm(tip ~ total_bill, data=tips), newdata = tips_test, interval="prediction")[,1]-tips$tip))

# Verbessertes Modell: tip ~ total_bill + smoker + total_bill:smoker
sum(abs(predict(erglm4, newdata = tips_test, interval="prediction")[,1]-tips$tip))

# Weiter verbessertes Modell: tip ~ total_bill + smoker + total_bill:smoker + isSunday + total_bill:isSunday
sum(abs(predict(erglm7, newdata = tips_test, interval="prediction")[,1]-tips$tip))
```


## Datenhandling

Auswählen von Spalten mit dem Befehl `select()`:

```{r}
tips %>%                       # %>% aka Pipe bedeutet: UND DANN 
  select(sex, total_bill) %>%  # wähle die Spalten `sex` und `total_bill` aus UND DANN
  inspect()
```



### Lösung zur Aufgabe 139 (Logik):

```{r}
(TRUE|FALSE) & (FALSE)
```

### Beobachtungen auswählen mit `filter()`:

Wir wollen nur die Beobachtungen weiterverarbeiten, wo Frauen bezahlt haben (sex=="Female) und der Rechnungsbetrag größer als 20 US-$ war:

```{r}
tips %>%
  filter(sex=="Female" & total_bill>20) %>%
  inspect()
```

### Übung 141

```{r}
tips %>%
  filter(time=="Dinner" & smoker == "Yes") %>%
  select(tip) %>%
  inspect()
```

Wie hoch ist Summe aus Rechnungsbetrag und Trinkgeld?

```{r}
tips %>%
  mutate(paid = total_bill + tip) %>%
  select(paid) %>%
  inspect()

```

### Übung 142:

```{r}
tips %>%
  mutate(rel_tip = tip/total_bill) %>%
  filter(rel_tip > 0.1) %>%
  nrow()                                # Wie viele Beobachtungen hat der Datensatz?
```


```{r}
tips %>%
  mutate(bill = case_when(total_bill <= 10 ~ "low",
                          total_bill <= 20 ~ "middle",
                          total_bill >20   ~ "high")) %>%
  select(bill) %>%
  table()
```