Kapitel 13 Textzerlegung
13.2 Text öffnen
In der R-Umgebung haben wir mehrere Möglichkeiten, Textdateien zu öffnen.
Hier verwenden wir read_lines(), ein Programm, das mit dem Programmbündel tidyverse geladen wird.
Bei langen Texten vermeiden wir es, den ganzen Text in den Arbeitsspeicher (RAM) zu laden, weil das lange dauern kann.
Stattdessen verwenden wir Befehle wie substr() oder die tidyverse-Funktion str_sub(), um uns einen Teil des Textes anzuschauen.
novels_r = read_lines("data/books/tom.txt")
# Ansicht der ersten 300 Zeichen
substr(novels_r, start = 1, stop = 300)## [1] "Tom Sawyer by Mark Twain Aligned by : András Farkas ( autoalignment ) Source : Project Gutenberg Die Abenteuer Tom Sawyers Mark Twain Vorwort des Autors . Die meisten der hier erzählten Abenteuer haben sich tatsächlich zugetragen . Das eine oder das andere habe ich selbst er"# oder
str_sub(novels_r, start = 1, end = 300)## [1] "Tom Sawyer by Mark Twain Aligned by : András Farkas ( autoalignment ) Source : Project Gutenberg Die Abenteuer Tom Sawyers Mark Twain Vorwort des Autors . Die meisten der hier erzählten Abenteuer haben sich tatsächlich zugetragen . Das eine oder das andere habe ich selbst er"13.3 Zerlegung des Textes
13.3.1 Tabelle
Um Texteinheiten wie z.B. Wörter, Buchstaben oder Sätze / Äußerungen zählen zu können, müssen wir den Text zuerst in kleinere Teile zerlegen, in der Fachsprache als Tokenisierung bekannt (tokens extrahieren).
Für die Tokenisierung von Zeichenfolgen (Texten) gibt es in der R-Sprache viele Programme (z.B. quanteda, tidytext) und verschiedene Möglichkeiten (mit ihren Vor- und Nachteilen).
Hier verwenden wir das zuletzt genannte Programm und seine Funktion unnest_tokens().
Im ersten Schritt wandeln wir die Textdatei in einen Datensatz um, so dass wir mit den gut verständlichen tidyverse-Funktionen arbeiten können.
Das machen wir mit der Funktion as_tibble(), die in diesem Fall eine Tabelle mit einer einzigen Spalte erzeugt.
Der Default-Name der Spalte “value” wird mit rename() umbenannt.
Der neue (bessere) Spaltenname ist “text”, was wir mit colnames() überprüfen können.
Wir geben dieser Tabelle einen neuen Namen (“novels_df”).
novels_df = as_tibble(novels_r) %>%
rename(text = value)
colnames(novels_df)## [1] "text"13.3.2 Äußerungen
Im zweiten Schritt verwenden wir die Tabelle “novels_df” als Ausgangspunkt für die Tokenisierung.
Wir zerlegen die Zeichenfolge in der Spalte “text” in Sätze (genau genommen: Äußerungen), und zwar mit Hilfe der Funktion unnest_tokens() des Programms tidytext.
Wir geben dieser Tabelle einen neuen Namen, und zwar “novels_sents”.
Die Funktion unnest_tokens verlangt die folgende Reihenfolge: zuerst muss der Datensatz angegeben werden (hier: “novels_df”), dann der Name der Tabellenspalte, die in kleinere Einheiten zerlegt werden soll (hier: “text”), gefolgt von der Angabe, in welche Einheit wir die Zeichenfolge umformen wollen (hier: “sentences”).
Die neue Tabelle enthält nur eine Spalte (nur die Äußerungen), da wir die Option drop = TRUE beibehalten (denn sonst würde die neue Tabelle eine weitere Spalte mit dem ganzen Text enthalten, und zwar in jeder Tabellenzeile - sehr belastend für den Arbeitsspeicher!).
Außerdem verhindern wir mit to_lower = FALSE, dass alle Wörter in der Spalte klein geschrieben werden.
Die im Deutschen übliche Groß- und Kleinschreibung von Wörtern soll in dieser Spalte beibehalten werden.
Zuletzt entfernen wir noch die erste Zeile in der Tabelle, da sie nicht zum Text gehört.
Das machen wir mit novels_sents[-1,]: dem Namen der Tabelle folgen eckige Klammern; die Zahl -1 vor dem Komma bezieht sich auf die erste Tabellenzeile; das Minuszeichen vor der Zahl besagt, dass diese Zeile entfernt werden soll; nach dem Komma steht nichts, d.h.
alle Spalten in der Tabelle bleiben unverändert.
Zur Identifizierung der Reihenfolge der Äußerungen fügen wir der Tabelle noch eine Spalte hinzu: mit mutate() erzeugen wir die Spalte “sentence_id”, und zwar indem wir die einzelnen Zeilenzahlen row_number() mit Hilfe der Anzahl der Tabellenzeilen length() festlegen.
novels_sents = novels_df %>%
unnest_tokens(sentence, text, token = "sentences", drop = TRUE, to_lower = FALSE)
novels_sents = novels_sents[-1,]
novels_sents = novels_sents %>%
mutate(sentence_id = row_number(1:length(novels_sents$sentence)))
head(novels_sents)## # A tibble: 6 x 2
## sentence sentence_id
## <chr> <int>
## 1 Die meisten der hier erzählten Abenteuer haben sich tatsächlich z~ 1
## 2 Das eine oder das andere habe ich selbst erlebt , die anderen mei~ 2
## 3 Huck Finn ist nach dem Leben gezeichnet , nicht weniger Tom Sawye~ 3
## 4 Ich muß hier bemerken , daß zur Zeit meiner Erzählung -- vor drei~ 4
## 5 Obwohl dies Buch vor allem zur Unterhaltung der kleinen Welt gesc~ 5
## 6 Erstes Kapitel . , ,Tom ! 6tail(novels_sents)## # A tibble: 6 x 2
## sentence sentence_id
## <chr> <int>
## 1 "\" Schluß ." 4679
## 2 "So endet diese Geschichte ." 4680
## 3 "Da es nur die Geschichte eines Jungen sein soll , muß sie hier e~ 4681
## 4 "Wenn jemand eine Erzählung über erwachsene Leute schreibt , weiß~ 4682
## 5 "Die meisten der in diesem Buch vorkommenden Personen leben noch ~ 4683
## 6 "Vielleicht erscheint es eines Tages als angebracht , die Geschic~ 468413.3.3 Wörter
Unser nächstes Ziel ist die Zerlegung der Äußerungen in kleinere Einheiten: Wörter. Das können wir auf ähnliche Weise bewerkstelligen wie im vorherigen Schritt.
Ausgangspunkt ist nun die Tabelle “novels_sents”.
Im unnest_tokens()-Befehl geben wir den Namen der hier gewünschten Einheit an (“word”), dann den Namen der Tabellenspalte mit den Äußerungen (“sentence”) und die gewünschte Einheit, in die wir die Äußerungen umformen möchten (“words”).
Außerdem wollen wir die Tabellenspalte “sentence” beibehalten, weshalb wir drop = FALSE auswählen.
In der neuen Tabellenspalte “word” sollen alle Wörter klein geschrieben werden, was wir mit to_lower = TRUE erreichen.
Wir fügen der Tabelle (ähnlich wie im Fall der “sentence_id”) auch eine weitere Spalte hinzu, der wir die ursprüngliche Reihenfolge der Wörter entnehmen können: “word_id”.
novels_words = novels_sents %>%
unnest_tokens(word, sentence, token = "words", drop = FALSE, to_lower = TRUE)
novels_words = novels_words %>%
mutate(word_id = row_number(1:length(novels_words$word)))Bei der Durchsicht des Textes oder auch der Tabelle fallen ungewohnte Wortformen mit einem Unterstrich “-” auf. Wir entfernen den Unterstrich am Anfang und Ende der Wortformen.
novels_words = novels_words %>%
mutate(word = str_replace_all(word, "_", ""))
head(novels_words)## # A tibble: 6 x 4
## sentence sentence_id word word_id
## <chr> <int> <chr> <int>
## 1 Die meisten der hier erzählten Abenteuer haben sich~ 1 die 1
## 2 Die meisten der hier erzählten Abenteuer haben sich~ 1 meis~ 2
## 3 Die meisten der hier erzählten Abenteuer haben sich~ 1 der 3
## 4 Die meisten der hier erzählten Abenteuer haben sich~ 1 hier 4
## 5 Die meisten der hier erzählten Abenteuer haben sich~ 1 erzä~ 5
## 6 Die meisten der hier erzählten Abenteuer haben sich~ 1 aben~ 613.3.4 Buchstaben
Wenn wir auch Buchstaben zählen wollen, können wir die Wörter auf ähnliche Weise zerlegen und eine “char_id” (ursprüngliche Reihenfolge der Buchstaben) hinzufügen.
novels_ch = novels_words %>%
unnest_tokens(char, word, token = "characters", drop = FALSE, to_lower = TRUE)
novels_ch = novels_ch %>%
mutate(char_id = row_number(1:length(novels_ch$char)))
head(novels_ch)## # A tibble: 6 x 6
## sentence sentence_id word word_id char char_id
## <chr> <int> <chr> <int> <chr> <int>
## 1 Die meisten der hier erzählten Abente~ 1 die 1 d 1
## 2 Die meisten der hier erzählten Abente~ 1 die 1 i 2
## 3 Die meisten der hier erzählten Abente~ 1 die 1 e 3
## 4 Die meisten der hier erzählten Abente~ 1 meis~ 2 m 4
## 5 Die meisten der hier erzählten Abente~ 1 meis~ 2 e 5
## 6 Die meisten der hier erzählten Abente~ 1 meis~ 2 i 613.3.5 Ziffern umwandeln
Unter den tokens (Vorkommnisse von Wortformen) sind auch Ziffern. Da sie im Text nicht wie Wörter geschrieben werden, zählen wir sie gewöhnlich nicht mit.
Wir könnten die Ziffern aus der Tabelle entfernen oder als unbestimmte Ziffernfolge (z.B. “0000”) zusammenfassen.
Entfernen ist die einfachere Möglichkeit und oft auch die sinnvollere, wenn man davon ausgeht, dass die Zahlen keine wichtige Information zum Gesamtext beitragen. Wir erhalten 29 leere Zeilen.
novels_ch %>%
mutate(word = str_remove_all(word, "[^a-zA-Z]")) %>%
count(word)## # A tibble: 9,603 x 2
## word n
## <chr> <int>
## 1 "" 29
## 2 "a" 15
## 3 "ab" 60
## 4 "abbekommen" 10
## 5 "abbildung" 18
## 6 "abbrach" 7
## 7 "abend" 60
## 8 "abendessen" 20
## 9 "abendessens" 11
## 10 "abendgebet" 10
## # ... with 9,593 more rowsErsetzen ist die andere Möglichkeit.
Dazu verwenden wir einen regulären Ausdruck, nämlich “[\\d]”, in dem das “d” sich auf “digit” (Ziffer) bezieht.
Die beiden Backslash-Zeichen vor dem “d” sagen dem Programm, dass nicht nach dem Buchstaben “d” gesucht wird, sondern nach Ziffern (digits).
Als Ergebnis erhalten wir ein-, zwei- und vierstellige Zahlen in der Wortspalte. Die vierstelligen Zahlen stellen wahrscheinlich Jahreszahlen dar.
novels_ch %>%
mutate(word = str_replace_all(word, "[\\d]", "0")) %>%
count(word)## # A tibble: 9,641 x 2
## word n
## <chr> <int>
## 1 0 2
## 2 00 12
## 3 0000 4
## 4 a 11
## 5 ä 11
## 6 ab 60
## 7 abbekommen 10
## 8 abbildung 18
## 9 abbrach 7
## 10 abend 60
## # ... with 9,631 more rowsWir wählen die letzte Variante und speichern die Tabelle: eine oder mehrere Ziffern “[\\d]+” werden mit vier Nullen “0000” ersetzt.
Diese “0000” kann als Wortform mitgezćhlt werden (oder nicht).
novels_ch = novels_ch %>%
mutate(word = str_replace(word, "[\\d]+", "0000"))13.4 Tabelle speichern
Diese Tabelle speichern wir als Datei, falls wir ein anderes Mal mit ihr arbeiten möchten.
Wir speichern die Tabelle als Excel-Datei (Programm: writexl) und als Tabelle im Textformat (Endung: “csv”, comma-separated-variables).
Excel hat einen Nachteil: falls die Zeilen sehr lang sind, werden sie nicht vollständig gespeichert, sondern abgekürzt. Das Dateiformat “csv” und andere Textformate sind daher besser. Außerdem kann man “csv”-Dateien, da sie nur unformatierten Text enthalten, mit jedem Programm öffnen und lesen, Excel-Dateien dagegen nicht.
write_csv(novels_ch, "data/tom_sawyer_tabelle.csv")
# install.packages("writexl")
library(writexl)
write_xlsx(novels_ch, "data/tom_sawyer_tabelle.xlsx")13.5 Tabelle öffnen
Falls wir die Arbeit an einem anderen Tag fortsetzen, können wir die gespeicherte Tabelle folgendermaßen öffnen und brauchen nicht noch einmal alle oben durchgeführten Schritte durchzuführen:
# install.packages("readxl")
library(readxl)
novels_ch = read_xlsx("data/tom_sawyer_tabelle.xlsx")
# oder:
novels_ch = read_csv("data/tom_sawyer_tabelle.csv")13.6 Zählen
Als Ausgangspunkt für die Auszählung von Äußerungen, Wörtern und Buchstaben verwenden wir die zuletzt erstellte Tabelle “novels_ch”.
Zum Zählen einer Kategorie eignet sich die tidyverse-Funktion count().
Wie viele Äußerungen hat das Programm identifiziert?
Hier müssen wir berücksichtigen, dass jede Äußerung in mehreren Zeilen wiederholt wird, da wir die Äußerungen auch in Wörter und Buchstaben zerlegt haben.
Die Funktion distinct() berücksichtigt das.
novels_ch %>%
distinct(sentence) %>%
count(sentence)## # A tibble: 4,647 x 2
## sentence n
## <chr> <int>
## 1 ' Da hab ' ich ihm einen Stein ins Fenster geschmissen -- aber s~ 1
## 2 ' Das heilt _jede_ Warze . 1
## 3 ' Und du sagst , so ganz beiläufig , als wenn's nichts wär ' , d~ 1
## 4 ' Du sagtest das immer wieder . 1
## 5 ' Sagen -- was ? 1
## 6 ' Und dann du raus mit den Pfeifen und wir ordentlich drauf los ,~ 1
## 7 ' und dann trittst du langsam zurück , elf Schritt , mit geschlos~ 1
## 8 ' Und ich sag ' : , O , 's ist schon recht , wenn er uns stark genug~ 1
## 9 'n ganzes Jahr werd ' ich jede Nacht wachen ! 1
## 10 'ne Schande ! 1
## # ... with 4,637 more rowsAls Antwort auf diese Abfrage erhalten wir 4647 Zeilen, d.h.
dass 4647 Äußerungen (“number_sents”) unterschieden wurden.
Außerdem entsteht beim Zählen eine neue Spalte, und zwar mit dem Namen “n”.
Die Zahl ist in allen Tabellenzeilen dieselbe, nämlich “1”.
Dies zeigt uns, dass jede Äußerung nur einmal gezählt wurde (also distinkt / unterschiedlich ist), so wie wir es ja verlangt haben.
novels_ch %>%
distinct(sentence) %>%
count(sentence) %>%
summarise(number_sents = sum(n))## # A tibble: 1 x 1
## number_sents
## <int>
## 1 4647Wenn wir distinct() weglassen, erhalten wir das folgende Ergebnis: Die Tabellenspalte “n” enthält nun unterschiedliche Zahlen, die sich auf die Anzahl der Buchstaben in der Spalte “sentence” bezieht, denn wir haben die Äußerungen vorher nicht nur in Wörter (Spalte “word”) sondern auch in Buchstaben (Spalte “char”) zerlegt.
novels_ch %>%
count(sentence)## # A tibble: 4,647 x 2
## sentence n
## <chr> <int>
## 1 ' Da hab ' ich ihm einen Stein ins Fenster geschmissen -- aber s~ 61
## 2 ' Das heilt _jede_ Warze . 17
## 3 ' Und du sagst , so ganz beiläufig , als wenn's nichts wär ' , d~ 115
## 4 ' Du sagtest das immer wieder . 23
## 5 ' Sagen -- was ? 8
## 6 ' Und dann du raus mit den Pfeifen und wir ordentlich drauf los ,~ 83
## 7 ' und dann trittst du langsam zurück , elf Schritt , mit geschlos~ 131
## 8 ' Und ich sag ' : , O , 's ist schon recht , wenn er uns stark genug~ 46
## 9 'n ganzes Jahr werd ' ich jede Nacht wachen ! 33
## 10 'ne Schande ! 9
## # ... with 4,637 more rowsAuf diese Weise könnten wir die Anzahl der Buchstaben insgesamt und die Anzahl der Buchstaben pro Äußerung berechnen.
13.6.1 Buchstaben
Wie lang ist der Text, gemessen in “characters”? Fast 333 Tausend alphanumerische Zeichen.
Wie viele alphanumerische Zeichen (Buchstaben und Ziffern) kommen durchschnittlich pro Äußerung vor? Beinahe 72 Zeichen. Die Standardabweichung von diesem Mittelwert ist ziemlich groß: 71,5 +/- 61,9 Zeichen. In diesem Text kommen sehr kurze Äußerungen vor, aber auch deutlich längere.
(char_summary = novels_ch %>%
count(sentence) %>%
summarise(char_sum = sum(n),
char_avg = mean(n, na.rm = TRUE),
char_sd = sd(n, na.rm = TRUE))
)## # A tibble: 1 x 3
## char_sum char_avg char_sd
## <int> <dbl> <dbl>
## 1 332677 71.6 61.9Kurze Äußerungen (hier: mit wenigen Buchstaben) kommen sehr häufig vor, sehr lange (hier: mit vielen Buchstaben) dagegen selten.
novels_ch %>%
count(sentence) %>%
ggplot(aes(n)) +
geom_density(fill = "magenta", alpha = 0.7) +
labs(x = "Anzahl der Buchstaben", y = "Dichte")
Folgt die Äußerungslänge (in Buchstaben gemessen) einer Zipf-Verteilung?
alpha = 1
novels_ch %>%
count(sentence, sort = TRUE) %>% # Sortieren nicht vergessen!
mutate(rank = row_number(),
zipfs_freq = ifelse(rank == 1, n, dplyr::first(n) / rank^alpha)) %>%
ggplot(aes(rank, n)) +
geom_point() +
labs(y = "Anzahl der Buchstaben", x = "Rangfolge")
Im Vergleich dazu unten: so sähe die entsprechende Zipf-Verteilung (Power-Law-Distribution) aus, die für ausreichend lange Texte gültig ist.
In einer Zipfverteilung käme die zweithäufigste Äußerungslänge etwa nur noch halb so häufig vor wie die häufigste Äußerungslänge, die dritthäufigste nur noch ein Drittel der ersthäufigsten, die vierthäufigste nur noch ein Viertel der ersthäufigsten usw.
alpha = 1
novels_ch %>%
count(sentence, sort = TRUE) %>% # Sortieren nicht vergessen!
# mutate(rank = row_number(),
mutate(rank = rank(row_number(), ties.method = "average"),
zipfs_freq = ifelse(rank == 1, n, dplyr::first(n) / rank^alpha)) %>%
ggplot(aes(rank, zipfs_freq)) +
geom_point() +
labs(y = "Anzahl der Buchstaben", x = "Rangfolge")
Wenn man die beiden Variablen (Rang und Häufigkeit) in einer Zipfverteilung logarithmiert, ist das Ergebnis eine Gerade. Die Äußerungslänge (hier: Buchstabenanzahl) im Roman “Tom Sawyer” scheint davon abzuweichen. Die mittellangen Äußerungen kommen häufiger vor, als nach der Zipfverteilung erwartet wird.
library(scales)
alpha = 1
novels_ch %>%
count(sentence, sort = TRUE) %>% # sortieren !
mutate(rank = rank(row_number(), ties.method = "first"),
zipfs_freq = ifelse(rank == 1,
n,
dplyr::first(n) / rank^alpha)) %>%
ggplot(aes((n), (rank), color = "Roman")) +
geom_point() +
geom_point(aes(((zipfs_freq)), ((rank)), color = "theoretisch")) +
labs(x = "Anzahl der Buchstaben", y = "Rangfolge", color = "Verteilung") +
scale_x_log10() +
scale_y_log10()
Welche Buchstaben kommen im Text häufiger / seltener vor? Unter den auf Vokale bezogenen Buchstaben ist das “e” am häufigsten, unter den auf Konsonanten bezogenen das “n”.
alpha = 1
novels_ch %>%
filter(str_detect(char, "[:alpha:]")) %>%
count(char, sort = T)## # A tibble: 31 x 2
## char n
## <chr> <int>
## 1 e 53778
## 2 n 33906
## 3 i 24336
## 4 r 22040
## 5 s 20912
## 6 t 20295
## 7 a 18994
## 8 h 18505
## 9 d 16432
## 10 u 13668
## # ... with 21 more rowsnovels_ch %>%
filter(str_detect(char, "[:alpha:]")) %>%
count(char, sort = T) %>%
mutate(char = fct_reorder(char, n)) %>%
ggplot(aes(n, char, fill = char)) +
geom_col() +
theme(legend.position = "none")
novels_ch %>%
filter(str_detect(char, "[:alpha:]")) %>%
count(char, sort = T) %>% # sortieren !
mutate(rank = rank(row_number(), ties.method = "first"),
zipfs_freq = ifelse(rank == 1,
n,
dplyr::first(n) / rank^alpha)) %>%
ggplot(aes((n), (rank), color = "Roman")) +
geom_point() +
geom_point(aes(((zipfs_freq)), ((rank)), color = "theoretisch")) +
labs(x = "Anzahl der Buchstaben", y = "Rangfolge", color = "Verteilung") +
scale_x_log10() +
scale_y_log10()
13.6.2 Worthäufigkeiten
Da wir es gewohnt sind, mit Wörtern umzugehen, machen wir lieber mit Wörtern weiter.
Wie viele Wortformen wurden vom Programm unterschieden? Die folgende Wortauszählung zeigt, dass das Programm 9639 types (Wortformen) unterschieden hat, denn die Tabelle hat so viele Zeilen (“0000” sind die oben umgewandelten Ziffern).
Funktionswörter (z.B. und, die, nicht, sie, der, sich, er, ich, aber, …) kommen wie in allen Texten am häufigsten vor. Für die Inhaltsanalyse spielen sie kaum oder gar keine Rolle. Daher werden sie oft entfernt.
Zu den Top-Ten gehört verständlicherweise auch der Name “Tom”, da die Hauptperson im Roman fortwährend angesprochen oder erwähnt wird (die Gebrauchsfrequenz oder Anzahl der tokens n = 738).
novels_ch %>%
distinct(word_id, .keep_all = TRUE) %>%
count(word, sort = TRUE)## # A tibble: 9,639 x 2
## word n
## <chr> <int>
## 1 und 2641
## 2 die 1417
## 3 er 1218
## 4 sie 1189
## 5 der 1178
## 6 zu 992
## 7 sich 824
## 8 nicht 802
## 9 ich 739
## 10 tom 738
## # ... with 9,629 more rowsFolgen die Worthäufigkeiten einer Zipfverteilung (Power-Law-Distribution)?
In der folgenden Tabelle sind folgende Größen zu sehen:
die Gebrauchshäufigkeit oder Tokenfrequenz eines Wortes im Text (
n)die Rangfolge des Wortes (
rank),die berechnete Konstante (
k = frequenz \* rang),die berechnete theoretische Tokenfrequenz eines Wortes (
zips_freq).
novels_ch %>%
distinct(word_id, .keep_all = TRUE) %>%
count(word, sort = TRUE) %>% # sortieren !!!
mutate(rank = rank(row_number(), ties.method = "average"),
k = n * rank,
zipfs_freq = ifelse(rank == 1,
n,
dplyr::first(n) / rank^alpha),
zipfs_freq_k = ifelse(rank == 1,
k,
dplyr::first(k) / rank^alpha))## # A tibble: 9,639 x 6
## word n rank k zipfs_freq zipfs_freq_k
## <chr> <int> <dbl> <dbl> <dbl> <dbl>
## 1 und 2641 1 2641 2641 2641
## 2 die 1417 2 2834 1320. 1320.
## 3 er 1218 3 3654 880. 880.
## 4 sie 1189 4 4756 660. 660.
## 5 der 1178 5 5890 528. 528.
## 6 zu 992 6 5952 440. 440.
## 7 sich 824 7 5768 377. 377.
## 8 nicht 802 8 6416 330. 330.
## 9 ich 739 9 6651 293. 293.
## 10 tom 738 10 7380 264. 264.
## # ... with 9,629 more rowsDie häufigeren Wörter scheinen in “Tom Sawyer” häufiger vorzukommen als nach der Zipfverteilung erwartet wird.
Das spricht für einen simpleren Wortschatz, einen eher umgangssprachlich formulierten Text.
novels_ch %>%
distinct(word_id, .keep_all = TRUE) %>%
count(word, sort = TRUE) %>% # sortieren !!!
mutate(rank = rank(row_number(), ties.method = "average"),
zipfs_freq = ifelse(rank == 1,
n,
dplyr::first(n) / rank^alpha)) %>%
ggplot(aes((n), (rank), color = "Roman")) +
geom_point() +
geom_point(aes(((zipfs_freq)), ((rank)), color = "theoretisch")) +
labs(x = "Worthäufigkeit", y = "Rangfolge", color = "Verteilung") +
scale_x_log10() +
scale_y_log10()
13.6.3 Wortschatzdichte
Die lexikalische Diversität oder Wortschatzdichte, gemessen anhand des type-token-Verhältnisses (type-token-ratio, ttr) beträgt 0,14 Types pro Token.
Ohne mit einem anderen Text vergleichen zu können, sagt uns dieser Wert nicht viel.
Dieser Wert ist ansonsnten auch von der Länge eines Textes abhängig: je länger der Text, desto kleiner wird dieser Wert.
novels_ch %>%
distinct(word_id, .keep_all = TRUE) %>%
count(word, sort = TRUE) %>%
summarise(types = length(word),
tokens = sum(n),
ttr = length(word)/sum(n))## # A tibble: 1 x 3
## types tokens ttr
## <int> <int> <dbl>
## 1 9639 67115 0.144Auch die lexikalische Diversität (Wortschatzdichte) ist relativ gering, da die Anzahl der verschiedenen Wortformen (types) im Vergleich zu ihrer Gebrauchsfrequenz (tokens) verhältnismäßig klein ist.
Dies spricht wiederum für die These, dass der Roman einen recht einfachen Wortschatz aufweist, was einem eher umgangssprachlichen Stil entspricht.
13.6.4 Äußerungslänge
Wie viele Wörter kommen durchschnittlich in einer Äußerung vor?
Da wir bei der Auszählung auch einige der als “0000” kodierten Ziffern berücksichtigen, beträgt die durchschnittliche Länge der Äußerungen im Text 14,44 Wortformen (tokens),
die Standardabweichung vom Mittelwert ist fast so groß wie der Mittelwert: 14,44 +/- 11,95 Wortformen.
novels_ch %>%
distinct(word_id, .keep_all = T) %>%
count(sentence) %>%
summarise(leng_sents = mean(n),
sd_sents = sd(n))## # A tibble: 1 x 2
## leng_sents sd_sents
## <dbl> <dbl>
## 1 14.4 12.0Die Häufigkeitsverteilung der Äußerungslänge im Roman:
novels_ch %>%
distinct(word_id, .keep_all = TRUE) %>%
count(sentence, sort = TRUE) %>% # sortieren !!!
mutate(rank = as.integer(length(sentence) - rank(n, ties.method = "average") + 1),
rank2 = rank(row_number(), ties.method = "average"),
zipfs_freq = ifelse(rank == 1,
n,
dplyr::first(n) / rank^alpha)) %>%
ggplot(aes(n)) +
geom_histogram(fill = "darkgreen", alpha = 0.7, binwidth = 2) +
labs(x = "Anzahl der Wörter", y = "Anzahl der Äußerungen")
Logarithmiert:
novels_ch %>%
distinct(word_id, .keep_all = TRUE) %>%
count(sentence, sort = TRUE) %>% # sortieren !!!
mutate(rank = as.integer(length(sentence) - rank(n, ties.method = "average") + 1),
rank2 = rank(row_number(), ties.method = "average"),
zipfs_freq = ifelse(rank == 1,
n,
dplyr::first(n) / rank^alpha)) %>%
ggplot(aes(n)) +
geom_histogram(fill = "darkgreen", alpha = 0.7, binwidth = 0.05) +
scale_x_log10() +
labs(x = "Anzahl der Wörter", y = "Anzahl der Äußerungen")
Tabelle mit Anzahl der Wörter pro Äußerung (n), Rangfolge (rank) und die theoretische Frequenz gemäß Zipfverteilung (zipfs_freq).
novels_ch %>%
distinct(word_id, .keep_all = TRUE) %>%
count(sentence, sort = TRUE) %>% # sortieren !!!
mutate(rank = as.integer(length(sentence) - rank(n, ties.method = "average") + 1),
rank2 = rank(row_number(), ties.method = "average"),
zipfs_freq = ifelse(rank == 1,
n,
dplyr::first(n) / rank^alpha)) %>%
arrange(rank) %>%
rmarkdown::paged_table()Die Verteilung der Äußerungslängen unterscheidet sich von der Zipfverteilung.
alpha = 1
novels_ch %>%
distinct(word_id, .keep_all = TRUE) %>%
count(sentence, sort = F) %>% # sortieren !!!
mutate(rank = as.integer(length(sentence) - rank(n, ties.method = "average") + 1),
zipfs_freq = ifelse(rank == 1,
n,
dplyr::first(n) / rank^alpha)) %>%
ggplot(aes((n), (rank), color = "Roman")) +
geom_point() +
geom_point(aes(((zipfs_freq)), ((rank)), color = "theoretisch")) +
geom_jitter() +
labs(x = "WAnzahl der Wörter", y = "Rangfolge", color = "Verteilung") +
scale_x_log10() +
scale_y_log10()
13.6.5 Vergleich mit quanteda
library(quanteda)
library(quanteda.textstats)Die Zahlenwerte, die wir mit dem Program quanteda (ohne genauere Bearbeitung) erhalten, sind höher.
Das liegt daran, dass Interpunktionszeichen, Symbole und Ziffern noch nicht herausgefiltert sind.
# ohne Filterung
corp = corpus(novels_r)
textstat_summary(corp) %>% rmarkdown::paged_table()Gefiltert sind die Werte mit den Werten vergleichbar, die wir mit den tidyverse-Funktionen berechnet haben.
# gefiltert
tok = tokens(corp, remove_punct = T, remove_symbols = T, remove_numbers = T, remove_url = T, remove_separators = T)
textstat_summary(tok) %>% rmarkdown::paged_table()Zahlenwerte für die einzelnen Äußerungen:
# ungefiltert
corps = corpus_reshape(corp, to = "sentences")
textstat_summary(corps) %>% rmarkdown::paged_table()# gefiltert
toks = tokens(corps, remove_punct = T, remove_symbols = T, remove_numbers = T, remove_url = T, remove_separators = T)
textstat_summary(toks) %>% rmarkdown::paged_table()Die von quanteda berechnete durchschnittliche Äußerungslänge und ihre Standardabweichung weisen ähnliche Werte auf (Mittelwert = 14,41, Standardabweichung = 11,998) wie die zuvor berechneten mit den tidyverse-Funktionen.
textstat_summary(toks) %>%
summarise(len_sents_q = mean(tokens),
len_sents_q_sd = sd(tokens))## len_sents_q len_sents_q_sd
## 1 14.41251 11.99817Lexikalische Diversität (Wortschatzdichte) des gesamten Texts liegt bei 0,1467 (ähnlich wie mit den tidyverse-Funktionen).
textstat_lexdiv(tok)## document TTR
## 1 text1 0.146718Wortschatzdichte in einzelnen Äußerungen:
textstat_lexdiv(toks) %>% rmarkdown::paged_table()corp_dfm <- dfm(tok, verbose = FALSE)term_count <- tidy(corp_dfm) %>%
group_by(document) %>%
arrange(desc(count)) # sortieren !!!
term_count## # A tibble: 9,837 x 3
## # Groups: document [1]
## document term count
## <chr> <chr> <dbl>
## 1 text1 und 2641
## 2 text1 die 1414
## 3 text1 er 1210
## 4 text1 sie 1180
## 5 text1 der 1174
## 6 text1 zu 986
## 7 text1 sich 824
## 8 text1 nicht 786
## 9 text1 tom 739
## 10 text1 ich 730
## # ... with 9,827 more rowsterm_count_rank <- tidy(corp_dfm) %>%
group_by(document) %>%
arrange(desc(count)) %>%
mutate(rank = row_number(),
total = sum(count),
`term frequency` = count / total)
term_count_rank %>% rmarkdown::paged_table()term_count_rank %>%
ggplot(aes(rank, `term frequency`, color = document)) +
geom_line(alpha = 0.8, show.legend = FALSE) +
scale_x_log10() +
scale_y_log10()
alpha = 1
term_count_rank %>%
mutate(rank = as.integer(rank(length(term) - `term frequency` + 1, ties.method = "average")),
zipfs_freq = ifelse(rank == 1, `term frequency`,
dplyr::first(`term frequency`) / rank^alpha)) %>%
ggplot(aes(rank, `term frequency`, color = document)) +
geom_line(alpha = 0.8, show.legend = FALSE) +
geom_point(aes((rank), (zipfs_freq), color = "theoretisch")) +
geom_jitter() +
labs(y = "Termfrequenz", x = "Rangfolge", color = "Verteilung") +
scale_x_log10() +
scale_y_log10()
13.6.6 Vergleich mit Voyant Tools
Voyant Tools sind ein empfehlenwertes Werkzeug, schnell und einfach, um einen Überblick und verständliche graphische Darstellungen zu erhalten - solange man es nur mit einem Text oder wenigen zu tun hat.
Die deutsche Übersetzung des Tools ist stellenweise ungenau: z.B.
wird in der deutschen Übersetzung nicht zwischen types (einzigartigen Wortformen / unique word forms) und tokens (total words) unterschieden.
Falsch: Dieser Korpus hat 1 Dokument mit 67,137 einzigartige Wortformen.
Richtig ist: Dieses Korpus hat 67,137 tokens (Vorkommnisse von Wortformen) und 9828 types (unique word forms).
Wortschatzdichte: 0.146
Durchschnittliche Wörter pro Satz: 15.5 (höher als mit tidyverse und quanteda berechnet)
Die häufigsten Begriffe im Korpustom (739); s (296); huck (237); na (175); joe (150)
This corpus has 1 document with 67,137 total words and 9,828 unique word forms.
Vocabulary Density: 0.146
Average Words Per Sentence: 15.5
Most frequent words in the corpus: tom (739); s (296); huck (237); na (175); joe (150)