Hlavným cieľom data science je pochopiť mechanizmus, ktorý generuje pozorované údaje. Prvým na to používaným nástrojom je prieskumná analýza údajov (angl. exploratory data analysis), ktorou nazrieme do povahy hromadných javov1 pomocou vlastností skúmaných objektov. Pretože hromadný jav sa skladá z množstva individuálnych javov, tieto vlastnosti nadobúdajú svoje hodnoty náhodne a v štatistike ich reprezentujú náhodné premenné (prípadne náhodné veličiny, štatistické znaky, angl. features). Každá hodnota náhodnej premennej môže nastať s určitou pravdepodobnosťou. Náhodnosť premenných je charakterizovaná tzv. rozdelením pravdepodobnosti, či už prostredníctvom pravdepodobnostnej funkcie resp. hustoty rozdelenia, alebo distribučnej funkcie. Napríklad, ak hromadným javom je fyzický stav obyvateľstva, potom náhodnou premennou je napr. výška človeka, ktorá môže nadobudnúť hodnoty od niekoľkých centimetrov až po vyše dvoch metrov (formálne od 0 po nekonečno). Pritom hustota pravdepodobnosti okolo strednej hodnoty je zvyčajne vyššia ako hustota výskytu nízkych či, naopak, vysokých ľudí. Graf hustoty tak má typicky zvonovitý tvar (tzv. Gaussova krivka), zatiaľčo distribučná funkcia (postupná kumulácia pravdepodobností) má tvar písmena S a najviac rastie v miestach okolo strednej hodnoty.
Prieskumná analýza potom pomáha odhaľovať tvar rozdelenia pravdepodobnosti jednotlivých skúmaných veličín aj vzťahy medzi nimi. Cieľom aktuálnej kapitoly je ukázať základné vizuálne nástroje prostredia R používaných na tento účel. Pri jej príprave bola použitá najmä literatúra (Pearson 2018, kap. 3) a (Peng 2016, kap. 5 až 7).
2.1 Príprava údajov
Import (read.table) a „krájanie” údajov (subset) sme si predstavili v úvode do jazyka R. Zatiaľ predpokladáme, že naše dáta sú uložené v ideálnej forme, teda premenné (znaky) tvoria stĺpce a skúmané objekty (štatistické jednotky) tvoria riadky.
Prvým pohľadom na tabuľku údajov je identifikácia typu premenných, teda to, či sú numerické a spojito nadobúdajú hodnoty z nejakého intervalu, alebo sú diskrétne a obsahujú buď číselné alebo iné hodnoty.
data(mtcars) head(mtcars,1) # detailný popis datasetu na https://rpubs.com/neros/61800
mpg cyl disp hp drat wt qsec vs am gear carb
Mazda RX4 21 6 160 110 3.9 2.62 16.46 0 1 4 4
Všetky premenné súboru mtcars nadobúdajú číselné hodnoty, no nie všetky sú v spojitej mierke. Konkrétne počet valcov (t. j. cylindrov, cyl), uloženie valcov (do tvaru písmena V alebo priame, vs), typ prevodovky (automatická alebo manuálna, am), počet rýchlostných stupňov a počet logických karburátorov (carb) sú diskrétne premenné. Niektoré z nich pre lepšiu zrozumiteľnosť prekódujeme z numerických na znakové/slovné, a všetky stĺpce ordinálnych diskrétnych premenných prevedieme na faktory (teda tam, kde záleží na poradí hodnôt).
Je dobrým zvykom pracovať iba s kópiou pôvodného datasetu. Nazvime ju krátkym názvom dat.
dat <- mtcarsdat$am <-ifelse(dat$am ==0, yes ="automatic", no ="manual") # vhodné pri malom počte úrovnídat$vs <-sapply(dat$vs+1, switch, "Vshaped", "Straight") # elegantnejšie: car::recode(dat$vs, "0='Vshaped'; 1='Straight'")for (i inc("cyl","gear", "carb")) { dat[[i]] <-factor(dat[[i]], levels =sort(unique(dat[[i]])), ordered=T)} str(dat)
Interná reprezentácia znakového vektora ako dátový typ factor už nemá taký zmysel (pre úspornejšie uloženie údajov) ako kedysi, no prekódovanie diskrétnych numerických na znakové (či už faktorové alebo nie) má zmysel jednak pri zobrazovaní, jednak pri modelovaní (intuitívne: kvalitatívny rozdiel medzi 4 a 6-valcovými motormi nemusí byť rovnaký ako medzi 6 a 8-valcovými), a to aj pre vylúčenie hodnôt, ktoré sa v praxi nevyskytujú, alebo nie sú zahrnuté do experimentu (napr. 5 valcov).
V rámci prípravy dát by malo zmysel ešte transformovať premenné v imperiálnych jednotkách do metrickej sústavy SI.
Druhým krokom exploračnej analýzy je vyšetrenie rozdelenia pravdepodobnosti pre každú premennú jednotlivo:
# extrémy, kvartily a stredná hodnota, alebo tabuľka početnosti, pripadne počet NAsummary(dat)
reach_mpg cylinders displacement horsepower axle_ratio
Min. :10.40 4:11 Min. : 71.1 Min. : 52.0 Min. :2.760
1st Qu.:15.43 6: 7 1st Qu.:120.8 1st Qu.: 96.5 1st Qu.:3.080
Median :19.20 8:14 Median :196.3 Median :123.0 Median :3.695
Mean :20.09 Mean :230.7 Mean :146.7 Mean :3.597
3rd Qu.:22.80 3rd Qu.:326.0 3rd Qu.:180.0 3rd Qu.:3.920
Max. :33.90 Max. :472.0 Max. :335.0 Max. :4.930
weight accel_time cyl_config transmission gears
Min. :1.513 Min. :14.50 Length:32 Length:32 3:15
1st Qu.:2.581 1st Qu.:16.89 Class :character Class :character 4:12
Median :3.325 Median :17.71 Mode :character Mode :character 5: 5
Mean :3.217 Mean :17.85
3rd Qu.:3.610 3rd Qu.:18.90
Max. :5.424 Max. :22.90
carburetors
1: 7
2:10
3: 3
4:10
6: 1
8: 1
Príslovie „lepšie raz vidieť ako 100-krát počuť” platí v malej obmene aj pri prieskumnej analýze, a to v tom zmysle, že ľahšie pochopíme chovanie (rozdelenie) náhodnej premennej z vhodného grafu než z množstva číselných reprezentácií.
Vezmime si najprv spojitú kvantitatívnu premennú, napr. výkon motora horsepower. Jedným z najčastejšie používaných grafov na zobrazenie rozdelenia je krabicový graf (box-and-whiskers), ktorý ukazuje 5 súhrnných čísel (Tuckey’s five numbers) z výpisu funkcie summary, avšak iniciatívne oddeľuje odľahlé hodnoty (outliers), ak prekročia vzdialenosť 1.5-násobku medzikvartilového rozpätia (\(IQR = q_{.75}-q_{.25}\)) od horného (\(q_{.75}\), 3rd Qu.) a dolného kvartilu (\(q_{.25}\), 1st Qu.).
summary(dat$horsepower)
Min. 1st Qu. Median Mean 3rd Qu. Max.
52.0 96.5 123.0 146.7 180.0 335.0
boxplot(dat$horsepower, horizontal =TRUE)points(x =mean(dat$horsepower), y =1, pch =4)
Hrubá čiara predstavuje medián, hranice obdĺžnika sú kvartily, konce fúzov (angl. whiskers) sú vlastné extrémne hodnoty (ešte nepovažované za odľahlé) a nakoniec disktrétne body na grafe zastupujú odľahlé hodnoty, v našom prípade je iba jeden.
hist(dat$horsepower) # alebo car::truehist(dat$horsepower, prob=F)
Prakticky je to vizualizácia tabuľky početnosti, kde výška stĺpcov zodpovedá počtu výskytov (angl. frequency) jednotlivých skupín hodnôt (angl. bins). Vyhladením histogramu dostávame trochu lepší obraz o tzv. hustote rozdelenia spojitých náh.premenných a podobnú službu nám urobí aj zovšeobecnenie krabicového grafu, tzv. husľový (angl. violin) graf, ktorý znázorňuje vyhladenú hustotu empirického rozdelenia (zdvojenú, v symetrickej polohe). Oba sa dajú doplniť tzv. kobercovým (angl. rug) grafom.
Na zobrazenie rozdelenia diskrétnej premennej, napr. cylinders, použijeme stĺpcový graf
table(dat$cylinders, dnn="cylinders")
cylinders
4 6 8
11 7 14
barplot(table(dat$cylinders), xlab ="cylinders")
2.3 Vzťahy medzi premennými
Tretím krokom prieskumnej analýzy je hľadanie súvislosti medzi vlastnosťami skúmaných objektov. Najčastejší nástroj pre zobrazenie vzťahu dvoch spojitých náhodných premenných je bodový graf (scatter plot).
plot(horsepower ~ displacement, data = dat)
Z grafu vidno, že výkon motora značne súvisí so zdvihovým objemom. Jedno z áut je výrazne efektívne vo využití objemu valcov. Žeby to súviselo s počtom valcov? Pozrime, o ktoré auto ide.
Spolu s druhým najvýkonnejším má manuálnu prevodovku, 5 rýchlostných stupňov a pomerne nízku hmotnosť.
Zobraziť vzťah viac než dvoch premenných priamym pridávaním rozmerov (3D, video?) by bolo neefektívne. Existujú aj praktickejšie triky: vyjadriť rozmery pomocou grafických atribútov (napr. farba, veľkosť a tvar bodov).
plot(horsepower ~ displacement, data=dat, col =as.integer(dat$cylinders), pch =as.integer(as.factor(dat$transmission)))legend("topleft", legend =c(4,6,8), pch =1, col =1:3, title ="cylinders")legend("bottomright", legend =sort(unique(dat$transmission)), pch =1:2, title="transmission")
Podobne možno použiť tzv. bublinový graf (bubble plot) na vyjadrenie závislosti napr. medzi výkonom motora a dojazdom v závislosti od počtu valcov a ešte aj doplniť popis
symbols(x = dat$horsepower, y = dat$reach_mpg, circles =as.numeric(dat$cylinders),inches =0.25)text(x = dat$horsepower, y = dat$reach_mpg, dat$cylinders)
Tento graf je vhodný v prípadoch, keď podmieňujúca premenná (cylinders) je ordinálna (t.j. poradová, s daným poradím hodnôt) a body nie sú zobrazené príliš nahusto (čo, zdá sa, nie je tento prípad).
Závislosť diskrétnej a spojitej premennej sa štandardne zobrazuje krabicovými grafmi, pri ktorých šírka môže reflektovať počet pozorovaní. Doplnkovo sa dajú zobraziť aj jednotlivé pozorovania ako body rozptýlené (angl. jitter) okolo osi každej krabice. Podobnú informáciu sprostredkujú husľové grafy. Číselné súhrny sa tiež zvyčajne tvoria pre spojité premenné po rozdelení do skupín podľa hodnôt diskrétnej premennej.
4 6 8
Min. 52.00000 105.0000 150.0000
1st Qu. 65.50000 110.0000 176.2500
Median 91.00000 110.0000 192.5000
Mean 82.63636 122.2857 209.2143
3rd Qu. 96.00000 123.0000 241.2500
Max. 113.00000 175.0000 335.0000
# agregácia hodnôt jednotlivo: # aggregate(horsepower ~ cylinders, data = dat, FUN = mean)
boxplot(horsepower ~ cylinders, data = dat, varwidth = T, cex =0)# ak by cylinders bol vektor typu factor, stačila by generická funkcia plot()stripchart(horsepower ~ cylinders, data = dat, add = T, vertical =TRUE, method ="jitter", pch =16)vioplot::vioplot(horsepower ~ cylinders, data = dat)
Nárast výkonu pri 6-valcových motoroch nie je taký zásadný ako pri 8-valcových.
Dve diskrétne premenné možno zobraziť mozaikovým grafom, ktorý v plošnej miere vyjadruje početnosti v prienikoch jednotlivých kategórií.
Z toho vidno nielen vyššiu celkovú početnosť automobilov s automatickou prevodovkou, ale hlavne negatívnu závislosť oboch veličín (automaty v sedemdesiatych rokoch ešte nezvládali veľa prevodov).
Rovnaká informácia je alternatívne sprostredkovaná pomocou stĺpcového grafu:
Pridanie ďalších diskrétnych premenných uľahčí napr. balík vcd (Visualizing Categorical Data).
Poznamenajme, že každý zo základných grafov systému R je možné pomocou argumentu subset jednoducho aplikovať aj na podmnožinu pozorovaní. Napríklad z nasledujúceho grafu je tak zjavná prevaha 4-rýchlostných manuálnych prevodoviek v triede ľahších automobilov.
mosaicplot(transmission ~ gears, data = dat, subset = weight<3.0)
Viac numerických premenných sa tiež dá zobraziť pomocou dvojrozmerného bodového grafu, ale iba po pároch – každá s každou – a opäť je možné farebné odlíšenie podľa jednej diskrétnej premennej.
Rozostrenie (smoother) je výhodné pri zobrazení väčšieho množstva údajov, keď by už značky jednotlivých bodov splývali. Vyhladzujúca krivka (smooth) zjednodušuje vývoj závislosti medzi oboma premennými. Číslo v hornom trojuholníku je korelačný koeficient vyjadrujúci na intervale [-1,1] silu závislosti, so špeciálnymi prípadmi: -1 (nepriama úmernosť), 0 (nekorelovanosť), +1 (priama úmernosť). Pre úplnosť, korelačná matica sa vypočíta pomocou
Dobrou zásadou pri konštrukcii grafov je, aby neplytvali miestom, teda neobsahovali príliš málo informácií, ale na druhej strane ani aby informáciami nezahlcovali. Nevhodné je používať efekty, ktoré sťažujú čitateľnosť ako napr. perspektíva v pseudo 3D grafoch (špecialita programu MS Excel) alebo početnosť vyjadrená veľkosťou uhla v koláčovom grafe:
pie(table(dat$carburetors), main ="Number of carburetors proportions")
Podobným kontroverzným príkladom je tzv. radarový (alebo pavučinový graf), ktorým sa zvyknú porovnávať viaceré vlastnosti (premenné, stĺpce) vybraných subjektov (riadky). Každá vlastnosť má svoju os, všetky osi sú spojené v strede:
Užitočné zásady, ako nerobiť zlé grafy, sú zhrnuté napr. v (Irizarry a Love 2016, kapitola Exploratory Data Analysis). Ešte komplexnejšie túto problematiku rozoberá kniha (Few 2004).
Pomoc pri zorientovaní sa, aký graf použiť v závislosti od typu a počtu náhodných premenných, poskytne napr. projekt from Data to Viz.
2.5 Cvičenie
Načítajte data frame Cars93 z balíka MASS, zoznámte sa s významom náhodných premenných (stĺpcov), zobrazte si ich číselný súhrn.
Čo viete na základe vizualizácie povedať o rozdelení pravdepodobnosti ceny amerických vozidiel? Aká je ich priemerná a mediánová cena?
Zobrazte zastúpenie jednotlivých výrobcov zoradené podľa veľkosti v stĺpcovom grafe (popisy kolmo na os), v koláčovom grafe a Clevelandovom bodovom grafe (dotchart). Veľkosť znakov popisu osí prispôsobte početnosti hodnôt premennej. Ktorý graf je najprehľadnejší?
Súvisí nejak cena s bezpečnostnou výbavou?
Ako ovplyvňuje pôvod výrobcu vzťah medzi objemom valcov a výkonom? Odlišnosť v grafe (prostredníctvom farby, znaku alebo iného atribútu) prispôsobte vlastným preferenciám a zobrazte legendu.
Analyzujte dostupnosť manuálnej prevodovky v jednotlivých veľkostných triedach automobilov. (Je vhodné previesť triedy auta na dátový typ factor s poradím úrovní definovaným manuálne alebo napr. podľa priemernej hmotnosti.)
Few, Stephen. 2004. Show me the numbers. Analytics Pres.
Irizarry, Rafael A, a Michael I Love. 2016. Data Analysis for the Life Sciences with R. CRC Press. https://moderndive.com/.
Pearson, Ronald K. 2018. Exploratory data analysis using R. CRC Press.
