R , programski jezik za statističko računanje i grafiku, pruža niz alata koji omogućavaju efikasnu analizu podataka. Kao programer vješt u R-u, često koristim ove alate za izvlačenje vrijednih uvida iz složenih skupova podataka. Jedna tehnika koju R omogućava je identifikacija izuzetaka unutar podataka – važan korak u osiguravanju integriteta podataka. Ovo je posebno korisno u prethodnoj obradi podataka, gdje postaje ključno označiti ili obraditi izuzetke kako bi se izbjeglo iskrivljavanje rezultata bilo koje naknadne analize.
U ovom članku ćemo istražiti kako koristiti R-ovu funkciju boxplot za identifikaciju i označavanje odstupanja u skupu podataka. Okvirni dijagram, dio R-ovog osnovnog grafičkog paketa, kreira vizualni prikaz petobrojnog sažetka skupa podataka – minimum, prvi kvartil, medijan, treći kvartil i maksimum. Iz njih možemo brzo identificirati sve vrijednosti koje izlaze izvan očekivanog raspona – odstupanja.
R-ov osnovni grafički paket
Osnovni grafički paket u R-u pruža sveobuhvatan skup osnovnih funkcija i uslužnih programa za crtanje. Oni omogućavaju kreiranje širokog spektra tipova dijagrama, od jednostavnih dijagrama raspršenja do složenih dijagrama sa više panela. Sastavni dio ovog paketa je boxplot funkcija, dizajnirana da vizualno predstavlja distribuciju numeričkih vrijednosti podataka.
Jedna moćna sposobnost funkcije boxplot je njena inherentna pomoć u detekciji odstupanja. Ucrtavanjem obrisa okvira između prvog i trećeg kvartila, sa linijom na medijani i "brkovima" koji se protežu do 1.5 puta interkvartilnog raspona (IQR), možemo na prvi pogled vidjeti sve tačke podataka koje su izvan ovog raspon – naši potencijalni izvanredni.
# create a boxplot of a dataset boxplot(dataset, main="Boxplot of Dataset", boxwex=0.1)
Identificiranje i označavanje outliers sa R
Outliers se obično identifikuju kao tačke podataka koje su izvan 1.5 puta IQR iznad trećeg kvartila i ispod prvog kvartila. Bilo koja tačka podataka izvan ovih označena je kao outlier.
U R-u, nakon iscrtavanja okvira, možemo koristiti ovu konvenciju da otkrijemo naše vanjske vrijednosti i označimo ih.
# identifikujte i označite izuzetke
outliers <- boxplot(dataset, plot=FALSE)$out dataset$outlier <- ifelse(is.element(dataset, outliers), 1, 0) [/code] Ovdje koristimo boxplot funkciju sa argumentom plot=FALSE za snimanje statistike okvira bez iscrtavanja. Iz ove statistike izdvajamo vanjske vrijednosti pomoću operatora $out. Zatim koristimo funkciju is.element da provjerimo prisustvo ovih odstupanja u našem skupu podataka i označimo ih sa "1" ako postoje, inače "0".
- $out operator: Pomaže u prikupljanju statistike boxplot-a
- boxplot() funkcija: Kreira boxplot skupa podataka
- is.element() funkcija: Provjerava prisutnost outliera u našem skupu podataka
- ifelse() funkcija: Koristi se za označavanje tačke podataka kao vanrednog
U zaključku, R pruža besprijekoran pristup identifikaciji i označavanju izvanrednih vrijednosti koristeći funkciju boxplot, sastavni dio osnovnog grafičkog paketa. Koristeći ovaj praktičan alat, možemo osigurati integritet podataka, čime značajno povećavamo tačnost naše analize podataka.
