데이터 탐색의 개요
- EDA란?
EDA는 탐색적 데이터 분석(Exploratory Data Analysis)의 약자로, 데이터를 살펴보고 이해하는 과정을 의미합니다. 주로 통계적 그래프와 요약 통계량을 사용하여 데이터의 주요 특성을 파악하고, 데이터 내에 존재하는 패턴, 이상치, 테스트 가설을 확인합니다.
상관관계분석
- 상관계수 : 무조건 -1 ~ 1 사이
- 상관계수는 그리스 문자 로우(\rho)로 표기하며, 다음과 같이 계산
\rho = \frac{cov(X,Y)}{\sqrt{var(X) var(Y)}}
공분산은 다음과 같이 계산.
cov(X,Y) = \frac{1}{n-1}~\sum_i
(x_i - \bar{x})(y_i - \bar{y})
스피어만 상관계수
기초통계량
중심성 자료
- 산술평균
- 기하평균 : 주식 수익률, 물가 수익률에 활용한다.
- 조화평균, 중앙값, 최빈값
- 사분위범위 (계산법 암기)
bash
Q1 = "(자료의 갯수 + 1) * (1/4)"번째를 고르면 됨.
Q3 = "(자료의 갯수 + 1) * (3/4)"번째를 고르면 됨.
산포도 자료
- 분산, 표준편차
- 사분위범위
- 변동계수
분포의 형태
피어슨의 비대칭 계수
- (평균 - 최빈값) / (표준편차)
- 3 * (평균 - 최빈값) / (표준편차)
- 3 * (평균 - 중앙값) / (표준편차)
분포의 형태
- 오른쪽으로 치우쳐짐 : 평균 > 중앙값 > 최빈값
- 왼쪽으로 치우쳐짐 : 평균 < 중앙값 < 최빈값