빅데이터
- 사후처리 / 전수조사 / 양 / 상관관계
- 3요소 : 자원, 기술, 인력
분석조직 구조
- 집중
- 분산 → DSCoE
- 기능
DBMS
병렬형
- 분산 아키텍처
- 병렬 처리/고성능 처리
- 데이터 파티셔닝을 통한 데이터 병렬성
- 데이터 복제와 분산 (중복이 없다)
분산형
빅데이터 저장기술
| 기술 | 특징 |
|---|---|
| 하둡 (HDFS) | 1. 분산처리를 위한 파일 시스템 2. 여러 블록을 분산해서 저장 3. 마스터 하나, 슬레이브 여러 개 4. 마스터 = 네임, 슬레이브 = 데이터 5. 데이터 손상 방지를 위해 데이터 복제 기법 사용 |
| GFS (구글 파일 시스템) | 1. 마스터, 청크서버, 클라이언트로 구성 2. 64mb로 고정된 크기의 청크들로 구성 |
| 맵리듀스 | 구글에서 개발 효과적인 병렬 및 분산처리 런타임에서의 입력 데이터 분할, 작업 스케쥴링, 노드 고장, 노드 간 데이터 전송 작업이 맵리듀스 작업에 많은 영향을 미침 |
개인정보 & 데이터 3법
데이터 3법
- 가명정보 개념 도입, 유사 및 중복규정 정비, 개인정보처리자 책임 강화
- 개인정보의 판단기준 명확화
비식별화 단계별 조치 기준
- 사전검토, 비식별조치, 적정성평가, 사후관리
비식별화 조치방법
- 가명처리 : 주요 식별 요소를 다른 값으로 대체
- 총계처리 : 총합만 보여줌
- 데이터 삭제 : 필요 없는 값 또는 중요한 값 삭제
- 데이터 범주화 : 범주의 값으로 변환
- 데이터 마스킹 : 주요 식별자 삭제
분석방법론
CRISP-DM
- 4계층 : 최상위, 일반화, 세분화, 프로세스 실행
- 업무이해, 데이터이해, 데이터준비, 모델링, 평가, 전개
SEMMA
- SAS에서 만듬
- 추출, 탐색, 수정, 모델링, 평가
데이터 수집기술
- 정형데이터
- ETL : 수집 데이터를 추출 및 가공 (extract, transform, load)
- FTP : 파일을 송수신하는 기술. 네트워크를 통해 공유하는 여러 호스트 컴퓨터의 데이터에 접근할 수 있는 파일 공유 방식
- Sqoop : RDBMS & 하둡 간 데이터 전송