분석 작업 개요
데이터 처리 영역 : 데이터 소스, 수집, 저장, 처리
데이터 분석에 필요한 역량 - NCS
- 도메인 이슈 도출
- 분석목표 수립
- 프로젝트 계획 수립
- 보유 데이터 자산 확인
데이터 확보 계획
필요한 데이터 : training data, validation data, test data
내부 데이터의 사용
- 데이터 목록 작성
- 관련 법률 및 보안요소 확인 (개인정보면 비식별 조치방안)
- 필요 데이터의 권한이 타 부서에 있으면 협의로 해결
외부 데이터의 사용
- 필요 데이터 목록을 데이터 보유 기업의 이름 & 데이터 제공 방법까지 고려
- 필요 데이터의 수집이 관련 법률이나 제도상 제약이 없는지 검토 - 계약서로는 불충분할 수도 있음.
- 필요 데이터에 대해 보유 기업으로부터 데이터 제공 가능여부와 구매 비용 협의
분석에 필요한 변수 정의
- 데이터 수집 기획
- 분석 변수 정의 : 분석 변수 유형과 형성 알고리즘을 이용해 분석 유형을 도출.
분석 변수 생성 프로세스 정의
- 객관적 사실 기반의 문제 접근
- 데이터의 상관분석
- 프로토타입을 통한 분석 변수 접근
분석 변수 점검항목
데이터 수집 : 데이터 적정성, 데이터 가용성, 대체 분석 데이터 유무
데이터 적합성 : 데이터 중복, 분석 변수별 범위, 분석 변수별 연관성, 데이터 내구성
특징 변수 : 특징 변수 사용, 변수 간 결합 가능 여부
타당성 : 편익/비용 검증, 기술적 타당성
생성 변수의 검정 방안 수립
빅데이터 품질 지표
- 정확성, 완전성, 직시성, 일관성
분석 절차와 작업 계획
작업계획
- 프로젝트 소요비용 배분
- 프로젝트 작업분할구조 수립
- 프로젝트 업무 분장 계획 및 배분
분석목표정의서
- 원천 데이터 조사
- 분석 방안 및 적용 가능성 판단
- 성과평가 기준
분석 프로젝트 관리
분석 프로젝트의 영역별 주요 관리 항목
조달관리
- 상왕에 따라 아웃소싱 가능
- 지속성이 보장되지 않을 경우 = 클라우드와 같은 대여방식 고려