[Ch1] 빅데이터의 이해

• 추론과 추정의 근거를 이루는 사실
• 현실 세계에서 관찰하거나 측정하여 수집한 사실

• 단순한 객체로도 가치가 있으며 다른 객체와의 상호관계 속에서 더 큰 가치를 지님

1. 정량적 데이터 (Quantitative Data) : 주로 숫자로 이루어진 데이터
2. 정성적 데이터 (Qualitative Data) : 문자와 같은 텍스트로 구성되며 함축적 의미를 지니고 있는 데이터

1. 정형 데이터 : (Structured Data) : 정해진 형식과 구조에 맞게 저장되도록 구성된, 연산 가능한 데이터

   ex) 관계형 데이터베이스의 테이블에 저장되는 데이터 등

2. 반정형 데이터 (Semi-structured Data) : 데이터의 형식과 구조가 비교적 유연하고, 스키마 정보를 데이터와 함께 제공하는 파일 형식의 연산 불가능한 데이터

   ex) JSON, XML, RDF, HTML 등

3. 비정형 데이터 (Unstructured Data) : 구조가 정해지지 않은 대부분의 연산 불가능한 데이터

   ex) 동영상, 이미지, 음성, 문서, 메일 등

1. 가역 데이터

   생산된 데이터의 원본으로 일정 수준 환원이 가능한 데이터로 원본과 1:1 관계를 갖는다. 이력 추적이 가능하여, 원본 데이터가 변경되는 경우 변경사항을 반영할 수 있다.

2. 불가역 데이터

   생산된 데이터의 원본으로 환원이 불가능한 데이터. 원본 데이터와는 전혀 다른 형태로 재생산되기 때문에, 원본 데이터의 내용이 변경되었더라도 변경사항을 반영할 수 없다.

• 과학적 발견은 개인의 암묵적 지식에 의존하는 경우가 많으며, 이를 활용하려면 데이터를 기반으로 한 암묵지와 형식지의 상호작용이 중요하다.
  • 암묵지 : 어떠한 시행착오나 다양하고 오랜 경험을 통해 개인에게 체계화되어 있으며, 외부의 표출되지 않은 무형의 지식으로 그 전달과 공유가 어렵다.
  • 형식지 : 형상화된 유형의 지식으로 그 전달과 공유가 쉽다.

• 암묵지와 형식지 간의 상호작용을 위한 일본의 경영학자 노나카 이쿠지로의 지식창조 매커니즘은 4단계로 구성된다:

1. 공통화 (Socialization) : 서로의 경험이나 인식을 공유하며 한 차원 높은 암묵지로 발전시킨다
2. 표출화 (Externalization) : 암묵지가 구체화되어 외부 (형식지) 로 표현된다.
3. 연결화 (Combination): 형식지를 재분류하여 체계화한다.
4. 내면화 (Internalization) : 전달받은 형식지를 다시 개인의 것으로 만든다.

• 체계적이거나 조직적으로 정리되고 전자식 또는 기타 수3단으로 개별적으로 접근할 수있는 독립된 저작물 또는 데이터.

• 데이터베이스를 관리하며 응용 프로그램들이 데이터베이스를 공유하며 사용할 수 있는 환경을 제공하는 소프트웨어이다.

1. 통합된 데이터 (Integrated Data) :

   동일한 데이터가 중복되어 저장되지 않음을 의미한다.

   데이터의 중복은 관리상 복잡하고 다양한 문제를 초래한다.

2. 저장된 데이터 (Stored Data) :

   컴퓨터가 접근할 수 있는 저장매체에 데이터를 저장한다.

3. 공용 데이터 (Shared Data) :

   여러 사용자가 서로 다른 목적으로 데이터를 함께 이용한다.

   일반적으로 대용량화되어 있고 구조가 복잡하다.

4. 변화되는 데이터 (Changed Data) :

   데이터는 현시점의 상태를 나타내며 지속적으로 갱신된다.

   갱신으로 변화하면서도 현재의 정확한 데이터를 유지해야 한다.

1. OLTP (OnLine Transaction Processing)
   • 호스트 컴퓨터와 온라인으로 접속된 여러 단말 . 간처리 형태의 하나로 데이터베이스의 데이터를 수시로 갱신하는 프로세싱을 의미한다.
   • 여러 단말에서 보내온 메세지에 따라 호스트 컴퓨터가 데이터베이스를 엑세스하고, 바로 처리 결과를 돌려보내는 형태를 말한다.
   • 현재 시험의 데이터만을 데이터베이스가 관리한다는 개념이다.
     • 이미 발생된 트랜잭션에 대해서는 데이터값이 과거의 데이터로 다른 디스크나 테이프 등에 보관될 수 있다.
2. OLAP (OnLine Analytical Processing)
   • 정보 위주의 분석 처리를 하는 것으로, OLTP 에서 처리된 트랜잭션 데이터를 분석해 제품의 판매 추이, 구매 성향 파악, 재무 회계 분석 등을 프로세싱하는 것을 의미한다.
     • 다양한 비즈니스 관점에서 쉽고 빠르게 다차원적인 데이터에 접근하여 의사결정에 활용할 . 수있는 정보를 얻을 수 있게 하는 기술이다.

• 사용자의 의사결정에 도움을 주기 위하여 기관시스템의 데이터베이스에 축적된 데이터를 공통의 형식으로 변환해서 관리하는 데이터베이스이다.
• 데이터 웨어하우스는 일정한 시간 동안의 데이터를 축적하고 의사결정을 위한 다양한 분석 작업을 수행한다.

• 빅데이터는 기존 데이터보다 너무 방대하여 기존의 방법이나 도구로 수집, 저장, 분석 등이 어려운 정형 및 비정형 데이터들을 의미한다.
  • 빅데이터는 일반적인 데이터베이스 소프트웨어로 저장, 관리, 분석할 수 있는 범위를 초과하는 규모의 데이터이다. (McKinsey, 2011)
  • 빅데이터는 다양한 종류의 대규모 데이터로부터 저렴한 비용으로 가치를 추출하고 데이터의 초고속 수집, 발굴 분석을 지원하도록 고안된 차세대 기술 및 아키텍쳐이다. (IDC, 2011)
  • 빅데이터는 대용량 데이터를 활용해 작은 용량에서는 얻을 . 수없었던 새로운 통찰이나 가치를 추출해 내며, 나아가 이를 활용해 시장과 기업 및 시민과 정부의 관계 등 많은 분야에 변화를 가져오는 것이다. (Mayer-Schonberger & Cukier, 2013)

1. 빅데이터의 등장 배경
   • 디지털화, 저장 기술, 인터넷 보급, 모바일 혁명, 클라우드 컴퓨팅 등 관련 기술이 빠르게 발전하고 있다.
     • 기업에서는 온 / 오프라인 고객 데이터가 많이 축적되면서 데이터에 숨어 있는 가치를 발국해 새로운 성장동력으로 활용하고 있다.
     • 학계에서는 인간 게놈 프로젝트, 기후 찰 등 거대 데이터를 다루는 학문 분야가 확산되면서 필요한 기술 아키텍처 및 분석 기법들이 발전하고 있다.
2. 빅데이터의 등장으로 인한 변화
   • 데이터 처리 시점이 사전 처리 (pre-processing) 에서 사후 처리 (post-processing) 으로 이동하였다.
     • 기존에 필요한 정보만 수집하는 시스템에서, 가능한 . 한많은 데이터를 모으고 다양한 방식으로 조합하여 숨은 정보를 얻는 방식으로 변화
   • 데이터 처리 범주가 표본조사에서 전수조사로 확대되었다.
     • 기술 발전으로 인한 데이터 처리비용 감소로 표본조사가 아닌 전수조사를 통해 샘플링이 주지 못하는 패턴이나 정보를 발견하는 방식으로 변화
   • 데이터의 가치 판단 기준이 질 (quality) 보다 양 (quantity) 로 그 중요도가 달라졌다.
     • 데이터의 지속적 추가는 양질의 정보가 오류 정보보다 많아 전체적으로 좋은 결과를 산출하는데 긍정적인 영향을 미친다는 추론을 바탕으로 변화
   • 데이터를 분석하는 방향이 이론적 인과관계 중심에서 단순한 상관관계로 변화되는 경향이 있다.
     • 데이터 기반의 상관관계 분석으로 특정 현상의 발생 가능성을 포착하여 대응하는 방식으로 변화

• 3V (Volume, Variety, Velocity)
  • 규모 (Volume)
    • 데이터 양이 급격하게 증가 (대용량화)
    • 기존 데이터 관리 시스템의 성능적 한계 도달
  • 유행 (Variety)
    • 데이터 의 종류와 근원 확대 (다양화)
    • 정형 데이터 외 반정형 및 비정형 데이터로 확장
  • 속도 (Velocity)
    • 데이터 수집과 처리 속도의 변화 (고속화)
    • 대용량 데이터의 신속하고 즉각적인 분석 요구
• +2V (Veracity, Value)
  • 품질 (Veracity)
    • 데이터의 신뢰성, 정확성, 타당성 보장이 필수
    • 고품질의 데이터에서 고수준 인사이트 도출 가능
  • 가치 (Value)
    • 대용량의 데이터 안의 숨겨진 가치 발굴이 중요
    • 다른 데이터들과 연계 시 가치가 배로 증대

• 빅데이터를 활용을 위한 3요소
  1. 자원 (Resource) - 빅데이터
     • 정형, 반정형, 비정형 데이터를 실시간으로 수집한다.
     • 수집된 데이터를 전처리 과정을 통해 품질을 향상시킨다.
  2. 기술 (Technology) - 빅데이터플렛폼, AI
     • 분산 파일 시스템을 통해 대용량 데이터를 분산 처리한다.
     • 데이터마이닝 등을 통해 데이터를 분석 및 시각화한다.
  3. 인력 (People) - 데이터 사이언티스트
     • 통계학, 수학, 컴퓨터공학, 경영학 분야 전문지식을 갖춘다.
     • 도메인 지식을 습득하여 데이터 분석 및 결과를 해석한다.
• 빅데이터의 활용을 위한 기본 테크닉

  테크닉	설명	예시
  연관규칙학습	변인들 간 주목할 만한 상관관계가 있는지 찾아내는 방법	도시락을 구매하는 사람이 음료수를 더 많이 구매하는가?
  유형분석	문서를 분류하거나 조직을 그룹화할때 사용	이것은 어떤 특성을 가진 집단에 속하는가?
  유전 알고리즘	최적화가 필요한 문제를 생물 진화의 과정을 모방하여 점진적으로 해결책을 찾는 방법	시청률을 최고치로 하기 위해 어떤 프로그램을 어떤 시간에 방송해야 하는가?
  기계학습	데이터로부터 학습한 알려진 특성을 활용하여 예측	시청 기록을 바탕으로 어떤 영화를 가장 보고싶어 하는가?
  회귀분석	독립변수가 종속변수에 미치는 영향을 분석할 때 사용	경력과 학력이 연봉에 미치는 영향은?
  감정분석	특정 주제에 대해 말을 하거나 글을 쓴 사람의 감정을 분석	새로운 할인 정책에 대한 고객의 평은 어떤가?
  소셜네트워크 (사회관계망) 분석	특정인과 다른 사람의 관계를 파악하고 영향력 있는 사람을 분석할 때 사용	고객들 간의 관계망은 어떻게 구성되는가?

• 빅데이터는 이를 활용하려는 기존 사업자에게 경쟁 우위를 재공한다.
  • 새롭게 시장에 진입하려는 잠재적 경재자에게는 진입장벽과도 같다.
  • 고객 세분화와 맞춤형 개인화 서비스를 제공할 수 있다.
  • 시뮬레이션을 통한 수요 포착과 변수 탐색으로 경쟁력을 강화하고, 비즈니스 모델이나 제품 또는 서비스의 혁신을 가져온다.
• 빅데이터는 알고리즘 기반으로 의사결정을 지원하거나 이를 대신한다.
• 빅데이터는 투명성을 높여 R&D 및 관리 효율성을 제고한다.

• 특정 데이터의 가치는 그 데이터의 활용 및 가치 창출 방식과 분석 기술의 발전 여부 등의 따라 달라질 수 있어 이를 측정하고 판단하는 것은 쉽지 않다.
  1. 데이터 활용 방식 :
     • 데이터를 재사용하거나 재결합, 다목적용 데이터 개발 등이 일반화되면서 특정 데이터를 누가, 언제, 어디서 활용할지 알 수 없기에 그 가치를 측정하기 어렵다.
  2. 가치 창출 방식 :
     • 데이터는 어떠한 목적을 갖고서 어떻게 가공하는가에 따라 기존에 없던 가치를 창출할 수도 있어 사전에 그 가치를 측정하기 어렵다.
  3. 분석 기술 발전 :
     • 데이터는 지금의 기술 상황에서는 가치가 없어 보일지라도 새로운 분석 기법이 등장할 경우 큰 가치를 찾아낼 수 있으므로 당장 그 가치를 측정하기 어렵다.
  4. 데이터 수집 원가:
     • 데이터는 달성하려는 목적에 따라 수집하거나 가공하는 비용이 상황에 따라 달라질 수 있어 그 가치를 측정하기 어렵다.

• 기업에게 혁신과 경쟁력 강화, 생산성 향상의 근간이 된다.
  • 빅데이터를 활용해 소비자의 행동을 분석하고 시장 변동을 예측해 비즈니스 모델을 혁신하거나 신사업을 발굴한다.
• 정부에게 환경 탐색과 상황 분석, 미래 대응 수단을 제공한다.
  • 기상, 인구이동, 각종 통계, 법제 데이터 등을 수집해 사회 변화를 추정하여 관련 정보를 추출한다.
• 개인에게 활용 목적에 따라 스마트화를 통해 영향을 준다.
  • 빅데이터를 서비스하는 기업이 많아지고 데이터 분석 비용은 지속적으로 하락하여 활용이 용이해졌다.

(데이터) 처리 → 통합 → 분석 → 연결 → 권리

• 데이터 통합 시대까지 데이터의 역할을 거래를 정확하게 기록하고 거래의 자동화를 지원하는 것이었다.
• 데이터의 부석 수준이 향상되면서 데이터의 자원 활용이 가능해졌다.

1. 데이터 처리 시대
   • 기업들은 EDPS (Electonic Data Processing System) 을 도입하여 급여 계산, 회계 전표 처리 등의 업무에 적용하였다.
   • 데이터는 업무 처리의 대상으로 새로운 가치를 제공하지는 않았다.
2. 데이터 통합 시대
   • 데이터 처리가 여러 업무에 적용되기 시작하면서 데이터가 쌓이기 시작했고, 전사적으로 데이터 일관성을 확보하기가 어려워졌다.
   • 데이터 모델링과 데이터베이스 관리 시스템이 등장했다.
   • 데이터 조회와 보고서 산출, 원인 분석 등을 위해 데이터 웨어하우스가 도입되었다.
3. 데이터 분석 시대
   • 대부분의 업무에 정보기술이 적용되고, 모바일 기기 보급, 공정센서 확대, 소셜 네트워크 이용 확산 등으로 인해 데이터가 폭발적으로 증가했다.
   • 대규모 데이터를 보관하고 관리할 수 있는 하둡, 스파크 등의 빅데이터 기술이 등장했다.
   • 데이터를 학습하여 정확한 의사결정을 빠르게 내릴 수 있는 인공지능 기술도 향상되었다.
   • 데이터를 분석하여 사실들의 인과관계를 밝힐 수 있고, 이를 업무에 적용하면 의사결정의 연관성과 기민성을 높일 수 있다는 점이 다양한 사례로 증명되었다.
   • 데이터 소비자 (Data Consumer) 의 역할과 활용 역량을 높이기 위한 데이터 리터러시 (Data Literacy) 프로그램의 중요성도 커지고 있다.
4. 데이터 연결 시대
   • 기업, 기관, 사람, 사물 등 모든 것이 항상, 그리고 동시에 둘 이상의 방식으로 연결되어 데이터를 주고받는다.
   • 연결은 네트워크를 만들고, 네트워크는 새로운 비즈니스 모델을 탄생시킨다.
   • 디지털 경제의 주축 세력인 디지털 원주민은 융합된 서비스를 원한다.
     • 융합된 서비스를 제공하기 위해서는 다양한 기업들의 서비스 연결이 필요하고, 이는 기업 간 데이터로 연결되어야 한다.
   • 데이터 경제의 데이터 연결을 강조하는 의미에서, Open API 경제라는 용어가 사용되기도 한다. 또한, Open API 제공 수 및 접속 수, Open API 로 연결된 외부 실체 수 등이 기업의 지속가능성과 성장성을 확인할 수 있는 지표가 되기도 한다.
     • 현재 Open API 를 제공하는 것은 해당 기업의 자율적 판단에 달려 있지만, 점차 의무화되는 추세이다.
5. 데이터 권리 시대
   • 개인이 자신의 데이터를 자신을 위해 사용한다.
     • 데이터의 원래 소유자인 개인이 자신의 데이터에 대한 권리를 보유하고 있으며, 스스로 행사할 수 있어야 한다는 마이데이터 (My Data) 가 등장하였다.
     • 마이데이터 :
       • 개인 데이터의 활용처와 활용범위 등의 대한 정보주체의 능동적인 의사결정을 지원, 개인정보 자기결정권 보장.
   • 데이터의 권리를 개인이 갖게 된다는 것은 산업이 데이터를 중심으로 재편될 수 있다는 뜻이다.
     • 데이터는 기본적으로 거래 행위의 부산물이었다. 기업들은 개인과 거래를 하는 과정에서 개인의 데이터가 있어야 했고, 이를 확보하였지만 몇가지 문제 (개인정보 유출, 미동의 활용, 데이터의 산재) 를 일으켰다.
     • 개인의 데이터를 관리해 줄 수 있는 서비스와 필요한 수요자에게 데이터를 팔아 주는 서비스가 나타날 수 있다.
     • 개인은 스스로 데이터를 만들고 자신이 만든 데이터를 기반으로 하는 비즈니스 모델을 구상할 수 있다.
     • 기존 기업들은 개인 데이터 사용에 제약을 받게 됨으로써 고객 접점을 상실하게 될 수 있다.
   • 데이터의 공정한 사용이 보장되어야 하며, 데이터 독점이 유발할 수 있는 경제독점이 방지되어야 한다.

1. 인프라 영역
   • 데이터 수집, 저장, 분석, 관리 등의 기능을 담당한다.
   • 컴퓨터나 네트워크 장비 및 스토리지 같은 하드웨어 영역과, 데이터를 관리하고 분석하기 위한 소프트웨어 영역으로 나뉜다.
2. 서비스 영역
   1. 데이터를 활용하기 위한 교육이나 컨설팅 또는 솔루션을 제공한다.
   2. 데이터 그 자체를 제공하거나 이를 가공한 정보를 제공한다.
   3. 데이터를 처리하는 역할을 담당하기도 한다.

• 빅데이터와 관련된 기술적인 문제들은 기술의 발전으로 어느 정도 해소되었다.
• 데이터 분석 및 활용을 위한 조직체계나 분석 전문가 확보에 어려움이 있다.
• 데이터 분석 관점의 컨트롤 타워에 대한 필요성이 제기되고 있다.

• 전사 및 부서의 분석 업무를 발굴한다.
• 전문적인 분석 기법과 도구를 활용하여 빅데이터 속에서 인사이트 (통찰) 를 찾아낸다.
• 발견한 인사이트를 전파하고 이를 실행한다.

• 통계학이나 분석 방법에 대한 지식과 분석 경험이 있는 전문인력을 중심으로 전사 또는 특정 부서 내 조직으로 구성하여 운영한다.

1. 조직 구성을 위한 체크리스트
   • 비즈니스 질문을 선제적으로 찾아낼 수 있는가?
   • 분석 전담조직과 타 부서간의 유기적인 협조 및 지원이 가능한 구조인가?
   • 어떤 형태의 조직 (집중형, 기능형, 분산형) 이 효율적인가?
2. 인력 구성을 위한 체크리스트
   • 전사 비즈니스를 커버하는 인력이 없다면 어떻게 해야하는가?
   • 전사 분석업무에 대한 적합한 인력 규모는 어느 정도인가?

1. 구성 인력과 필요역량
   • 비즈니스를 이해하고 있는 인력
   • 분석에 필요한 컴퓨터공학적인 기술을 이해하고 있는 인력
   • 통계를 이용한 다양한 분석기법을 활용할 수 있는 분석 지식을 갖춘 인력
   • 조직 내 분석 문화 확산을 위한 변화 관리 인력
   • 분석조직뿐 아니라 관련 부서 조직원의 분석 역량 항상을 위한 교육담당 인력

• 데이터 사이언스는 정형, 비정형 형태를 포함하는 다양한 데이터로부터 지식과 인사이트를 추출하는 데 과학적 방법론, 프로세스, 알고리즘, 시스템을 동원하는 융합분야이다.
  • 데이터 사이언스는 데이터를 통해 실제 현상을 이해하고 분석하는 데 필요한 통계학, 데이터 분석, 기계학습과 연관된 방법론을 통합하는 개념으로 정의되기도 한다.

1. 데이터 사이언스의 기능
   • 비즈니스 성과를 좌우하는 핵심이슈에 답할 수 있다.
   • 사업의 성과를 견인해 나갈 수 있다.
2. 데이터 사이언스 실현을 위한 인문학적 요소
   • 스토리텔링 능력
   • 커뮤니케이션 능력
   • 창의력과 직관력
   • 비판적 시각과 열정
3. 데이터 사이언스의 한계
   • 분석 과정에서 가정과 같이 인간의 해석이 개입되는 단계가 불가피하다.
   • 분석 결과를 바라보는 사람에 따라 서로 다른 해석과 결론을 내릴 수 있다.
   • 아무리 정량적인 분석이라 할지라도, 모든 분석은 가정에 근거한다.

• 데이터에 대한 이론적 지식과 숙련된 분석 기술을 바탕으로 통찰력과 전달력 및 협업 능력을 갖춘 데이터 분야 전문가이다.
  • 데이터의 다각적 분석을 통해 인사이트를 도출하고 이를 조직의 전략 방향 제시에 활용할 수 있는 기획자이기도 하다.
  • 문제를 집중적으로 파고들어 질문을 찾고, 검증 가능한 가설을 세워야 한다.

1. 비즈니스 요구사항 변화
   • 빠른 의사결정 속도보다 장기적이고 전략적인 접근이 필요하다.
   • 초저가의 대규모 프로세싱과 클라우드 컴퓨팅 기반의 분석 환경이 등장하였다.
   • 새로운 형태의 비즈니스 질문과 통찰이 요구되고 있다.
2. 데이터 규모와 처리 복잡도 증가
   • 데이터의 범위와 기간이 확장되어 처리할 데이터 규모와 내용이 방대해졌다.
   • 정보의 수집 및 분석이 일시적이지 않고 장기간에 걸쳐 수행되어야 한다.
   • 분산 처리가 불가피하며 이를 제어할 수 있는 고도의 기술이 필요하다.
3. 데이터 구조의 변화와 신속성 요구
   • SNS 데이터나 로그 파일, 스트림 데이터 등 비정형 데이터의 비중과 실시간 처리에 대한 요구가 높아지고 있다.
   • 약한 관계형 스키마나 반정형 데이터와 같은 정형적이지 않은 데이터가 증가하고 있다.
   • 데이터 발생 속도가 빨라져 빠른 수집과 가공 및 분석 등의 처리가 요구된다.
4. 데이터 분석 유연성 증대
   • 기존의 통계적 분석방법과 같이 정해진 절차와 과정을 따르지 않아도 분석 목적에 맞게 유연한 분석이 가능하게 되었다.
   • 인공지능 기술의 발전으로 다양한 방법론을 통해 텍스트, 음성, 이미지, 동영상 등 다양한 요소들의 분석이 가능하게 되었다.

• 빅데이터를 처리하는 과정에서 부하 발생은 불가피하며, 빅데이터 플랫폼은 이러한 부하들을 기술적인 요소들을 결합하여 해소한다.

1. 컴퓨팅 부하 발생
   • 연산과정에서 CPU, GPU, 메모리 부하 발생
   • 빅데이터 플랫폼을 통한 CPU 성능 향상 및 클러스터 (Cluster) 에서의 효과적인 자원 할당을 통해 부하를 제어할 수 있다.
     • Cluster : 여러 대의 컴퓨터들이 연결되어 하나의 시스템처럼 동작하는 컴퓨터들의 집합
2. 저장 부하 발생
   • 처리 과정의 입력 데이터, 중간 가공 데이터, 출력 데이터 등 여러 단계에서 부하 발생 가능
   • 플랫폼을 통한 파일 시스템 개선, 데이터베이스 성능 향상으로 제어 가능
3. 네트워크 부하 발생
   • 분산처리 시 노드 (Node) 간의 통신 과정에서 부하가 발생
     • Node: 지역 네트워크에 연결된 컴퓨터와 그 안에 속한 장비들을 통틀어 일컫는 용어
   • 대역폭의 효과적인 분배 및 최단거리 노드 탐색을 통해 제어 가능

• 빅데이터 플랫폼은 서비스 사용자와 제공자 어느 한쪽에 치우쳐서는 안 되며 모두가 만족할 수 있는 환경을 제공해야 함.

1. 서비스 사용자 체크리스트
   • 주어진 문제를 해결하기에 충분한 요소를 제공하는가?
   • UI가 편리한가?
2. 서비스 제공자 체크리스트
   • 성능적인 문제가 발생하지 않도록 관리 기능을 제공하는가?
   • 사용자 접속, 인증 및 관리 기능을 제공하는가?
   • 효율적인 운영을 위한 자원 관리 기능을 제공하는가?
   • 서비스 품질 관리를 위한 각종 지표들을 제공하는가?
   • 보안적인 요소를 가지고 있는가?
   • 플랫폼 도입을 통해 비용을 아낄 수 있는가?

1. 소프트웨어 계층
   • 빅데이터 어플리케이션을 구성하며 데이터 처리 및 분석과 이를 위한 데이터 수집, 정제를 한다.
2. 플랫폼 계증
   • 빅데이터 애플리케이션을 실행하기 위한 플랫폼을 제공하며, 작업 스케줄링이나 데이터 및 자원 할당과 관리, 프로파일링 등을 수행한다.
3. 인프라스트럭쳐 계층
   • 자원 배치와 스토리지 관리, 노드 및 네트워크 관리 등을 통해 빅데이터 처리와 분석에 필요한 자원을 제공한다.

1. 생성
   • 데이터베이스같은 내부 데이터나 인터넷으로 접속할 수 있는 외부 데이터
2. 수집
   • 크롤링을 통해 데이터 원천 (Source) 로부터 데이터를 검색하여 수집
   • ETL (Extract, Transform, Load) 을 통해 소스 데이터로부터 데이터를 추출 (Extract) 하고, 변환 (Transform) 하여 적재 (Load)
   • 단순한 수집이 아니라 검색 및 수집, 변환 과정을 전부 포함
   • 로그 수집기나 센서 네트워크 및 Open API 등을 활용 가능
3. 저장 (공유)
   • 저렴한 비용으로 데이터를 쉽고 빠르게 많이 저장
   • 정형 데이터뿐만 아니라 반정형, 비정형 데이터도 포함
   • 벙렬 DBMS 나 하둡 (Hadoop), NoSQL 등 다양한 기술 사용 가능
   • 시스템 간의 데이터를 서로 공유 가능
4. 처리
   • 데이터를 효과적으로 처리하는 기술이 필요한 단계
   • 분산 병렬 및 인-메모리 (In-memory) 방식으로 실시간 처리
   • 대표적으로 하둡 (Hadoop) 의 맵리듀스 (MapReduce)를 활용 가능
5. 분석
   • 데이터를 신속하고 정확하게 분석하여 비즈니스에 기여
   • 특정 분야 및 목적의 특성에 맞는 분석 기법 선택이 중요
   • 통계분석, 데이터 마이닝, 텍스트 마이닝, 기계학습 방법 등이 있음
6. 시각화
   • 빅데이터 처리 및 분석 결과를 사용자에게 보여주는 기술
   • 다양한 수치나 관게( 등을 표, 그래프 등을 이용해 쉽게 표현하고 탐색이나 해석에 활용
   • 정보 시각화 기술, 시각화 도구, 편집 기술, 실시간 자료 시각화 기술로 이루어져 있음

1. 크롤링 (Crawling)
   • 분산 저장되어 있는 문서를 수집하여 검색 대상의 색인으로 포함시키는 기술
2. 로그 수집기
   • 조직 내부에 있는 웹 서버나 시스템의 로그를 수집
3. 센서 네트워크 (Sensor Network)
   • 많은 센서들로 구성된 유, 무선의 네트워크. 획득한 여러 정보를 네트워크로 구성된 통합 환경 내에서 재구성하여 처리
4. RSS Reader / Open API
   • 데이터의 생산, 공유, 참여할 수 있는 환경인 웹 2.0 을 구현하는 기술
5. ETL (Extract, Transform, Load)
   • 다양한 원천 데이터를 취합해 추출하고 공통된 형식으로 변환하여 적재하는 과정

1. NoSQL (Not-only SQL)
   • 기존의 RDBMS 트랜섹션 속성인 원자성 (Atomicity), 일관성 (Consistency), 독립성 (Isolation), 지속성 (Durability) 을 포기한다
   • 데이터 업데이트가 즉각적으로 가능하다
   • Cloudata, Hbase, Cassandra, MongoDB 등이 있다.
2. 공유 데이터 시스템 (Shared-data System)
   • 일관성, 가용성 (Availability), 분할 내성 (Partition Tolerance 중에서 최대 두 개의 속성만 보유할 수 있다. (CAP 이론)
   • 분할 내성을 취하고 일관성과 가용성 중 하나를 포기하여 일관성과 가용성을 모두 퓌하는 기존 RDBMS 보다 높은 성능과 확장성을 제공한다.
3. 병렬 데이터베이스 관리 시스템 (Parallel Database Management System)
   • 다수의 마이크로프로세서를 사용하여 여러 디스크에 질의, 갱신, 입출력 등 데이터베이스 처리를 동시에 수행하는 시스템이다.
     • 확장성을 제공하기 위해 작은 단위의 동작으로 트랜잭션 적용이 필요하다.
     • VoltDB, SAP HANA, Vertica, Green(plum, Netezza 등이 있다.
4. 분산 파일 시스템
   • 네트워크로 공유하는 여러 호스트의 파일에 접근할 수 있는 파일 시스템이다.
     • 데이터를 분산하여 저장하면 데이터 추출 및 가공 시 빠르게 처리할 수 있다.
     • GFS (Google File System), HDFS (Hadoop Distributed File System), AWS S3 등이 있다.
5. 네트워크 저장 시스템
   • 이기종 데이터 저장 장치를 하나의 데이터 서버에 연결하여 총괄적으로 데이터를 저장 및 관리하는 시스템이다.
     • SAN (Storage Area Network), NAS (Network Attached Storage) 등이 있다.

1. 분산 시스템과 병렬 시스템

   분산 시스템	- 네트워크 상에 분산되어 있는 컴퓨터를 단일 시스템인 것처럼 구동하는 기술 - 분산 시스템에 속한 각 노드는 독립되어 있음 - 독립 컴퓨터의 집합으로 만들어져 있으나, 마치 단일 시스템처럼 수행됨
   병렬 시스템	- 문제 해결을 위해 CPU 등의 자원을 데이터 버스나 지역 통신 시스템 등으로 연결하여 구동하는 기술 - 분할된 작업을 동시에 처리하면서 계산 속도 향상

   • 병렬 데이터베이스의 특징
     • 분산 아키텍쳐
     • 병렬 / 고속 처리
     • 데이터 파티셔닝을 통한 데이터 병렬성
     • 데이터 복제화 분산

2. 분산 병렬 컴퓨팅

   • 다수의 독립된 컴퓨팅 자원을 네트워크상에 연결하여 이를 제어하는 Middleware 를 이용해 하나의 시스템으로 동작하게 하는 기술
   • 분산 병렬 컴퓨팅 시 고려사항

   문제	설명
   전체 작업의 배분	전체 작업을 잘 쪼개어 여러 개의 작은 작업으로 나눠야 함
   각 프로레서에서 계산된 중간 결과물 공유	- 효율적인 통신은 성능과 직결됨 - 보통 단일 시스템은 전체 작업을 노드의 수만큼 균등하게 나눔 - 이종 시스템은 컴퓨팅 능력에 따라 전체 작업을 배분 - 노드 간의 통신을 최소화하는 기법 등을 반영해 성능 향상 가능
   다른 프로세서 간의 동기화	- 데이터 병렬 처리에서 동기적 방법을 사용할 경우 프로세서는 특정 계산이 끝나거나 특정 데이터를 넘겨받을 때까지 반드시 대기해야 함 - 동기적 방법의 경우 송신자는 수신자에게서 데이터를 받았다는 응답이 올 때까지 대기 - 비동기적 방법에서는 결과 메세지를 보낸 즉시 다음 작업을 계속할 수 있음 - 비동기적 방법의 경우 프로세서는 기다릴 필요가 없지만, 계산 과정이 적합한지 확인 필요

3. 하둡 (Hadoop)

   • 분산 처리 환경에서 대용량 데이터 처리 및 분석을 지원하는 오픈 소스 소프트웨어 프레임워크
     • 하둡 분산파일시스템인 HDFS 와 분산칼럼기반 데이터베이스인 Hbase, 분산 컴퓨팅 지원 프레임워크인 맵리듀스 (MapReduce) 로 구성되어 있다.
     • 분산파일시스템을 통해 수 천대의 장비에 대용량 파일을 나누어 저장할 수 있는 기능 제공
       • 분산파일시스템에 저장된 대용량의 데이터들을 맵리듀스를 이용하여 실시간으로 처리 및 분석 가능
     • 하둡의 부족한 기능을 보완하는 하둡 에코시스템이 등장하여 다양한 솔루션을 제공함

4. 아파치 스파크 (Apache Spark)

   • 실시간 분산형 컴퓨팅 플랫폼으로 In-Memory 방식으로 처리를 하여 하둡보다 속도가 빠름
     • 스칼라 언어로 개발되었지만 Java, R, Python 을 지원함

5. 맵리듀스 (MapReduce)

   • 구글에서 개발한 방대한 양의 데이터를 신속하게 처리하는 프로그래밍 모델로 효과적인 병렬 및 분산 처리를 지원한다.
     • 런타임 (Runtime) 에서의 입력 데이터 분할, 작업 스케줄링, 노드 고장, 노드 간의 데이터 전송 작업이 맵리듀스 처리 성능에 많은 영향을 미친다

   1단계	입력 데이터를 읽고 분할
   2단계	분할된 데이터를 할당해 맵 작업을 수행한 후, 그 결과인 중간 데이터를 통합 및 재분할
   3단계	통합 및 재분할된 중간 데이터를 셔플
   4단계	셔플된 중간 데이터를 이용해 리듀스 작업을 수행
   5단계	출력 데이터를 생성하고, 맵리듀스 처리를 종료

• 데이터 분석 방법의 분류
  • 탐구 요인 분석 (EFA: Exploratory Factor Analysis) :
    • 데이터 간 상호 관계를 파악하여 데이터를 분석하는 방법
  • 확인 요인 분석 (CFA: Confirmatory Factor Analysis) :
    • 관찰된 변수들의 집합 요소 구조를 파악하기 위한 통계적 기법을 통해 데이터를 분석하는 방법
• 데이터 분석 방법

  구분	내용
  분류 Classification	- 미리 알려진 클래스들로 구분되는 학습 데이터셋을 학습시켜 새로 추가되는 데이터가 속할 만한 데이터셋을 찾는 지도학습 방법
  군집 Clustering	- 특성이 비슷한 데이터를 하나의 그룹으로 분류하는 방법으로, 분류와 달리 학습 데이터셋을 이용하지 않는 비지도학습 방법
  기계학습 Machine Learning	- 인공지능 분야에서 인간의 학습을 모델링한 방법 - 의사결정트리 등 기호적 학습과 신경망이나 유전 알고리즘 등 비기호적 학습, 베이지안이나 은닉 마코프 등 확률적 학습 등 가양한 기법이 있음
  텍스트 마이닝 Text Mining	- 자연어 처리 기술을 이요해 인간의 언어로 쓰인 비정형 텍스트에서 유용한 정보를 추출하거나 다른 데이터와의 연관성을 파악하기 위한 방법 - 분류나 군집화 등 빅데이터에 숨겨진ㅌ 의미 있는 정보를 발견하는데 사용하기도 함
  웹 마이닝 Web Mining	- 인터넷을 통해 수집한 정보를 데이터 마이닝 방법으로 분석하는 응용분야
  오피니언 마이닝 Opinion Mining	- 온라인의 다양한 뉴스와 소셜 미디어 코멘트 또는 사용자가 만든 콘텐츠에서 표현된 의견을 추출, 분류, 이해하는 응용분야
  리얼리티 마이닝 Reality Mining	- 휴대폰 등 기기를 사용하여 인간관계와 행동 양태 등을 추론하는 응용분야 - 통화량, 통화 위치, 상태, 대상, 내용 등을 분석하여 사용자의 인간관계나 행동 특성을 찾아냄
  소셜네트워크 분석 SNS Analysis	- 수학의 그래프 이론을 바탕으로 소셜 네트워크 서비스에서 네트워크 연결 구조와 강도를 분석하여 사용자의 명성 및 영향력을 측정하는 방법
  감성 분석 Sentiment Analysis	- 문장의 의미를 파악하여 글의 내용에 긍정 또는 부정, 좋음 또는 나쁨을 분류하거나 만족 또는 불만족 강도를 지수화하는 방법 - 도출된 지수를 이용하여 고객의 감성 트랜드를 시계열로 분석하고, 고객의 감성 변화에 기업들이 신속하게 대응 및 부정적인 의견의 확산을 방지하는 데 활용 가능

1. 인공지능의 정의
   • 인공지능은 기계를 지능화하려는 노력이며, 지능화란 객체가 환경에서 적절히, 그리고 예지력을 갖고 작동하도록 하는 것이다. (AI and life in 2030, 스탠퍼드대학교 AI100)
   • 인공지능은 합리적 행동 수행자 (Rational Agent) 이며, 어떤 행동이 최적의 결과를 낳을 수 있도록 하는 의사결정 능력을 갖춘 에이전트를 구축하는 것이다. (AI - a modern approach [3rd edition], 러셀과 노빅)
   • 인공지능은 설정한 목표를 극대화하는 행동을 제시하는 의사결정 로직이다.
   • 인공지능은 사람과 흡사한 생각과 행동에 초점을 맞춘 정의도 소개된 바 있으나, 인공지능 구현방법이 구체화 될수록 인간처럼 보다는 합리성을 더 강조하고 있다.
2. 인공지능과 기계학습 및 딥러닝의 관계
   • 인공지능을 논할 때 기계학습과 딥러닝을 혼재하여 사용한다.
   • 인공지능 ⊃ 머신러닝 ⊃ 딥러닝
     • 인공지능은 사람이 생각하고 판단하는 사고 구조를 구축하려는 전반적인 노력이다.
     • 기계학습은 인공지능의 연구 분야 중 하나로 인간의 학습 능력과 같은 기능을 축적된 데이터를 활용하여 실현하고자 하는 기술 및 방법이다.
     • 딥러닝은 기계학습 방법 중 하나로 컴퓨터가 많은 데이터를 이용해 사람처럼 스스로 학습할 수 있도록 인공신경망 등의 기술을 이용한 기법이다.
3. 딥러닝 (Deep Learning) 의 특징
   • 딥러닝은 제프리 힌튼 (Geoffrey Everest Hinton) 의 노력으로 함수추정 방법으로써의 신경망 관점에서 정보를 압축, 가공, 재현하는 알고리즘으로 일반화하면서 인공지능의 핵심 동인이 되었다.
   • 깊은 구조에 의해 엄청난 양의 데이터를 학습할 수 있는 특징을 가지고 있어 인공지능 발전에 크게 기여하였다.
     • 딥러닝의 학습을 위한 데이터의 확보는 곧 우수한 인공지능 개발과 깊은 관련성이 있다.
4. 기계학습의 종류

   종류	내용
   지도학습 (Supervised Learning)	- 학습 데이터로부터 하나의 함수를 유추해내기 위한 방법이다. - 학습 데이터는 일반적으로 입력 객체에 대한 속성을 벡터 형태로 포함하고 있으며, 각각의 벡터에 대해 원하는 결과가 무엇인지 표시되어 있다. - 유추된 함수 중 연속적인 값을 출력하는 것을 회귀분석이라 한다. - 주어진 입력 벡터가 어떤 종류의 값인지 표시하는 것을 분류라 한다. - 지도 학습기 (Supervised Learner) 가 하는 작업은 훈련 데이터로부터 주어진 데이터에 대해 예측하고자 하는 값을 올바로 추측해내는 것이다. - 학습기는 알맞은 방법을 통하여 기존의 훈련 데이터로부터 나타나지 않던 상황까지도 일반화하여 처리할 수 있어야 한다.
   비지도학습 (Unsupervised Learning)	- 데이터가 어떻게 구성되었는지를 알아내는 문제의 범주에 속한다. - 지도학습 혹은 강화학습과는 달리 입력값에 대한 목표치가 주어지지 않는다. - 통계의 밀도 추정 (Density Estimation) 과 깊은 연관이 있으며, 데이터의 주요 특징을 요약하고 설명할 수 있다. - 군집화 (Clustering), 독립성분분석 (Independent Component Analysis) 방법 등이 있다.
   준지도학습 (Semi-supervised Learning)	- 목표값이 표시된 데이터와 표시되지 않은 데이터를 모두 학습에 사용하는 것을 말한다. - 대개의 경우 이러한 방법에 사용되는 학습 데이터는 목표값이 표시된 데이터보다 표시되지 않은 데이터를 많이 갖고 있다. - 목표값이 충분히 표시된 학습 데이터를 사용하는 지도학습과 목표값이 표시되지 않은 학습 데이터를 사용하는 비지도학습 사이에 위치한다. - 많은 기계학습 연구자들이 목표값이 없는 데이터에 적은 양의 목표값을 포함한 데이터를 사용할 경우 학습 정확도에 있어서 상당히 좋아짐을 확인하였다. - 두 개 이상의 학습기 각각이 예제를 통해 훈련되는 상호 훈련 방법 등이 있다.
   강화학습 (Reinforcement Learning)	- 행동심리학에서 영감을 받았으며, 선택 가능한 행동들 중 보상을 최대화하는 행동 혹은 순서를 선택하는 방법이다. - 운용과학, 제어이론에서 강화학습은 ‘근사 동적 계획법’ 이라 부는 분야에서 연구된다. - 경제학, 게임이론 분야에서 어떻게 제한된 합리성 하에서 평형이 일어날 수 있는지를 설명하는 데에 사용되기도 한다. - 강화학습의 초점은 학습 과정 (on-line) 에서의 성능이며, 이는 탐색 (exploration) 과 이용 (exploitation) 의 균형을 맞춤으로써 제고된다. - 탐색과 이용의 균형 문제는 강화학습에서 가장 많이 연구된 문제로, 다중 슬롯머신 문제 (multi-armed bandit problem) 와 유한한 마르코프 결정 과정 등에서 연구되었다.

5. 기계학습 방법에 따른 인공지능 응용분야

   학습 종류	방법	응용 영역
   지도학습	분류모형	- 이미지 인식 - 음성 인식 - 신용평가 및 사기검출 - 불량예측 및 원인발굴
   	회귀모형	- 시세 / 가격 / 주가 예측 - 강우량 예측 등
   비지도학습	군집분석	- 텍스트 토픽 분석 - 고객 세그멘테이션
   	오토인코더 (Auto Encoder)	- 이상징후 탐지 - 노이즈 제거 - 텍스트 벡터화
   	생성적 적대 신경망 (Generative Adversarial Network)	- 시뮬레이션 데이터 생성 - 누락 데이터 생성 - 패션 데이터 생성 등
   강화학습	강화학습	- 게임 플레이어 생성 - 로봇 학습 알고리즘 - 공급망 최적화 등

1. 전이학습 (Transfer Learning)
   • 전이학습은 기존의 학습된 모델의 지식을 새로운 문제에 적용하여 학습을 빠르고 효율적으로 수행하는 머신러닝 기법이다. 전이학습은 기존의 모델이 학습한 특성, 가중치, 표현 등을 새로운 모델에 전달하여 새로운 작업에 적용하는 방식으로 작동한다. 비슷한 분야에서 학습된 딥러닝 모형을 다른 문제를 해결하기 위해 사용하고자 할 때 적은 양의 데이터로도 좋은 결과를 얻을 수 있다.
   • 주로 이미지, 언어, 텍스트 인식과 같이 지도학습 중 분류모형인 인식 (recognition) 문제에 활용 가능하다.
     • 인식 문제의 경우 데이터 표준화가 가능하여 사전학습모형 입력형식에 맞출 수 있다.
2. 전이학습 기반 사전학습모형 (Pre-trained Model)
   • 학습 데이터에 의한 인지능력을 갖춘 딥러닝 모형에 추가적인 데이터를 학습시키는 방식
   • 데이터 학습량에 따라 점차 발전하는 것도 중요하지만, 응용력을 갖추는 것 또한 필수
   • 상대적으로 적은 양의 데이터로도 제한된 문제에 인공지능 적용이 가능
     • 이미 학습된 사전학습모형도 데이터를 함축한 초보적 인공지능으로서 충분한 가치를 지는 새로운 의미의 데이터라고 할 수 있음
3. BERT (Bidirectional Encoder Representations from Transformers)
   • 2018년 구글에서 발표한 언어인식 사전학습모형
   • 확보된 언어 데이터의 추가 학습을 통한 신속한 학습이 가능
     • 다층의 임베딩 구조를 통해 1억 2천개가 넘는 파라미터로 구성됨
     • 256개까지의 문자가 입력되어 768차원 숫자 백터가 생성되는 방식
     • 언어 인식뿐만 아니라 번역, 챗봇의 Q&A 엔진으로 활용 가능

1. 인공지능을 위한 학습 데이터 확보
   • 학습 데이터 측면을 고려한 양질의 데이터 확보는 결국 성공적인 인공지능 구현과 직결됨
   • 딥러닝은 깊은 구조를 통해 무한한 모수 추정이 필요한 만큼, 많은 양의 데이터가 필요
   • 인공지능 학습에 활용될 . 수있는 데이터로 가공이 필요
   • 학습의 가이드를 제공해 주는 애노테이션 작업이 필수
2. 학습 데이터의 애노테이션 작업
   • 많은 데이터 확보 . 후애노테이션을 통해 학습이 가능한 데이터로 가공하는 작업이 필요
   • 작업의 특성상 많은 수작업이 동반되며, 이로 인해 인공지능 사업은 노동집약적이라는 인식이 생김
3. 애노테이션 작업을 위한 도구로써의 인공지능
   • 인공지능 시장이 확장되며 애노테이션 작업을 전문으로 하는 기업의 수가 증가함
     • 경쟁으로 인해 학습용 데이터에 대한 보안 . 및애노테이션 결과에 대한 품질 요구수준이 높아짐
     • 기업들은 데이터 업로드 및 애노테이션 도구, 작업 모니터링을 위한 플랫폼을 제공하기 시작함
   • 현재 자동으로 애노테이션을 수행해 주는 인공지능 기반의 애노테이션 도구를 제공하는 서비스로 진화 중

1. 기계학습 프레임워크 보급 확대
   • 구글브레인이 개발한 텐서플로우는 파이썬 기반 딥러닝 라이브러리로 여러 CPU 및 GPU 와 플랫폼에서 사용 가능
   • 케라스 (Keras) 는 딥러닝 신경망 구축을 위한 단순화된 인터페이스를 가진 라이브러리이며, 몇 줄의 코드만으로 딥러닝 모형 개발이 가능
2. 생성적 적대 신경망 (GAN: Generative Adversarial Networks)
   • GAN 은 두개의 인공신경망으로 구성된 딥러닝 이미지 생성 알고리즘
   • 생성자가 가짜 사례를 새성하면 감별자가 진위를 판별하도록 구성한 후 이들이 적대적 관계 속에서 공방전을 반복하도록 함
     • 가짜 사례의 정밀도를 점점 더 진짜 사례와 구별하기 어려운 수준으로 높이는 방식으로 작동
   • 주로 새로운 합성 이미지를 생성하는 분석에 많이 적용됨
3. 오토인코더
   • 오토인코더는 라벨이 설정되어 있지 않은 학습 데이터로부터 더욱 효율적인 코드로 표현하도록 학습하는 신경망임
   • 입력 데이터의 차원을 줄여 모형을 단순화시키기 위해 활용 가능
4. 설명 가능한 인공지능 (XAI: eXplainable AI)
   • 설명 가능한 인공지능은 결론 도출 과정에 대한 근거를 차트나 수치 또는 자연어 형태의 설명으로 제공함
   • 기존의 기계학습은 정확한 예측을 할 . 수있도록 하는 방향으로 개발되어 왔음
     • 기존 기계학습의 완성된 모형은 내부 구조가 매우 복잡하고 의미를 이해하기 어려워 일종의 블랙박스 모형이라 불림
5. 기계학습 자동화 (AutoML)
   • 기계하습의 전체 과정을 자동화하는 것
   • 세부적으로는 데이터 전처리, 변수 생성, 변수 선택, 알고리즘 선택, 하이퍼파라메터 최적화 등의 기능을 수행
   • 기계학습 모형 개발 과정의 생산성을 높이며 비전문가들의 활용을 용이하게 할 것으로 기대됨

1. 국내시장의 한계
   • 국내에서 축적한 머신러닝 및 인공지능과 관련한 수학, 통계학적 이해도는 낮은 수준
   • 인공지능 개발을 위한 데이터 확보 및 그 중요성에 대한 인식이 부족
2. 인공지능의 미래
   • 딥러닝의 재학습 및 전이학습 특성을 확용한 사전학습모형이 새로운 데이터 경제의 모습이 될 것
   • 마스킹이나 라벨링 등의 애노테이션 작업을 통해 학습용 데이터를 가공하는 산업이 확산되고 있음
   • 복잡한 BERT 의 학습을 위한 구글의 클라우드 서비스와 같은 확장된 개념의 데이터 경제로 파생될 것으로 예상됨

1. 개인정보의 정의
   • 살아 있는 개인에 관한 정보로써 개인을 알아볼 수 있는 정보
   • 해당 정보만으로 특정 개인을 알아볼 수 없더라도, 다른 정보와 쉽게 결합하여 알아볼 수 있는 정보를 포함
2. 개인정포의 판단기준
   • 생존하는 개인에 관한 정보여야 함
   • 정보의 내용 및 형태 등은 제한이 없음
   • 개인을 알아볼 수 있는 정보여야 함
     • 다른 정보와 쉽게 결합하여 개인을 알아볼 수 있는 정보도 포함됨

• 개인정보가 다른 사람 (제 3자) 에게 이전되거나 공동으로 처리하게 하는 것
• 개인정보의 처리 위탁과 제 3자 제공으로 분류됨

1. 개인정보의 처리 위탁
   • 개인정보처리자의 업무를 처리할 목적으로 제 3자에게 이전되는 것
2. 개인정보의 제 3자 제공
   • 해당 정보를 제공받는 자의 고유한 업무를 처리할 목적 및 이익을 위하여 개인정보가 이전되는 것

1. 개인정보의 보호조치
   • 조직 내부의 정보보안 방침과 개인정보보호법에 위배되지 않도록 개인정보보호 가이드라인을 점검
   • 데이터를 외부에 공개하는 경우 가이드라인에서 정한 규칙을 준수하는지 반드시 확인
   • 가이드라인에 명시되지 않은 경우 관계기관이나 조직 내부의 법무가이드를 받은 후, 적절한 범위 안에서 데이터를 활용
   • 개인정보 보호를 위해 주기적인 패스워드 변경, 시스템 패스워드 관리 보안 강화, 의심스러운 메일 열람 금지, 정기적인 보안교육 참여 등을 유도
   • 백신의 설치 및 최신버전 유지
   • 개인정보를 과하게 요구하는 사이트의 이용 및 가입 자제
2. 빅데이터 개인정보보호 가이드라인 (방송통신위원회)

   구분	내용
   비식별화	<수집 시부터 개인식별 정보에 대한 철저한 비식별화 조치> - 개인정보가 포함된 공개된 정보 및 이용내역정보는 비식별화 조치를 취한 후 수집, 저장, 조합, 분석 및 제 3자 제공이 가능하다.
   투명성 확보	<빅데이터 처리 사실, 목적 등의 공개를 통한 투명성 확보> - 개인정보 취급방침을 통해 비식별화 조치 후 빅데이터 처리 사실, 목적, 수집 출처 및 정보 활용 거부권 행사 방법 등을 이용자에게 투명하게 공개한다. - (개인정보 취급방침) 비식별화 조치 후 빅데이터 처리 사실, 목적 등을 이용자 등에게 공개하고 ‘정보활용 거부 페이지 링크’ 를 제공하여 이용자가 거부권을 행사할 수 있도록 조치한다. - (수집 출처 고지) 이용자 이외의 자로부터 수집한 개인정보 처리 시 ‘수집 출처, 목적, 개인정보 처리 정지 요구권’ 을 이용자에게 고지한다.
   재식별 시 조치	<개인정보 재식별 시, 즉시 파기 및 비식별화 조치> - 빅데이터 처리 과정 및 생성정보에 개인정보가 재식별될 경우, 죽시 파기하거나 추가적인 비식별화 조치하도록 한다.
   민감정보 및 비밀정보 처리	<민감정보 및 통신비밀의 수집, 이용, 분석 등 처리 금지> - 특정 개인의 사상, 신념, 정치적 견해 등 민감정보의 생성을 목적으로 정보의 수집, 이용, 저장, 조합, 분석 등의 처리를 금지한다. - 이메일, 문자 메세지 등 통신 내용의 수집, 이용, 저장, 조합, 분석 등의 처리를 금지한다
   기술적, 관리적 보호조치	<수집된 정보의 저장, 관리 시 ‘기술적, 관리적 보호조치’ 시행> - 비식별화 조치가 취해진 정보를 저장, 관리하고 있는 정보 처리시스템에 대한 기술적, 관리적 보호조치를 적용한다 - (보호조치) 침입차단시스템 등 접근 통제장치 설치, 접속 기록에 대한 위, 변조 방지 조치, 백신 소프트웨어 설치, 운영 등 악성 프로그램에 의한 침해 방지 조치를 취한다.

3. 개인정보 보호를 위한 고려사항
   • 기업은 적법하게 정보주체의 권리를 보호하면서 데이터의 효율적인 이용 방안을 모색하는 것이 중요하다.
   • 데이터와 관련된 주요 법령 및 규제기관의 가이드라인을 지속적으로 파악하고 내부 프로세스를 사전에 검토하여야 한다.
   • 적용되는 법령에 따른 내부 개인정보 컴플라이언스 체계를 구축하여야 한다.
   • 데이터를 이전할 경우에는 관련 법률에 따른 적법한 프로세스를 마련하여야 한다.

• 비즈니스 모델과 처리하는 데이터에 따라 「개인정보보호법」 과 「정보통신망 이용촉진 및 정보보호 등에 관한 법률」 그리고 「신용정보의 이용 및 보호에 관한 법률」 등을 기본적으로 검토하여야 한다. (데이터 3법)
• 이 외 경우에 따라 「위치정보의 보호 및 이용 등에 관한 법률」 과 「정보통신기반 보호법」 및 「국가정보화 기본법」 과 「전자정부법」 등을 추가적으로 검토하여야 한다.

1. 개인정보보호법의 개요
   • 당사자의 동의 없는 개인정보 수집 및 활용하거나 제 3자에게 제공하는 것을 금지하는 등 개인정보보호를 강화한 내용을 담아 제정한 법률이다.
   • 상대방의 동의 없이 개인정보를 제 3자에게 제공하며 5년 이하의 징역이나 5,000 만 원 이하의 벌금에 처할 수 있다.
2. 개인정보의 범위
   • ‘개인정보’ 란 살아 있는 개인에 관한 정보로서 성명, 주민등록번호 및 영상 등을 통하여 개인을 알아볼 수 있는 정보 (해당 정보만으로는 특정 개인을 알아볼 수 없더라도 다른 정보와 쉽게 결합하여 알아볼 수 있는 것을 포함) 를 말한다.
   • 어떤 정보가 개인정보에 해당하는지는 그 정보가 특정 개인을 알아볼 수 있게 하는 다른 정보와 쉽게 결합할 수 있는가에 따라 결정된다.
   • 법원은 그 정보 자체로는 누구의 정보인지를 알 수 없더라도 다른 정보와 결합가능성을 비교적 넓게 인정하여 개인정보에 해당한다 판단하고 있다.
3. 개인정보의 처리 위탁
   • 일정한 내용을 기재한 문서에 의하여 업무 위탁이 이루어져야 한다 (개인정보보호법 제 26조 제 1항).
   • 위탁하는 업무의 내용과 수탁자를 정보주체에게 알려야 하는바, 개인정보처리 방침에 해당 내용을 추가하여 공개하거나, 사업장 등의 보기 쉬운 장소에 게시하는 방법 등을 시행해야 한다 (개인정보보호법 제 26조 제 3항, 동법 시행령 제 28조 제 3항).
   • 수탁자에 대한 교육 및 감독 의무를 부담하게 된다 (개인정보보호법 제 26조 제 4항).
   • 수탁자가 위탁 받은 업무와 관련하여 개인정보를 처리하는 과정에서 개인정보 보호법을 위반하여 발생한 손해배상책임에 대하여는 수탁자를 개인정보처리자의 소속 직원으로 본다 (개인정보보호법 제 26조 제 6항).
   • 손해가 발생한 경우 정보주체의 손해배상 청구에 대해 위탁자가 책임을 질 수 있다.
4. 개인정보의 제 3자 제공
   • 정보주체로부터 개인정보 제 3자 제공 동의를 받아야 한다 (개인정보보호법 제 17조 제 1항).
5. 개인정보 처리 위탁과 제 3자 제공 판단 기준
   • <서울중앙지방법원 2018. 8. 16. 선고 2017노1296 판결 참조>
     • 개인정보의 취득목적과 방법
     • 대가 수수 여부
     • 수탁자에 대한 실질적인 관리, 감독 여부
     • 정보주체 또는 이용자의 개인정보 보호 필요성에 미치는 영향
     • 개인정보를 이용할 필요가 있는 자가 실질적으로 누구인지 등
6. 비식별 개인정보의 이전
   • 정보 주체 또는 제 3자의 이익을 부당하게 침해할 우려가 있는 경우는 제외한다.
   • 통계작성 및 학술연구 등의 목적을 위하여 필요한 경우로서 ‘특정 개인을 알아볼 수 없는 형태로 개인정보’ 를 제공할 수 있도록 규정하고 있다 (개인정보보호법 제 18조 제 2항 제 4호).
   • 데이터 제공이 목적에 부합하는지, 특정 개인을 알아볼 수 없는 형태로 제공하는지에 대해 사전에 검토하여야 한다.

1. 정보통신망법의 개요
   • 정보통신망의 개발과 보급 등 이용 촉진과 함께 통신망을 통해 활용하고 있는 정보보호에 관한 규정한 법률이다.
   • 이용자의 동의를 받지 않고 개인정보를 수집하거나 제 3자에게 개인정보를 제공한 경우, 접정대리인의 동의 없이 만 14세 미안의 아동의 개인정보를 수집한 경우, 악성프로그램을 전달 또는 유포한 경우 등은 5년 이하의 징역 또는 5,000 만 원 이하의 벌금에 처해진다.
2. 개인정보의 처리 위탁
   • 원칙적으로는 개인정보 처리위탁을 받는 자, 개인정보 처리위탁을 하는 업무의 내용을 이용자에게 알리고 동의를 받아야 한다.
   • 단, 정보통신서비스 제공자 등은 정보통신서비스의 제공에 관한 계약을 이행하고 이용자의 편의 증진 등을 위하여 필요한 경우에는 고지절차와 동의절차를 거치지 않고, 이용자에게 이에 관해 알리거나 개인정보 처리방침 등에 이를 공개할 수 있다 (정보통신망법 제 25조 제 2항).
   • 만일 제 3자에게 데이터 분석을 위탁할 경우, 해당 서비스가 정보통신서비스 제공에 관한 계약을 이행하고 이용자의 편의 증진을 위한 것인지 검토해야 한다.

1. 신용정보보호법의 개요
   • 개인신용정보를 신용정보회사 등에게 제공하고자 하는 경우에 해당 개인으로부터 서면 또는 공인전자서명이 있는 전자문서에 의한 동의 등을 얻어야 한다.
   • 신용정보주체는 신용정보회사 등이 본인에 관한 신용정보를 제공하는 때에는 제공받은 자, 그 이용 목적, 제공한 본인정보의 주요 내용 등을 통보하도록 요구하거나 인터넷을 통하여 조회할 수 있도록 요구할 수 있다.
   • 신용정보회사 등이 보유하고 있는 본인정보의 제공 또는 열람을 청구할 수 있고, 사실과 다른 경우에는 정정을 청구할 수 있다.
2. 신용정보의 범위 (제2조 제1호 및 제2호, 제34조 제1항)
   • “신용정보” 란, 금융거래 등 상거래에 있어서 거래 상대방의 신용을 판단할 때 필요한 정보로서 다음 각 목의 정보를 말한다.
   1. 특정 신용정보주체를 식별할 수 있는 정보
   2. 신용정보주체의 거래내용을 판단할 수 있는 정보
   3. 신용정보주체의 신용도를 판단할 수 있는 정보
   4. 신용정보주체의 신용거래능력을 판단할 수 있는 정보
   5. 그 밖의 a목부터 d목까지와 유사한 정보
3. 개인신용정보
   • “개인신용정보” 란 신용정보 중 개인의 신용도와 신용거래능력 등을 판단할 때 필요한 정보를 말한다.
   • “개인신용정보” 는 기업 및 법인에 관한 정보를 제외한 살아 있는 개인에 관한 정보로서 성명, 주민등록번호 등을 통하여 개인을 알아볼 수 있는 정보이며, 신용정보주체의 거래내용, 신용도, 신용거래능력 등과 결합되는 경우에만 개인 신용정보에 해당한다.
4. 개인신용정보의 처리 위탁
   • 신용정보회사 등은 그 업무 범위에서 의뢰인의 동의를 받아 다른 신용정보회사에 신용정보의 수집, 조사를 위탁할 수 있다.
   • 개인신용정보 처리에 대한 업무 위탁의 경우에는 수집된 신용정보의 처리를 자본금 또는 자본총액이 1억 원 이상인 기업으로서 신용정보관리, 보호인 등을 지정한 자에게 위탁할 수 있다.
   • 신용정보회사, 신용정보집중기관, 은행, 금융지주회사, 금융투자업자, 보험회사 등은 신용정보 처리 위탁 시 금융위원회에 보고해야 하며, 이에 관한 구체적 사항은 「금융회사의 정보처리 업무 위탁에 관한 규정」 에 따른다.
   • 특정 신용정보주체를 식별할 수 있는 정보는 암호화하거나 봉함 등의 보호조치를 하여야 하며, 신용정보가 분실, 도난, 유출, 변조 또는 훼손당하지 않도록 수탁자를 연 1회 이상 교육하여야 한다.
   • 위탁계약의 이행에 필요한 경우로서 수집된 신용정보의 처리를 위탁하기 위하여 제공하는 경우 정보주체의 동의를 받지 않아도 된다 (신용정보보호법 제 17조, 동법 시행령 제 14조)
5. 개인신용정보의 제 3자 제공
   • 개인신용정보를 타인에게 제공하려는 경우 정보주체에 서비스 제공을 위하여 필수적 동의 사항과 그 밖의 선택적 동의 사항을 구분하여 설명한 후 각각 동의를 받도록 하고 있다 (신용정보보호법 제32조, 제34조 등).
   • 기타 개인정보 제공 시 개인정보보호법이 적용된다.
6. 개인식별정보
   • “개인식별정보” 란 생존하는 개인의 성명, 주소 및 주민등록번호, 여권번호, 운전면허번호, 외국인등록번호, 국내거소신고번호 및 성별, 국적 등 개인을 식별 할 수 있는 정보를 말한다.

• 일반법에서 적용 범위를 한정 혹은 내용을 특별히 정해 놓은 법이다.
• 일반법과 특별법이 저촉되면 특별법이 먼저 적용되고, 특별법에 규정이 없는 사항에 대해서는 일반법이 적용된다.
• 정보통신서비스 제공자에 대하여 정보통신망법 (특별법) 이 우선 적용되지만, 정보통신망법에 특별한 규정이 없고 개인정보보호법과 상호 모순, 충돌하지 않는 경우에는 개인정보보호법 (일반법) 이 적용된다.
• 신용정보보호법 제 3조의 2는 “개인정보의 보호에 관하여 이 법에 특별한 규정이 있는 경우를 제외하고는 「개인정보보호법」 에서 정하는 바에 따른다” 라고 하고 있으므로 신용정보보호법은 개인정보보호법에 대해 특별법의 지위를 가진다.
• 법률이 상호 모순, 저촉되는 경우에는 신법이 구법에, 그리고 특별법이 일반법에 우선하나, 법률이 상호 모순되는지 여부는 각 법률의 입법목적, 규정사항 및 그 적용범위 등을 종합적으로 검토하여 판단하여야 한다.

• 개인정보 보호법
• 정보통신망 이용촉진 및 정보보호 등에 관한 법률
• 신용정보의 이용 . 및보호에 관한 법률

• 데이터 이용 활성화를 위한 ‘가명정보’ 개념 도입 및 데이터간 결합 근거 마련
• 개인정보보호 관련 법률의 유사, 중복 규정을 정비 및 거버넌스 체계 효율화
• 데이터 활용에 따른 개인정보처리자 책임 강화
• 다소 모호했던 개인정보의 판단기준 명확화

1. 개인정보보호법 주요 개정 내용
   • 개인정보 관련 개념을 개인정보, 가명정보, 익명정보로 구분
   • 가명정보를 통계 작성 연구, 공익적 기록보존 목적을 처리할 수 있도록 허용
   • 가명정보 이용 시 안전장치 및 통제 수단 마련
   • 분산된 개인정보보호 감독기관을 개인정보보호위원회로 일원화
   • 개인정보보호위원회는 국무총리 소속 중앙행정기관으로 격상
2. 정보통신망법 주요 개정 내용
   • 개인정보보호 관련 사항을 개인정보보호법으로 이관
   • 온라인상 개인정보호호 관련 규제 및 감독 주체를 개인정보보호위원회로 변경
3. 신용정보보호법 주요 개정 내용
   • 가명정보 개념을 도입해 빅데이터 분석 및 이용의 법적 근거 마련
   • 가명정보는 통계작성, 연구, 공익적 기록보존 등을 위해 신용정보 주체의 동의 없이 이용, 제공 가능

1. EU
   • EU 시민의 데이터를 활용하는 경우 GDPR (General Data Protection Regulation) 을 준수해야 한다.
   • GDPR은 정보주체의 권리와 기업의 책임성 강화 등을 주요 내용으로 하며 위반 시 과징금 부과
   • GDPR의 주요 항목으로 사용자가 본인의 데이터 처리 관련 사항을 제공받을 권리, 열람, 정정, 삭제 요청 권리, 데이터 이동 권리, 처리 거부 요청 권리 등이 있음
2. 미국
   • 시장 자유 규율 (self-regulation) 방식으로 EU 나 한국과 같이 공공 부분과 민간 부분을 포괄하는 개인정보보호에 관한 일반법이 연방법률로서 존재하지 X
     • 대신 공공, 통신, 금융, 교육, 의료, 근로자 정보 등 영역별로 개인정보보호를 규율하는 개별 법률이 각 분야별 개인정보보호를 담당

1. 비식별 정보
   • 정보의 집합물에 대해 「개인정보 비식별 조치 가이드라인」 에 따라 적정하게 ‘비식별 조치’ . 된 정보를 말함
2. 비식별 조치
   • 정보의 집합물에서 개인을 식별할 수 있는 요소를 전부 또는 일부 삭제하거나 대체 등의 방법을 통해 개인을 알아볼 수 없도록 하는 조치를 말함
3. 비식별 정보의 활용
   • 비식별 정보는 개인정보가 아닌 정보로 추정되므로 정보주체로부터의 별도 동의없이 해당 정보를 이용하거나 제 3자에게 제공할 수 있음
     • 다만, 불특정 다수에게 공개되는 경우에는 다른 정보를 보유하고 있는 누군가에 의해 해당 정보주체가 식별될 가능성이 있으므로 비식별 정보의 공개는 원칙적으로 금지됨
4. 비식별 정보의 보호
   • 비식별 정보는 개인정보가 아닌 것으로 추정되지만, 새로운 결합 기술이 나타나거나 결합 가능한 정보가 증가하는 경우에는 정보주체가 ‘재식별’ 될 가능성이 있음
   • 비식별 정보를 처리하는 자 (정보를 제공받은 자 포함) 가 해당 정보를 이용하는 과정에서 재식별하게 된 경우에는 해당 정보를 즉시 처리중지하고 파기해야 함
   • 비식별 정보라고 하더라도 필수적인 관리적, 기술적 보호조치는 이행해야 함

• 데이터 이용 과정에서 개인정보 침해, 방지를 위해 개인정보를 비식별 조치하는 절차 및 방법에 대한 가이드라인
• 개인정보를 비식별 조치하여 이용 또는 제공하려는 사업자 등이 준수하여야 할 기준을 제시

1. 추진배경
   • 정부 3.0 및 빅데이터 활용 확산에 따른 데이터 활용가치 증대
   • 개인정보 보호 강화에 대한 사회적 요구 지속 및 증가
2. 단계별 조치사항

   단계	조치사항	데이터
   사전 검토	개인정보에 해당하는지 여부를 검토 후, 개인정보가 아닌 것이 명백한 경우 법적 규제 없이 자유롭게 활용	개인정보 식별정보
   비식별 조치	정보 집합물 (데이터 셋) 에서 개인을 식별할 수 있는 요소를 전부 또는 일부 삭제하거나 대체하는 등의 방법을 활용, 개인을 알아볼 수 없도록 하는 조치	가명, 총계, 삭제, 범주화, 마스킹
   적정성 평가	다른 정보와 쉽게 결합하여 개인을 식별할 수 있는지를 「비식별 조치 적정성 평가단」 을 통해 평가	k-익명성, l-다양성, t-근접성
   사후 관리	비식별 정보 안전조치, 재식별 가능성 모니터링 등 비식별 정보 활용 과정에서 재식별 방지를 위해 필요한 조치 수행	관리적 / 기술적 보호조치

3. 단계별 조치 기준

   사전검토
   비식별 조치
   적정성 평가
   사후조치

4. 조치방법

   가명 처리
   총계 처리
   데이터 삭제
   데이터 범주화
   데이터 마스킹