빅데이터 (Big Data)

빅데이터 Big Data

최근 정보 분석이 중요한 가치로 떠오르며 이 같은 빅데이터의 활용이 두드러졌다. 대체 빅데이터는 무엇일까? 빅데이터를 직역하면 ‘큰 정보’라는 뜻을 가지고 있으나 웹 로그, 기존 데이터베이스(DB)관리도구로 데이터를 수집,저장, 관리, 분석할 수 있는 역량을 넘어서는 대량의 정형 또는 비정형의 데이터 집합으로써 빅 데이터의 데이터 종류는 다음과 같이 분류한다.

 

bigdata-001

 

이러한 데이터는 과거 크기(Volume), 다양성(Variety), 속도(Velocity)3가지로 정의되었으며, 최근 가변성(Variability)이 또 하나의 요소로 주목받고 있다. 또한, 비정형 데이터의 증가속도는 누구도 예측할 수 없는 정도이며, 비교적 선형적으로 증가하던 정형 데이터조차 연간 40~60%에 이르는 증가세를 보이고 있다.

 

bigdata-002

 

Big Data 접근 방법의 변화

과거에도 데이터웨어하우스(DW)를 기반으로 한 경영자정보시스템(EIS), 비즈니스인텔리전스(BI)이 있었지만 소셜네트워크(SNS), 모바일, 컴퓨터, 등 꾸준한 네트워크의 발달로 더 집약적이고 정확한 데이터 수집을 요구함에 따라 데이터 빅데이터 플랫폼 또한 다양한 방식으로 발전하고 있다.

 

bigdata-003

 

과거(Structured) 현재
과거 트랜드 분석
“무엇이 일어났었나?”
현재 상황 실시간 분석
“무엇이 일어나고 있나?”
분석 / 리포트
현상 파악
결과 도출 목적
직접적인 비용절감/ 매출증대
예측
통계를 통한 예측
예측/Action/구체적 운영
구체적 운영안 제안, 결과 중심적

 

 

빅데이터 플랫폼 구축의 어려움

사용자들이 격는 일반적인 문제점

  • 이미지, 그림, 텍스트, 영상 등 정형 비정형의 다양한 종류의 데이터가 존재
  • 일반적으로 한 가지 종류의 데이터만 분석하지 않는다.
  • 종류에 따라 분석 방법도 각양각색

너무나도 다양한 분석 방법

  • 데이터 종류별로 별도의 분석 방법을 사용
  • 다양한 분석 도구를 사용하기가 쉽지 않다.

데이터 적재의 문제

  • 일반적인 ETL(Extract, transform, load) 데이터 도구를 사용할 수 없는 경우도 많다.
  • 상황에 따라 주어진 도구(Python, Bash)를 활용하여 작업을 수행 해야함.

big data platform

bigdata002

빅 데이터(Big Data) 솔루션의 모든 것 (주)베스트텍시스템

BigData 구축 전략

ROI [Return on Investment]

  • 전통적인 데이터 분석 솔루션을 이용하여 원하는 데이터를 분석할 수 있어야 함
  • 투자금액대비 이익 및 성과 필요
  • 해결 방안 : 오픈소스 중심으로 제작, 발생 비용을 절감한다. 

플랫폼

  • 데이터 통합 관리 및 분석 체계의 구축 필요하다.
  • 분석가는 쉽게 데이터에 접근할 수 있어야 함
  • 해결 방안 : 사용자 선택에 따라 클라우드(Cloud) 서비스 이용 가능

내재화 

  • 데이터 분석은 고객이 직접 할 수 있어야 한다.
  • 데이터 플랫폼의 운영 및 진화도 고객이 직접 수행할 수 있어야 한다.
  • 해결 방안 : BizFlash를 이용한 시각화 및 ㈜베스트텍시스템 기술 지원

 

bigdata

위로