빅데이터 Big Data
최근 정보 분석이 중요한 가치로 떠오르며 이 같은 빅데이터의 활용이 두드러졌다. 대체 빅데이터는 무엇일까?
빅데이터를 직역하면 ‘큰 정보’라는 뜻을 가지고 있으나 웹 로그, 기존 데이터베이스(DB)관리도구로 데이터를 수집,저장, 관리, 분석할 수 있는 역량을 넘어서는 대량의 정형 또는 비정형의 데이터 집합으로써 빅 데이터의 데이터 종류는 다음과 같이 분류한다.
이러한 데이터는 과거 크기(Volume), 다양성(Variety), 속도(Velocity)3가지로 정의되었으며, 최근 가변성(Variability)이 또 하나의 요소로 주목받고 있다.
또한, 비정형 데이터의 증가속도는 누구도 예측할 수 없는 정도이며, 비교적 선형적으로 증가하던 정형 데이터조차 연간 40~60%에 이르는 증가세를 보이고 있다.
Big Data 접근 방법의 변화
과거에도 데이터웨어하우스(DW)를 기반으로 한 경영자정보시스템(EIS), 비즈니스인텔리전스(BI)이 있었지만 소셜네트워크(SNS), 모바일, 컴퓨터, 등 꾸준한 네트워크의 발달로 더 집약적이고 정확한 데이터 수집을 요구함에 따라 데이터 빅데이터 플랫폼 또한 다양한 방식으로 발전하고 있다.
| 과거(Structured) | 현재 |
|---|---|
| 과거 트랜드 분석 “무엇이 일어났었나?” |
현재 상황 실시간 분석 “무엇이 일어나고 있나?” |
| 분석 / 리포트 현상 파악 |
결과 도출 목적 직접적인 비용절감/ 매출증대 |
| 예측 통계를 통한 예측 |
예측/Action/구체적 운영 구체적 운영안 제안, 결과 중심적 |
빅데이터 플랫폼 구축의 어려움
사용자들이 격는 일반적인 문제점
- 이미지, 그림, 텍스트, 영상 등 정형 비정형의 다양한 종류의 데이터가 존재
- 일반적으로 한 가지 종류의 데이터만 분석하지 않는다.
- 종류에 따라 분석 방법도 각양각색
너무나도 다양한 분석 방법
- 데이터 종류별로 별도의 분석 방법을 사용
- 다양한 분석 도구를 사용하기가 쉽지 않다.
데이터 적재의 문제
- 일반적인 ETL(Extract, transform, load) 데이터 도구를 사용할 수 없는 경우도 많다.
- 상황에 따라 주어진 도구(Python, Bash)를 활용하여 작업을 수행 해야함.
빅 데이터(Big Data) 솔루션의 모든 것 (주)베스트텍시스템
BigData 구축 전략
ROI [Return on Investment]
- 전통적인 데이터 분석 솔루션을 이용하여 원하는 데이터를 분석할 수 있어야 함
- 투자금액대비 이익 및 성과 필요
- 해결 방안 : 오픈소스 중심으로 제작, 발생 비용을 절감한다.
플랫폼
- 데이터 통합 관리 및 분석 체계의 구축 필요하다.
- 분석가는 쉽게 데이터에 접근할 수 있어야 함
- 해결 방안 : 사용자 선택에 따라 클라우드(Cloud) 서비스 이용 가능
내재화
- 데이터 분석은 고객이 직접 할 수 있어야 한다.
- 데이터 플랫폼의 운영 및 진화도 고객이 직접 수행할 수 있어야 한다.
- 해결 방안 : BizFlash를 이용한 시각화 및 ㈜베스트텍시스템 기술 지원