빅데이터란 무엇인가?

안녕하세요?

오늘은 빅테이란 무엇인지에 대해서 알아보고자 합니다.

관련 목차로는 빅데이터의 등장, 특징, 플랫폼, 핵심 기술, 활용 사례 순으로 알아보겠습니다.

1. 빅데이터의 등장

1분 동안 구글에 몇 건의 글이 등록되는지 생각해보셨나요? 약 200만 건의 검색이 생성된다고 합니다.

그렇다면 유튜브에는 1분에 몇 개의 동영상이 업로드 될까요? 약 72시간 분량의 비디오가 업로드 된다고 하구요.

트위터에서는 1분에 27만 건의 트윗이 생성됩니다. 이 어마어마한 데이터. 이것들이 인터넷에 생성되는 것으로 끝나는 것이 아니라

그것을 분석하기 위한 시도, 그리고 이를 통해서 가치 있는 정보를 추출해내기 위해서 빅데이터란 용어가 생겨났다고 보시면 됩니다.

2. 빅데이터의 특징

빅데이터의 특징으로는 크기, 속도, 다양성을 들 수 있습니다.

일반적으로 빅데이터의 크기는 수십 테라 바이트 혹은 수십 페타바이트 이상 규모의 데이터 속성을 의미하는데요.

KB < MB < GB < TB < PB 순으로 생각했을 때, 얼마나 큰 수치인지 짐작이 가실 겁니다.

빅데이터의 속도란, 엄청난 속도로 생겨나고 있는 데이터를 빠르게 처리하고 분석할 수 있는 속성을 의미하며,

다양성은 다양한 종류의 데이터를 의미합니다. 정형화의 종류에는 정형, 반정형, 비정형이 있습니다.

3. 빅데이터의 플랫폼

빅데이터의 플랫폼은 빅데이터 기술의 집합체라 할 수 있고, 기술을 잘 사용할 수 있도록 준비된 환경을 의미하기도 합니다.

기업은 플랫폼을 사용해서 빅데이터를 수집, 저장, 처리 및 관리를 할 수가 있습니다. 빅데이터 플랫폼은 

빅데이터를 분석하거나 활용하는 데 필요한 필수적인 인프라인 셈이죠. 즉, 빅데이터 플랫폼이란 데이터를 분석하고,

각종 업무에 맞게 가공해서 사용자가 원하는 가치를 정확하게 얻을 수 있도록 도와줄 수 있는 환경을 제공하는 것입니다.

4. 빅데이터의 핵심 기술

빅데이터의 핵심은 분할 점령이라 할 수 있습니다. 데이터를 독립된 형태로 나눈 다음에, 병렬으로 처리하는 방식인데요.

쉽게 말해, 하나의 문제를 여러 개의 작은 연산으로 나눠서 이를 취합하여 하나의 결과로 만드는 것입니다.

가장 많이 알려진 빅데이터의 기술로는 하둡과 같은 Map-Reduce 방식의 분산 데이터 처리 프레임워크입니다.

5. 빅데이터의 활용 사례

그렇다면 빅데이터를 활용한 사례로는 어떤 것들이 있을까요?

가장 대표적으로는 대형 마트에서의 기저귀와 맥주의 상관관계를 분석해낸 것이 있습니다. 아빠들이 아기들의 기저귀를 사귀 위해

마트에 들렀다가 본인이 사고 싶은 맥주를 사간다는 패턴을 파악해서, 기저귀와 맥주를 세트로 판매해서 매출을 더욱 향상시켰다는 것인데요.

이 외에도 2014년 월드컵과 2016년 올림픽을 준비하는 리우데자네이루는 지능형운영센터를 통해 도시 관리와 긴급 대응 시스템을 갖춘 것으로

알려져 있습니다.