스몰, 다크, 패스트, 스마트 데이터 (4가지 BigData 종류)

스몰, 다크, 패스트, 스마트 데이터 (4가지 BigData 종류)


스몰 데이터(Small data)


지금까지는 빅데이터의 가치나 효과에 대해서 상당히 과장되게 이야기가 되어왔다. 한마디로 거품이 낀 것이다. '스몰 데이터'는 BigData의 과장된 실체와 어긋난 거품 현상에 반대해 이야기되는 개념으로, 빅데이터와 구분되는 이전의 데이터를 가리킨다.


small data big data[고객 데이터 분석 방법] 제4차 산업혁명 기술


실제로 데이터가 적다기보다는 '전통적인 데이터'라는 의미다. 중요한 것은 BigData를 분석하는 방법이나 기존의 스몰 데이터를 분석하는 방법이 크게 차이가 없다는 것이다.


또한, 스몰 데이터에서 생기는 여러 가지 이슈, 즉 데이터 보안, 프라이버시 이슈, 데이터 표준화, 메타 데이터의 중요성, 데이터 통합, 데이터 거버넌스 등과 같은 것은 빅데이터에서도 여전히 이슈가 되고 있다.

따라서 스몰 데이터를 제대로 이해하면 BigData 역시 그리 다른 개념이 아니므로 어렵지 않게 접근할 수 있다. 반대로 빅데이터를 이해하려고 하면 반드시 스몰 데이터를 이해해야 하고 스몰 데이터를 둘러싼 전통적인 이슈들에 대해서도 제대로 알고 있어야 한다.


다크 데이터(Dark data)


'다크 데이터'란 기업 내에 저장은 되어 있으나 분석되지 않은 데이터를 의미한다. 또는 저장할 곳이 없어서 몇 달 정도 보관했다가 지우는 데이터들도 포함된다.


dark data 다크 데이터[고객 데이터 분석 방법] 제4차 산업혁명 기술


현실적으로 기업 내에서는 이렇게 분석되지 않은 데이터가 많다. 문제는 이러한 데이터를 분석할 가치가 있는가 하는 점이다.


분석이 수행되기 전에는 가치를 판단할 수 없는데, 분석하려면 인력, 비용, 시간이 필요하므로 다크 데이터를 분석하기 위해서는 우선 데이터의 가치가 내부적으로 인정되어야 한다. 결국, 닭이 먼저냐, 일이 먼저냐 하는 문제로 귀결되는 것이다.


최근 들어서는 BigData 기술을 이용해 분석에 대한 인력, 비용, 시간을 많이 줄일 수 있었기 때문에 다크 데이터라 할지라도 먼저 분석해보자는 측면이 강해졌다. 그러나 아무리 분석 비용이 줄어들었다고 해도 다크 데이터를 분석할 때는 활용에 대한 비즈니스 시나리오가 먼저 마련되어야 한다.


패스트 데이터(Fast data)


빅데이터가 이미 보관된 데이터라는 측면을 강조하는 용어라면, '패스트 데이터'는 쏟아지는 엄청난 양의 데이터를 실시간으로 처리해 분석하는 게 더 중요하다는 것을 강조하는 용어다.


fast data 패스트 데이터[고객 데이터 분석 방법] 제4차 산업혁명 기술


실시간 분석이 엄연한 BigData의 한 분야임에도 '빅데이터의 시대가 가고 패스트 데이터의 시대가 왔다'라고 하는 성급한 여론도 일고 있다. 패스트 데이터는 따로 있는 것이 아니다. 


예를 들어 비콘에서 수집되는 고객의 위치나 기상 데이터, 공장에서의 계측 장비, 사물 인터넷의 센서 등에서 생산되는 데이터를 실시간으로 분석해야 한다고 강조하는 것이다. 문제는 실시간 분석에서 오는 이득 및 투자 금액 간의 상관관계다.


돈이 얼마나 드는지와 관계없이 당연히 실시간 분석을 해야 한다면 바로 적용할 수 있는 문제이나 비즈니스적으로는 이익과 손해, 비용에 대한 활용 효과를 면밀하게 계산해야 한다.


스마트 데이터(Smart data)


BigData가 가지고 있는 데이터의 불확정성을 강조하는 용어다. 품질이 좋은 데이터로, 빅데이터에 비해 다소 용량은 적지만 바로 분석할 수 있는 것을 '스마트 데이터'라고 한다.


스마트 데이터 smart data[고객 데이터 분석 방법] 제4차 산업혁명 기술


스마트 데이터의 속성상 품질이 보장되어 있고 바로 분석할 수 있으며, 분석 결과에 따라서 빠르게 의사 결정을 할 수 있다. 그러나 스마트 데이터는 특정한 기술과 제품을 사용했을 때 만들어지는 것이 아니라 빅데이터를 가공해야 얻을 수 있다.


실제로 스마트 데이터를 만드는 데는 많은 노력과 시간이 든다. 빅데이터를 분석하는 과정은 스마트 데이터의 속성을 만드는 것으로 볼 수 있다. 스마트 데이터가 따로 있는 것이 아니므로 BigData는 바로 분석하거나 활용할 수 없다. '스마트 데이터가 대세다'라고 주장하는 것은 큰 오해다.


스몰 데이터, 다크 데이터, 패스트 데이터, 스마트 데이터는 데이터의 일반적인 정의에 불과하다. 데이터를 처리-분석하다 보면 필연적으로 생기는 개념이다. 따라서 이 자체가 새로운 개념이라기보다는 빅데이터 중 한 부분의 특성을 강조하고 부각한 것이라고 봐야 한다. 빅데이터의 벤더들이 하는 마케팅 하이프(marketing hype)라고도 볼 수 있다.


빅데이터로 일하는 기술, 장동인, 한빛미디어, 62p~64p

스몰, 다크, 패스트, 스마트 데이터 (4가지 BigData 종류)

이 글을 공유하기

댓글(0)

Designed by JB FACTORY