빅데이터 구축, 활용 : 어떻게 할 것인가?
기업이나 정부, 공공 기관의 입장에서 '빅데이터를 어떻게 도입할 것인가'하는 고민 속에서 이 책을 썼다. 빅데이터에 관해서 이야기하는 사람들은 많지만 실제로 적용하려면 안갯속에 있는 것 같은 게 현실이다.
빅데이터에 대한 찬사는 빅데이터를 도입하고 구축하려는 사람들에게 그리 도움이 되지 않는다. 빅데이터에 관한 책을 읽고, 빅데이터를 먼저 구축한 사람들로부터 이야기를 들어봐도 막연한 것은 마찬가지다.
빅데이터는 공부하면 할수록 어렵다.
빅데이터는 왜 어려울까?
빅데이터의 기본 개념이 어렵기 때문이다.
빅데이터는 다양한 형태를 띠고 있다.
대단히 많은 전문 분야가 모여 있는 것이 빅데이터로, 융합 IT의 전형적인 모습을 하고 있다. 빅데이터에는 여러 가지 전문 분야가 있으므로 빅데이터 전문가라 해도 자신의 관점에서만 이야기할 뿐 전체 분야를 아루르지 못한다.
그러기에 한 분야에만 치우친 빅데이터의 모습을 볼 수밖에 없다.
빅데이터란 무엇인가?
빅데이터는 일단 IT에서 출발했다. 하둡(Hadoop), NoSQL 같은 기술이 나오면서 시작되었다. 그렇다고 IT적인 측면에서만 빅데이터를 이야기하는 것에도 한계가 있다. IT는 빅데이터를 담고 처리하는 기술일 뿐이다.
그렇다면 IT에 담겨있는 빅데이터는 무엇일까?
아주 많은 양의 데이터라는 속성뿐 아니라 매우 신속하게 생성되며, 기존에 다루지 않았던 화상, 동영상, 위치 정보, 텍스트의 형태로 이루어져 있어 데이터 형식이 매우 다르다.
빅데이터의 내용은 무엇인가?
빅데이터는 어떤 내용을 담고 있는지에 따라서도 서로 다르다. 빅데이터는 금융, 유통, 통신, 제조, 공공 등 산업별로 구분하거나 스마트폰, 센서, 로그 등 데이터의 소스에 따라서 구분할 수 있다.
예를 들어 자동차에서 나오는 센서 데이터는 공장의 계측 장비에서 나오는 센서 데이터와 다르다. 이처럼 빅데이터는 형식, 속성, 분야, 소스 등에 따라 분석하는 방법도 엄청나게 다양하다.
더 중요한 것은 빅데이터의 목적으로, '무엇을 얻어내려고 분석하려는가'다. 당연히 빅데이터를 분석하는 목적도 대단히 많을 수밖에 없다.
내 기업에 맞는 빅데이터는 무엇일까?
이렇게 다양하고 변화무쌍한 빅데이터를 하나의 분야에서만 이야기한다면 어떤 방식으로든 빙산의 일각일 뿐이다. 일반적인 접근 방법으로 빅데이터를 도입한다면 실패하게 되어 있다.
남들이 하는 대로 따라간다면 실패한다는 것이다.
남들이 하는 빅데이터는 내 기업이 가지고 있는 빅데이터와는 아주 다르기 때문이다.
이러한 빅데이터의 다양성 속에서 나만의, 우리 기업만의 빅데이터는 무엇인가를 찾아야 한다. 살펴본 바와 같이 빅데이터가 다양하다면 빅데이터에 접근하는 사람들 또한 매우 다양할 것이다. 기업에서도 마찬가지다. 서로 다른 백그라운드와 목적을 가지고 빅데이터에 접근하는 것이다.
따라서 빅데이터를 도입하려는 기업은 서로 다른 사람들이 서로 다른 목적을 이룰 수 있도록 소통하고 이해하려고 노력해야 한다.
이는 상식일 것이다.
어떻게 접근할 것인가?
지금까지 빅데이터를 도입하는 기업은 빅데이터 TF팀을 만든 후 대체로 IT 부서에 일임시켰다. 관계 부서들은 거의 도와주지 않는 형국이다.
- IT팀이 빅데이터 TF팀을 담당하게 되면 다른 부서가 잘 도와줄까?
- 다른 부서와 서로 소통하면서 이해할 수 있을까?
기업마다 이러한 소통에 이슈가 있고 이것은 빅데이터를 실패하게 한다.
빅데이터를 어디에 적용할 것인가?
빅데이터를 하다 보면 반드시 던지는 물음이 있다. 필자가 방문한 수백 곳의 기업에서 빅데이터를 이야기할 때마다 담당자들은 항상 똑같은 질문을 던진다.
"우리 기업의 어떤 분야에 빅데이터를 도입해야 하죠?"
왜 모든 기업에서 똑같은 질문을 할까? 이에 대한 답은 그 기업의 현업에 있는 사람들이 해야 한다. 그러나 현업 담당자들은 똑같이 답변한다.
"내가 빅데이터를 모르는데 어떤 분야에 빅데이터를 도입해야 하는지 어떻게 알 수 있겠는가?"
말이야 맞는 말이지만 IT팀은 업무를 모르고, 현업팀은 IT를 모르니 이 문제를 어떻게 풀어야 할까?
이는 빅데이터를 도입하려는 모든 기업의 숙제다. 이것을 풀 수 있어야 빅데이터 프로젝트를 시작할 수 있지 않을까? 필자도 수없이 이 점에 대해서 고민했다. 그리고 이 책에서 이를 해결할 방법인 '빅데이터 테마 도출 방법론'을 제시했다.
빅데이터 프로젝트를 어떻게 추진할 것인가?
우여곡절 끝에 빅데이터 프로젝트를 시작했다고 해도 위험성은 가시지 않는다. 빅데이터에는 많은 전문 분야가 있으니 당연히 많은 분야의 사람들이 프로젝트를 같이하게 된다. 그러면 문제는 무엇일까?
서로 분야가 다른 사람들끼리 소통하고 이해하는 것에서 오는 어려움이다. 그렇다면 빅데이터 프로젝트는 어떤 과정과 단계를 거쳐야 결과가 나오게 될까? 필자도 이 점에 유의했다.
빅데이터 프로젝트를 수행하는 동안 너무나 많은 잘못된 계획과 진행 과정을 지켜봤기 때문이다. 이 경험을 바탕으로 이 책에 수록된 '빅데이터 프로젝트 구축 방법론'을 만들었다.
빅데이터를 어떻게 활용할 것인가?
빅데이터 프로젝트를 추진한 후에는 마지막 함정이 남아 있다. 빅데이터를 분석해서 나온 결과를 업무에 적용하지 않고 참고하는 하는 것이다. 이 경우 빅데이터의 목적이 무엇인가를 다시 생각하게 한다. 왜 그 고생을 해가면서 빅데이터 시스템을 만들고, 어려운 과정을 겪으며 빅데이터를 분석했을까?
기업의 임원들이 빅데이터 분석 결과를 가지고 "땡큐, 참고만 하겠습니다"라고 이야기하는 것을 듣기 위해서?
빅데이터는 빅데이터이고, 실제 의사 결정은 기업 임원들의 경험과 감에 의존한다. 빅데이터의 목적은 '데이터에 의한 과학적인 의사 결정'이다. 그런데 의사 결정에 참고만 하려는 빅데이터를 왜 만들었을까? 근본적으로 출발이 잘못되었다. 결국, 우리나라 기업의 의사 결정 문화가 바뀌어야 한다. 이것이 바뀌지 않으면 빅데이터도 무의미하다는 것을 몇 년이 지난 후에야 깨닫게 된다.
빅데이터라는 산을 넘기 위한 지도가 되길 바라며...
빅데이터의 효과가 '21세기의 석유'에 비견된다고 이야기하는 것은 좋으나 그러한 결과를 기업이 내기 위해서는 수없이 많은 난관을 극복해야 한다. 이 책은 빅데이터라는 험난한 여정을 떠나는 사람들을 위해서 썼다. 필자는 이들이 얼마나 많은 고생을 할 것인지 눈에 선하다. 먼저 가본 사람으로서 이런저런 어려움이 있다고 미리 이야기해주고 싶었다. 멀고 험한 길을 떠나는 여러분이 중도에 포기하지 않고, 샛길로 빠지지 않고 무사히 빅데이터란 산을 정복하기를 바라며 격려의 박수를 보내고 싶다.
출처, 빅데이터로 일하는 기술, 장동인, 한빛미디어, 프롤로그
댓글