빅데이터 문제점, 현업 담당자 이슈 (한계 해결방안)

빅데이터 문제점, 현업 담당자 이슈 (한계 해결방안)


빅데이터 문제점 1. 현업 담당자들 스스로 데이터 분석 능력을 키워야 한다.

대부분의 현업 담당자는 데이터 분석이 업무에 중요한 부분은 아니라고 생각하는 빅데이터 문제점을 갖고 있다. 그들이 추진하는 업무에는 분석하는 일이 포함되어 있지 않으므로 분석이 필요할 경우 외부에서 분석 전문가를 불러 아웃소싱하면 된다고 생각한다. 빅데이터를 추진하면서 가장 어려운 일은 어떤 분야에 빅데이터를 도입할 것인가를 결정하는 것이다. 즉 빅데이터 테마를 결정하는 일이다.


빅데이터 문제점 2. 누가 빅데이터의 테마를 결정해야 하는가?

빅데이터를 담당하는 TF팀이 테마를 결정해야 할까? 대체적으로는 그렇게 생각하고 있다. 보통 기업에서 빅데이터 TF를 담당하는 부서는 IT 부서인데, IT 부서에서는 기업의 전반적인 업무를 모르기 때문에 테마를 결정하기에는 적절하지 않다.


[BigData] 문제 사례와 해결방안[BigData] 문제 사례와 해결방안


빅데이터 문제점 3. 그러면 임원이 시켜야 할까?

사실 빅데이터는 시켜서 되는 일이 아니다. 따라서 빅데이터의 테마를 결정해야 하는 일은 현업 부서에서 해야 한다. 그런데 현업 부서에서는 빅데이터를 모른다고 한다. 현업 담당자가 빅데이터 분석 방법을 교육받아야 하는 이유다. 기업에서 관련 교육을 받은 현업 담당자들이 빅데이터 테마를 결정하는 것이 가장 좋은 방법이다(개발자가 아니다).


빅데이터 문제점 4. 아웃소싱 업체에 맡기고 분석 결과만 받아 보기를 바라는 경향이 있다

현업 담당자들은 외부에 데이터 분석을 맡기면서 "여기 우리 회사 데이터를 줄 테니 분석해서 내가 모르는 인사이트(Insight)를 뽑아 와라"라고 말한다. 그런데 이렇게 요청한다고 해서 현업 담당자가 원하는 대로 아웃소싱 업체는 제대로 된 인사이트를 뽑아 올 수 있을까?

 

사실상 불가능하다.

 

데이터를 분석하기 위해서는 데이터 필드에 대한 설명이 있어야 한다. 데이터 필드 설명 없이는 분석도 불가능하다. 그러나 대부분 기업의 데이터는 작성한 담당자가 없으므로 데이터를 설명할 수 없는 경우가 많다.


빅데이터 문제점[BigData] 문제 사례와 해결방안


데이터의 이상치(Outlier)도 빅데이터 문제점이다. 데이터 분석을 하다 보면 이상치가 발생한다. 이상치란 특정 시간대에 매출이 엄청나게 늘어난다든가, 이해할 수 없는 장소에서 특정한 데이터가 발생하는 경우 등이다. 이때는 이상치를 분석에서 제외할 것인지, 포함할 것인지를 결정해야 한다.


이상치를 설명해줄 수 없다면 데이터를 분석해도 현실과 동떨어진 결과가 나올 수밖에 없다.


빅데이터 현업 담당자 문제점[BigData] 문제 사례와 해결방안


빅데이터 문제점 5. 빅데이터 분석과 기존 데이터 분석의 차이점이 클 거라 믿는다

실제 빅데이터 분석과 기존 데이터 분석의 차이는 거의 없다. 아무리 빅데이터의 크기가 크다 해도 데이터를 분석하려면 필요한 만큼 요약(Summary)하게 되고, 요약 결과는 기존 데이터와 크게 차이가 나지 않는다.

 

기존 데이터의 크기도 그리 작은 편이 아니기 때문이다. 따라서 기존의 데이터 분석 스킬(Skill)과 빅데이터 분석 스킬은 거의 같다는 결론에 이른다. 현업 담당자가 빅데이터 분석 능력을 키운다는 것은 새로운 분석 능력을 키우는 것이 아니라 기존에 하던 일을 분석할 수 있는 능력을 갖추는 것이다.


출처 : 빅데이터로 일하는 기술, 장동인, 한빛미디어, 130p~131p

빅데이터 문제점, 현업 담당자 이슈 (한계 해결방안)

댓글(0)

Designed by JB FACTORY