본문 바로가기
C++ 200제/코딩 IT 정보

빅데이터 수집, 개인정보와 데이터 수집 후 해석 문제

by vicddory 2018. 5. 19.

빅데이터 수집, 개인정보와 데이터 수집 후 해석 문제


빅데이터 수집 후 활용 시 개인 정보 문제

클라우데라 CTO인 엘리 콜린스(Eli Collins)는 이렇게 이야기했다.


"현재는 빅데이터를 상업적인 용도로 많이 사용하고 있으나 앞으로 빅데이터를 공공의 선을 위해서 활용하려는 노력도 시작되고 있다. (데이터 수집 후 해석 문제, 사실 빅데이터 수집 이슈는 끊임없이 이어지고 있다)


인텔에서는 파킨스병을 치료하는 데 빅데이터를 사용하고 있으며, 각종 병 치료 분야에서도 빅데이터가 사용되고 있다. 기후 변화를 예측하거나 교육 수요 분야를 알아보는데도 사용되고 있다. 이렇게 하기 위해서는 대단히 많은 데이터가 필요하다.

전 서계의 에너지 소비와 실제 상품을 만들기 위해서 공급망(Supply Chain)상에 있는 모든 데이터 수집하면 기후 변화를 예측할 수 있다.


전 세계 모든 학생의 학습 데이터 수집하고 모든 선생의 데이터 수집하면 어디에서 어떤 학생을 어떻게 지도하는지 예측할 수 있다.


그러나 이러한 시도는 실패했다.


이렇게 되면 교사들의 수급을 예측할 수 있게 되고 교사들의 봉급도 삭감할 수 있으며, 학생들의 사생활을 침해할 수 있는 소지도 있다.


클라우데라 CTO인 엘리 콜린스(Eli Collins)[클라우데라 CTO인 엘리 콜린스(Eli Collins)]


세상에는 빅데이터를 활용하면 매우 좋아지는 것이 많지만 빅데이터로 인한 프라이버스 침해 문제도 상당하다. 그렇다면 어떻게 해야 할 것인가?


빅데이터 수집하고 활용하는 데 투명성(Transparency)을 보장해야 한다.


개인 정보를 어떻게 수집하고, 어떻게 활용하는지를 명확하게 공개해야 한다. 그리고 빅데이터를 잘못 활용하는 사례들을 나열해서 오용 사례를 적발해야 한다."


빅데이터도 잘못 수집되고 해석될 수 있다

이와 더불어 흥미로웠던 키노트는 히든 브레인(Hidden Brain)의 저자 샹카 베단탐(Shankar Vedantam)의 이야기였다.

"미국인은 이라크의 사담 후세인이 화학 무기를 가지고 있다는 것을 왜 그렇게 철저히 믿었는가?


미국인은 이라크와의 전쟁에서 승리한 후 화학 무기를 찾으려 했으나 발견되지 않자 후세인이 화학 무기를 다른 곳에 숨겨놓았을 것이라고 했다.


미국 의회에서 민주당은 미국에서 발견된 에볼라 바이러스에 대한 책임을 이야기하면서 공화당이 예산을 삭감했기 때문이라고 했고, 공화당은 소홀한 국경 대책으로 불법 이민자가많이 생겨난 것을 원인으로 꼽았다.


이렇듯 인간의 뇌는 빅데이터 수집하고 판단하는 좋은 사례다.


그런데 뇌는 이미 믿고 있는 것을 확증하는 데이터 수집하고는 믿지 않는 것은 전적으로 무시한다.


빅데이터가 매우 중요하기는 하지만 인간의 편향된 신념에 의해서 빅데이터 자체도 잘못 수집될 수 있고, 그 결과가 보편타당한 것이라고 생각할 수 없는 경우도 생긴다."


히든 브레인(Hidden Brain)의 저자 샹카 베단탐(Shankar Vedantam)[히든 브레인(Hidden Brain)의 저자 샹카 베단탐(Shankar Vedantam)]


좋은 지적이라고 생각한다.


이는 빅데이터만의 문제가 아니다. 통계 분석을 할 때도 데이터 수집의 오류, 데이터 분석의 오류, 분석 결과에 대한 판단 오류들이 이미 존재해왔다.


빅데이터 역시 예외가 아니면 오히려 빅데이터를 분석해서 나온 결과이기 때문에 더 틀릴 수도 있다는 주장이다.


사실 우리 주변에서도 선거나 정치적 현안에 대한 빅데이터 분석 결과가 사실과 매우 다른 경우를 종종 보게 된다. 상카 벤단탐이 이야기한 대로 특정 집단의 이해를 반영하기 위해 빅데이터 수집하고 분석하면 결과가 완전히 다를 수 있다.


빅데이터 수집, 개인정보와 데이터 수집 후 해석 문제

빅데이터로 일하는 기술, 장동인, 한빛미디어, 298p~299p

댓글