EDW 아키텍처 - GM에서 제안한 새로운 개념

EDW 아키텍처 - GM에서 제안한 새로운 개념


GM CIO 랜디 모트(Randy Mott)는 신속하고 통합된 정보를 제공하는 것이 새로운 GM을 혁신하는 최선의 길이라고 믿었다. 그 결과 GM은 3년에 걸쳐서 완전히 새롭게 통합된 정보계 시스템을 구축함으로써 앞서 제기한 문제점들을 해결했다.


특히 기존 EDW(Enterprise Data Warehouse) 아키첵터와 하둡 및 디스커버리 플랫폼을 통합해 최신 아키텍처로 구성했다.


GM은 새로운 EDW 비전으로 '글로벌하게 통합된 데이터를 리포팅하고, 분석하고, 탐색함으로써 비즈니스 가치를 창출하는 데 있다'고 선언했다. 당연한 이야기지만 현실에서 그리 쉽게 달성할 수 있는 목표가 아니다. 이를 위해서 GM은 다음과 같은 주요한 원칙을 내걸었다.


앞으로 기존 EDW 아키텍처 체계를 차세대 수준으로 업그레이드하려는 기업의 CIO들을 위해서 좀 더 자세하게 설명하도록 하겠다.


Core GM EDW architecture; 발표자 Brett Vermette (GM EDW 담당 디렉터)Core GM EDW architecture; 발표자 Brett Vermette (GM EDW 담당 디렉터)

(출처 - GM사례, 통합된 데이터로 비즈니스 가치를 창출한다)


- 전 세계 GM에 있는 고급 데이터로 안정되고 통합된 단 하나의 EDW 아키텍처를 만든다.


- 가장 최신의 유연하면서도 빠른, 고도의 확장성이 있는 고가용성의 분석 환경을 만든다.


- 정형, 비정형, 복합 데이터 등을 포함하는 모든 데이터가 든 데이터는 가공하지 않은 원천 데이터 수준(Atomic level)으로 보관하며, 이에 대한 분석과 탐색을 통해 신속한 비즈니스 의사 결정을 한다.


- 여러 개의 사업 본부를 독립적으로 관리할 수 있는 멀티테넌트(Multi-tenant) 환경에 구현된 표준화된 복수 개의 현업 분석 툴을 사용해서 현업 스스로 데이터를 분석하고 리포팅한다.


- 기업의 중역들로부터 전폭적인 지원을 받는 능동적인 데이터 거버넌스와 관리 정책을 통해서 데이터의 품질을 높인다.


- 정보 접근은 유연한 보안 프레임워크를 통해서 통제되고 안전하게 보호되도록 한다.


GM은 이러한 원칙에 의거해서 시스템을 구축했다.


여기서 기존의 EDW 아키텍처에서는 없는 부분은 바로 데이터를 받아들이고 처리하는 플랫폼이 다양하다는 점이다. 특히 조금 생소한 데이터 레이크(Data lake)라는 부분이 있는데, 이는 데이터의 수집을 빠르게 하고 데이터 통합 효율을 높이기 위해서 도입되었다. 데이터 레이크는 초고속, 초대용량으로 발생하는 데이터를 일단 수용하는 데 초점을 맞추었다.


하둡은 RDB와는 달리 데이터의 형태가 미리 정해진 스키마가 필요 없으므로 발생하는 데이터를 바로 수용할 수 있다. 매일 3TB의 데이터가 데이터 레이크로 저장된다. 이 데이터 중에서 1TB의 데이터만 통합된 코어로 들어가고 이 중에서 매일 500GB가 분석 시스템과 디스커버리 시스템으로 들어간다.


이베이 사례를 통해서 본 것과 같이 분석과 탐색의 차이점을 분명히 하고 이 둘을 시스템으로 따로 구축한 점이 특징이다. 이는 1만 명의 동시 접속자가 이 시스템을 사용할 수 있게 되어 있다. 소비(Consumption) 부분은 용어가 좀 생소한데, 각 현업이 자신들이 원하는 분석 툴로 자신들의 데이터를 직접 가공 분석하는 것을 말한다.


GM의 새로운 EDW 아키텍처에서 대단하다고 느낀 것은 EDW를 구성하는 핵심 플랫폼을 이중화한 것이다. 현업 부서와 시스템 서비스 계약(SLA) 때문에 두 개의 데이터 센터로 이중화했다고 한다.


사실 기존의 운영계 시스템을 이중화하는 것은 일반적인 일이지만 EDW를 이중화한 것은 거의 처음이 아닌가 싶을 정도로 생소했다. 이는 GM에서 데이터 분석과 탐색이 얼마나 중요한가를 역으로 증명한 결과가 아닌가 한다.


GM의 사례를 지켜보면서 이들의 자신감이 대단하다고 생각했다. 과거 3년간 고민하고 해왔던 일들을 상세한 아키텍처와 함께 자신 있게 발표한 것뿐만 아니라 50대가 넘어 보이는 사람들이 하둡 기술에 대해서 아무렇지 않게 발표했다. GM 사례 외에도 전체 세션의 발표자들이 가진 공통점이었다. 나이가 들어도 새로운 기술이 꼭 필요하다면 적극적으로 배우고 활용하려는 의지가 돋보였다.


빅데이터로 일하는 기술, 장동인, 한빛미디어, 308p~311

EDW 아키텍처 - GM에서 제안한 새로운 개념

이 글을 공유하기

댓글(0)

Designed by JB FACTORY