[개요]  인류가 지닌 인지체계는 희소한 데이터를 기반으로 얻은 성과물이다. 새로운 가치관과 방법론의 등장으로 과학기술과 산업에 큰 변화가 생기고 있으며 빅데이터가 이 변화에 중요한 추진제 역할을 하고 있다. 대규모 데이터의 생성과 공유 및 활용을 통해 참신한 사고방식과 기술로 데이터에 숨겨져 있는 행동양식을 밝혀내는 것이다. 앞으로 빅데이터는 기업이 시장을 차지하고 기회를 얻는 도구가 될 것이며 정부가 거시적인 조정과 시정(施政)을 하는 데 있어 정보원(源) 역할을 할 것이다. 또한, 빅데이터는 정보경제의 지속 가능한 발전을 이끄는 핵심 자원으로 자리매김 할 전망이다. 

1. 빅데이터의 함의와 특징

빅데이터는 추상적인 개념으로 아직까지 널리 통용되는 정의는 없다. 미국국가과학재단(NSF)은 데이터의 출처와 특징을 바탕으로 빅데이터를 ‘과학기기, 센서, 인터넷거래, 이메일, 영상 소프트웨어, 인터넷 클릭스트림 등 다양한 방식으로 만들어진 대규모의, 다원적이고 장기적이며 복잡한 데이터 집합’이라고 정의했다. 글로벌 데이터기업 IDC는 빅데이터가 그 형식과 양에 따라 2가지 혹은 그 이상의 형식과 관련된다고 밝혔다. 즉, 100TB가 넘는 속도와 실시간 데이터가 특징이며 작은 규모의 데이터에서 시작해 매년 60%이상의 성장속도를 유지한다는 것이다. 컨설팅 기업 Gartner는 컴퓨팅 처리능력의 측면에서 빅데이터를 ‘하나 혹은 여러 개의 단위에서 기존의 정보기술 처리능력을 벗어난 최첨단 정보관리 및 처리’라고 정의했다. 위에서 말한 정의는 빅데이터에 대한 관점이 다소 다르지만 대용량의 데이터 양 (Volume), 다양한 형태 (Variety), 빠른 생성속도 (Ve-locity), 가치 (Value) 등 빅데이터의 ‘4V’ 특징을 잘 반영하고 있다. ‘4V’는 빅데이터와 기존 데이터간의 차이를 구별함으로써 데이터 연구와 활용이 성숙한 단계에 들어서고 있음을 보여주었다. 

2. 성장 현황과 흐름분석

1980년 앨빈 토플러는 ‘제3의 물결’에서 빅데이터 시대가 도래할 것이라고 예견한 바 있다. 2011년에는맥킨지가 「빅데이터: 혁신, 경쟁, 생산성을 위한 차세대 프론티어」라는 제목의 보고서를 발표하며 빅데이터 시대의 서막을 열었다. 2011년까지 전 세계의 데이터 양은 이미 1.8ZB(1ZB=1조GB)를 넘었으며 매년 2배씩 빠른 성장을 거듭하고 있다. 2020년까지 전 세계 데이터 양은 40ZB에 달할 것이며 1인당 평균 데이터 양은 5,247GB가 될 전망이다. 빅데이터 시대에 정보경제는 사물 인터넷과 클라우드 등 신기술을 통해 다양한 영역에서 새로운 변화를 맞고 있다.

(1) 국가전략 분야

UN은 2009년, 글로벌 펄스(Global Pulse) 이니셔티브를 발족해 빅데이터 활용을 통한 전 세계 경제성장을 도모하고자 했다. 이는 사람들의 감정을 분석하는 프로젝트로 자연어 분석 프로그램을 이용해 다양한 정보를 분석하고 특정지역의 실업률, 소비, 질병 발생률 등을 예측하는 것이다. 현재 각국은 빅데이터를 새로운 경쟁시대의 핵심분야로 보고 국가 정책수립에 포함시켰다. 미국은 2012년 3월, 2억 달러 투입 예정의 ‘빅데이터 연구개발 프로젝트’를 발표했다. 이 프로젝트는 빅데이터의 수집과 저장, 검색, 공유 능력향상을 목표로 하며 획득한 정보와 지식을 과학연구, 교육 및 국가안보 등 분야에 활용할 계획이다. 일본은 2012년 7월 ‘신(新) ICT전략연구계획’을 내놓으며 빅데이터 활용에 박차를 가하기로 했다. 영국은 2013년 초, 2년 동안 빅데이터와 에너지 절감 등 연구에 1억 8,900만 파운드를 투입할 계획을 세웠다. 프랑스는 2013년 4월 ‘디지털 로드맵’ 에서 1,150만 유로를 투입해 혁신적인 솔루션을 개발∙사용함으로써 빅데이터 분야의 성장을 이끌겠다고 밝혔다. 한국은 2013년 5월, 빅데이터 전략센터를 선보일 것이라 밝혔고 국민, 기업, 기관 등이 모두 이 센터를 통해 빅데이터를 얻거나 분석할 수 있게 될 것이라고 전했다.

2013년 11월 중국 국가통계국은 11곳의 기업과 빅데이터에 관련된 전략적 협력 협의를 맺고 정부업무에 있어서 빅데이터의 활용방안을 검토∙추진하기로 결정했다. 국가차원의 정책으로 지위가 격상된 빅데이터는 유형자산이나 인적자원과 마찬가지로 정보경제의 중요한 생산요소가 될 것이다. 빅데이터는 생산력과 경쟁력을 동시에 제고할 뿐 아니라 수많은 경제적 가치를 창출하게 될 것이다. 세계경제포럼은 빅데이터가 전 세계의 IT업종에 440만 개의 일자리를 가져올 것이며 하나의 빅데이터 관련 일자리가 3개의 非IT일자리를 만듦으로써 총 1,760만 개의 일자리를 창출할 것이라고 예측했다. 

(2) 상업적인 이용

맥캔지는 “미국이 의료 분야에 빅데이터를 활용한다면 매년 3,000억 달러의 잠재적인 가치를 창출할 것이다. 또한, 서비스 제공업체가 개인위치정보를 이용한다면 6,000억 달러의 소비를 더 이끌어낼 수 있을 것이다.” 라고 전했다. 막대한 이윤창출 가능성 앞에서 많은 기업이 빅데이터 분야에 뛰어들고 있다. 단, 기업 유형과 제공하는 서비스 분야가 다르기 때문에 빅데이터의 상업적 이용의 유형 역시 다음과 같이 조금씩 다르다. 첫째, 기술 우위를 통해 빅데이터 솔루션을 제공하는 것이다. IBM은 ‘하드웨어+소프트웨어+데이터’의 스마터애널리틱스(Smarter Analytics) 전략을 내놓고 ‘3A5단계’의 로드맵을 제시했다. 즉, 기업의 정보를 접목하고(Align), 데이터를 분석하며(Anticipate), 실행(Act)과 학습(Learn)을 하고 변신(Transformation)하는 것을 뜻한다. ‘스마터 재무관리’가 대표적인 성공 사례이다. 둘째, 플랫폼 우위를 통해 빅데이터 활용 서비스를 제공하는 것이다. 구글은 소유하고 있는 대규모 고객 정보를 기반으로 정부보다 2주 먼저 신종플루의 발병시기를 정확하게 예측했다. 셋째, 분석 우위를 통해 제3의 데이터를 이용, 빅데이터 분석 서비스를 제공하는 것이다. 인디애나 대학은 구글이 제공하는 감정분석 툴을 이용해 인터넷 사용자의 글에서 6개의 감정을 분류한 후 다우존스 지수의 변화를 예측한 바 있다. 

향후 관련 기업들은 위에서 밝힌 상업적인 이용을 기반으로 다음과 같은 성장 추세를 보일 것이다. 

1) 함께 생산하는 방식이다. 상품의 생산과 가치의 창출에 기업뿐만이 아닌 사회와 국민이 함께 참여하게 될 것이다.

2) 함께 경영하는 방식이다. 인터넷에서 기업은 빅데이터 플랫폼을 통해 언론 매체와 인터넷 사용자 및 관련기업 등과 공동 경영 모델을 추진하며 윈-윈 전략을 구사할 것이다. 

3) 함께 공유하는 방식이다. 기업은 빠르게 누적되는 데이터에 제때 대처하기가 어려워질 것이다. 그러므로 데이터를 공유하는 방식을 통해 대중의 지혜를 모으고 상품의 부가가치를 높일 수 있다. 중국 시나(新浪, SINA) 웨이보는 개방된 API인터페이스를 통해 수많은 API 애플리케이션을 만들어냈고 고객 가치 향상을 실현했다.

3. 도전과제

(1) 기술적 문제: 빅데이터의 처리에는 정보 수집, 실시간 처리, 결과 도출의 3단계 과정이 필요하다. SNS의 보급과 센서의 활용으로 데이터 수집은 수동적인 방식에서 주동적인 방식으로 바뀌었다. 대규모의 비정형화된 데이터가 넘쳐날 때 그 중에서 쓸모 없는 데이터는 버리고 유용한 데이터만을 선별해 수집할 수 있어야 할 것이다. 수집한 데이터에 대해서는 실시간으로 자동 반응해야 한다. 이는 최첨단 기술을 보유하고 있는 시스템으로서도 어려운 도전과제가 아닐 수 없다. 또한, 처리 후의 결과물은 가시적 형태로 도출되어야 한다. 다양하고 복잡하게 얽힌 비정형화 데이터 분석 결과물은 사용자의 혼란만 가중시킬 뿐이다. 현재 빅데이터 분석 후의 결과도출은 비주얼 컴퓨팅 분야의 핵심 분야로 자리잡았다. 

(2) 인재부족: 빅데이터 전략에 있어 전문화된 인재는 절대적으로 중요한 요소이다. 하지만 지금은 일반적인 사용자는 물론이고 기존의 데이터 분석가들조차 빅데이터 개발에 필요한 분석 및 활용 기술을 보유하고 있지 않다. 이에 75%이상의 기업이 인재 육성에 고초를 겪고 있다고 밝힌 바 있다. 분석에 따르면 미국에서만 14~19만 명의 데이터 분석 인재가 부족하며 빅데이터를 이해하고 이에 근거해 의사결정을 내릴 수 있는 경영 인재는 150만 명이나 필요한 상황이라고 한다. 인재들에게 새로운 기술을 습득시키고 이를 빅데이터 관리 모델에 적응할 수 있도록 방안을 찾아내는 것, 이것은 현재 업계가 맞닥뜨린 또 다른 과제라 하겠다.

(3) 데이터 보안: 2012년 중국 그랜드 클라우드 (grand cloud)가 발표한「디스크 손실로 인한 사용자 데이터 유실 사건 성명」은 빅데이터 보안에 경종을 울렸다. 안보문제는 기업 내부에서 발생하기도 하는데 이에 따라 네트워크의 시각화를 요구하는 목소리가 높아지고 있다. 기존의 분석은 빅데이터 시대에 어떠한 효용도 없다. 또한, 빅데이터는 사이버 범죄의 타깃이 되고 있어 데이터 보유자는 하드웨어뿐 아니라 소프트웨어의 보안 프로그램을 통해 정부, 기업과 개인 정보 유출의 위험성에 대응해야 한다. 

(4) 데이터 공유: 현재 대규모 데이터를 가지고 있는 일부 기업과 기관은 제3자와 데이터를 공유하길 꺼리고 있다. 데이터 개방과 공유가 현실적으로 이뤄지기 어려운 이유에는 여러 가지가 있는데, 우선 기존의 정책이 분산된 데다 구속력도 약해 국가 측면에서의 통일된 관리가 부족하다는 점을 들 수 있다. 또한, 데이터 개방과 공유를 책임질 기관이 부재하기 때문에 현재의 데이터 공유 플랫폼은 이용자의 다양한 수요를 만족시키기 어려운 상황이다. 마지막으로 데이터 공유 서비스를 제공하는 업체에 대한 평가와 표준이 마련되어 있지 않다는 점을 들 수 있다.

4. 대책

(1) 함께 성장을 도모한다. 빅데이터 생성 시스템을 구축해 기술 표준 및 운용 표준을 설정하고 산업 생태 시스템을 강화하는 동시에 안정적으로 운용하는 것이다. 각 이해 당사자의 입장을 대변하는 한편, 기업과 기관이 빅데이터 관련 기술을 연구∙개발∙활용할 수 있도록 독려해야 하며 데이터 수집, 저장, 생성 및 비주얼 컴퓨팅 등 분야에 있어서 프로젝트를 구상할 수 있도록 정책적인 지원을 아끼지 말아야 한다. 이 뿐만 아니라 인프라 시설과 사물 인터넷, 통신 및 클라우드 등 제반 기술의 성장을 촉진해 빅데이터 발전에 박차를 가해야 할 것이다. 

(2) 시장을 통해 인재를 육성한다. 시장이 필요로 하는 인재는 클라우드 분야 인재, 컴퓨팅 프레임과 기초 알고리즘 분야의 인재, 그리고 활용 분야의 인재 등 3가지로 나눌 수 있다. 2013년 초 베이징(北京) 항공대학교의 컴퓨팅 및 소프트웨어 대학과 바이두(百度), 타오바오(陶寶), 텅쉰(騰訊) 등 기업은 함께 빅데이터 전문 엔지니어 석사과정을 개설했다. 시장의 수요에 맞춘 산학협력은 대학 입장에서는 명확한 목표설정을 통해 기업과 유기적으로 결합할 수 있다는 장점이 있고 기업 입장에서는 꼭 필요한 인재를 육성할 수 있다는 장점이 있다. 산학협력은 빅데이터 인재 육성의 주요 방식이 되었다.

(3) 법률로 프라이버시를 보호한다. 빅데이터를 활용하는 과정에서 나타나는 프라이버시 침해 문제에 대해 현재까지는 바이러스 백신 프로그램이나 방화벽 설치 등 기술적인 방식을 적용하고 있지만, 개인 프라이버시를 100% 보호하기 위해서는 이러한 방법만으로 부족하다. 법 제정만이 확실한 방법이라고 할 수 있다. 현재 각국에서는 입법을 통해 프라이버시를 보호하고자 노력 중이다. 2012년 미국은 개인 프라이버시 법안을 내놓았고 EU 역시 ‘잊혀질 권리’  법안을 제시했으며 2016년에 법 제정이 완료될 것으로 보고 있다. 중국도 이 분야에서 법 제정을 서두르고 있다.

(4) 협력을 통해 공유한다. 단순한 데이터 생성에서 빠른 의사결정까지, 빅데이터 기술은 단순한 데이터에 기반을 둘 뿐 아니라 다양한 정보를 필요로 한다. ‘정보고립’을 막기 위해서는 다각도의 협력 방식을 통해 데이터 공유 플랫폼을 구축해야 한다. 이 시스템을 통해 데이터가 갖고 있는 가치를 발굴 및 활용하고 보완하여 모두가 윈-윈 할 수 있어야 할 것이다. 

저자: 北京邮電大學經濟管理學院，陈飛

출처: 2014. 04. 11 / 中國經濟信息網

※본 글의 저작권은 중국경제신식망에 있으므로 중국경제신식망의 허가 없이는 이를 무단 전재할 수 없습니다.

※원문은 첨부파일을 참조해 주십시오.