지난 몇 년 전부터 ‘빅데이터’는 향후 30년을 관통하는 키워드로 떠오르며, 미래 경쟁력과 가치창출의 원천으로 주목 받아 왔다. 전문가들은 빅데이터가 정보사회를 움직이는 핵심 연료이며, 단순히 새로운 기술이나 비즈니스 모델이 아닌 그 이상의 새로운 패러다임으로 변화시킬 것이라 말한다. 이미 시작된 빅데이터의 흐름은 비즈니스, 정치, 교육, 건강, 혁신을 생각하는 방식을 서서히 바꿔놓고 있다. 전 세계 기업과 학계, 정부는 실시간 쏟아지는 엄청난 양의 데이터를 활용해 새로운 사업기회를 확보하는 것은 물론 미래까지 예측하는 빅데이터 시장을 선점하기 위해 치열한 경쟁을 하고 있다. 오늘날 빅데이터는 거스를 수 없는 시대의 대세이다.

데이터 빅뱅, 빅데이터 시대 도래
정보통신기술(ICT)기술 발전은 ‘빅데이터’ 시대에 날개를 달아줬다. 지금은 인터넷, 스마트폰, 소셜네트워크서비스, 클라우드컴퓨팅 등 24시간 IT의 일상화가 이루어지는 스마트 시대이다. 이런 스마트 기술 덕분에, 하루에도 규모를 가늠할 수 없는 수많은 정보와 데이터들이 기하급수적으로 생겨나고 있다. 데이터가 빅뱅이 일어나는 거대한 변화의 소용돌이 속에서, 제3의 물결을 잇는 가치와 혁신의 원천인 빅데이터 시대가 도래 했다. 그야 말로 데이터 폭발이다.

빅데이터의 핵심은 예측과 가치창출
‘빅데이터(Big Data)’란, 이미지ㆍ동영상ㆍ행동패턴ㆍ위치정보 등의 복잡하고 거대한 데이터들의 집합이자, 이것을 초고속으로 분류ㆍ저장관리를 할 수 있는 하드소프트웨어적 차세대 기술이다. 빅데이터의 핵심은 엄청난 양의 데이터에 수학을 적용해 확률을 추론하고, 미래를 예측하고, 활용할 수 있는 유의미한 가치를 도출해내는 것이다. 빅데이터는 미래 사회의 특성으로 꼽히는 불확실, 리스크, 스마트, 융합 등에 대응하는 역할을 하며 기회 요인을 창출하는 핵심 엔진으로 작용할 것이다. 빅데이터는 새로운 혁신 동력이자 새로운 비즈니스를 위한 플랫폼, 그리고 기업과 정부의 성장 동력으로 활용 가능하다. ▲ 불확실성은 사회 현상, 현실 세계의 데이터를 기반으로 한 패턴분석과 미래 전망, 여러 가지 가능성에 대한 시나리오 시뮬레이션을 통해서 다각적인 상황임을 고려된 통찰력을 제시해, 다수의 시나리오로 상황변화에 유연하게 대처할 수 있게 한다. ▲ 리스크는 환경, 소셜, 모니터링 정보의 패턴 분석을 통한 위험징후, 이상 신호 포착한다. 이슈를 사전에 인지분석하고 바른 의사결정과 실시간 대응 지원하며 기업과 국가경영의 투명성 제고 및 낭비요소 절감할 수 있다. ▲ 스마트는 대규모 데이터 분석을 통한 상황인지, 인공지능 서비스 등 가능하여 개인화, 지능화 서비스 제공 확대 한다. 소셜(니즈)분석, 평가, 신용, 평판 분석을 통해 최적의 선택 지원한다. 트렌드 변화 분석을 통한 제품 경쟁력 확보한다. 경쟁력을 높인다. ▲ 융합은 창조력을 바탕으로 타 분야의 결합을 통한 새로운 가치 가치창출(의료정보, 자동차 정보, 건물정보, 환경정보 등)인과관계, 상관관계가 복잡한 컨버전스 분야의 데이터 분석으로 안전성 향상, 시행착오 최소화. 방대한 데이터 활용을 통한 새로운 융합시장 창출 할 수 있다.

일상에 파고든 빅데이터
빅데이터는 이미 일상 곳곳에 파고들었다. 페이스북의 ‘당신이 알 수도 있는 사람’과 아마존의 ‘추천 상품’ 에 빅데이터 분석이 깔려있다. 구글은 검색어 추이를 나타내는 ‘구글 독감 트렌드’를 통해 어느 지역에서 독감이 유행할 것인지를 예측하며, 월마트는 금요일 밤마다 기저귀 판매대 옆에 맥주를 구비해둔다. 이것이 빅데이터의 힘이다. 실시간으로 쏟아지는 정보를 분석하여, 새로운 성장 동력이나 확보나 틈새시장 공략을 할 수 있는 빅데이터를 잡기 위해 글로벌 IT기업들은 물론, 대부분 인더스트리의 대표 주자들은 앞 다투어 빅데이터를 적극 활용하고 있으며, 대표적인 사례들 살펴본다.

▲ 구글 독감 트렌드
빅데이터를 선도하는 기업은 당연 구글이다. 구글은 빅데이터 업체를 인수했다. 글로벌 인터넷 기업이 독감 예측을 질병관리본부보다 먼저 선보여 세상을 놀라게 한 바 있다. 신종플루가 세계인의 건강을 위협하기 몇 주 전, 구글은 겨울철 미국에서 독감의 확산을 예측할 수 있다는 논문을 <네이처>지에 발표했다. 구글이 사용한 방법은 사람들이 인터넷에서 검색한 내용을 살피는 것이었다. 구글은 2003년과 2008년 사이, 계절 독감의 확산과 관련해 미국인들이 가장 많이 입력한 5,000만 개의 검색어와 질병관리본부의 데이터를 비교했다. 독감을 추론할 수 있는 키워드 검색어가 어느 지역에서 가장 많이 입력되고 있는지 추이를 살피는 것으로 충분했다. 또한 구글은 수억 건의 빅데이터를 바탕으로 50여개의 언어의 자동번역 프로그램을 개발해 전세계인들의 큰 호응을 얻었다.

▲ 아마존 맞춤 추천 상품
온라인 서점으로 시작한 아마존은 모든 고객의 구매 내역과 클릭한 상품 내역들을 자료들을 추출하여, 연관성을 분석하여 맞춤형 책 추천 시스템 서비스를 제공하여 큰 성공을 거두었다.

▲ 오바마의 스마트한 대선 전략
2012년 버락 오바마 미국 대통령의 대선 승리는 ‘빅데이터의 승리’라고 불린다. 오바마 캠프는 대선 2년 전부터 빅데이터 확보·분석을 위해 300여명 규모의 데이터분석팀을 꾸렸다. 데이터분석팀은 SNS 등의 각종 데이터를 통해 유권자 2억명의 특성을 파악해 촘촘하게 선거 전략을 짰다. ‘마이크로 타겟팅(Micro targeting)’이라 불리는 이 전략을 오바마 캠프에선 ‘마이크로 리스닝(Micro listening)’이라고 이름 붙였다. 트위터, 페이스북, 구글플러스, 링크드인 등 SNS상의 다양한 정보는 물론, 유권자·기부자·자원봉사자의 명단을 비롯해 여론조사기관, 광고사, 휴대전화, 총기라이선스, 신용카드 및 대출정보 등의 데이터를 수집했다. 이를 바탕으로 유권자를 다양하게 분류, 각각의 집단 별로 세부적인 공략에 들어갔다. 유권자 개인별로 캠페인을 펼쳐 심지어 부부에게도 각각 다른 공약을 강조했으며, 유권자의 인터넷 환경에는 집단의 성향별로 맞춤형 배너가 띄워졌다. 이를 통해 지지자들을 결속시켰으며, 특히 유동층 공략에 효과를 거둬 대다수 경합주에서 선거인단을 확보하는데 성공했다. 후원금 모금을 독려하는 인사의 이름도 유권자 성향에 따라 바뀌었으며, 데이터를 바탕으로 문자메시지를 보내 기부를 받는 ‘텍스트 투 도네이트’프로그램은 기존보다 4배 이상 높은 효과를 거뒀다. 뉴욕지역 40대 여성의 후원을 이끌어내기 위해 TV드라마‘섹스 앤 더 시티’의 주인공을 맡았던 사라 제시카 파커의 집에서 모금행사를 개최해 흥행한 것도 빅데이터를 활용한 것이었다. 오바마 캠프 선거운동의 일거수일투족을 수치화했다. 슈퍼컴퓨터로 매일 6만 6천 번에 달하는 시뮬레이션을 실시, 갖가지 시나리오 별로 다양한 정책과 공약 및 전달방식에 따른 민심의 향배를 예측해나갔다. 분석과 홍보에는 아마존의 클라우드 서버가 대규모로 활용됐다. 경험과 감각에 의존하는 전통적인 방식에서 벗어나 기술과 분석을 바탕으로 공략하는 새로운 선거 전략이었다. 승리한 오바마 선거운동본부는 두 가지 명언을 남겼다. “선거운동을 하는 동안 모든 것을 측정할 것입니다”, 그리고 “데이터가 당신보다 당신을 더 잘 대변합니다”

▲ 영화 <마이너리티리포트>의 현실화
빅데이터를 범죄를 예측해 예방과 수사에 활용하기도 한다. 미국 샌프란시스코는 범죄가 발생했던 지역과 유형을 분석해 범죄 가능성을 예측하는 시스템을 운영하고 있다. 미국 산타크루즈는 2011년부터 차량도난 주거침입과 같은 장소를 예측하면서 범죄 예방에 효과를 얻고 있다. 지난 8년간의 범죄 자료를 바탕으로 핫스팟을 뽑아내고, 현재 미국의 다른 도시에도 전파되어 범죄예방에 좋은 성과를 미국 뉴욕, LA경찰청은 범죄예방시스템으로 범죄 발생 건수를 대폭 낮추고 있다. 과거 범죄 상황과 관련된 데이터를 꼼꼼하게 분석해 언제, 어디서, 누구와 함께 있을 때 범죄가 일어나기 쉬운지를 미리 예측, 범죄율을 낮추는 것이다.

▲ ‘트렌드 즉각 반영’, 글로벌 패스트 패션 기업
다국적 패스트 패션 기업인 자라·유니클로·H&M은 일주일이 멀다 하고 새로운 상품을 출시, 세계 시장을 공략한다. 빅데이터 분석을 통해 현재 유행하는 패션트렌드를 즉각 반영한 다품종 소량 생산전략을 통해 급성장했기 때문이다. 스페인 패션기업 ‘자라(ZARA)’ 는 전 세계 환경정보, 품목별 특징과 전시위치, 판매실적 등을 실시간 집계하여 매장·품목별 적정재고를 산출하고 이를 주문 가이드에 이용한다. 자라는 초기 파일럿 제품을 출시, 소비자 반응을 파악한 후 추가 생산 체계를 갖고 있었다. 그러나 파일럿 상품 출시 후 반응을 확인하는 데까지 시간이 오래 걸리자 상품 출시가 늦어졌다. 이후 미국 MIT 데이터전문가와 함께 세계 70개국 7만 여개의 매장에서 실시간으로 수집되는 빅데이터를 분석을 상품기획, 디자인, 출시, 매 장별 적정 재고산출, 운송계획 등에 적용했다. 이제는 시제품이 아닌 수요에 예측된 상품으로 트렌드에 맞춰 적시 출시가 가능해졌다.

▲ ‘UPS’와 ‘마이크론’의 비용 절감
기술투자비의 상당 부분을 빅데이터 관련 연구에 투입하고 있는 미국 운송업체 ‘UPS’는 적절한 부품 교체로 차량 고장을 최소화하며 배송 지연을 줄이고 연간 수백만 달러의 차량 유지비를 절감시켰다. 또한, 반도체기업 ‘마이크론’ 은 장비에 유입되는 제품의 순서를 조합해 최적화된 공정일정을 세워 생산시간의 10%를 단축, 약 수백억대의 비용 절감을 달성할 수 있었다.

▲ 고객 니즈, 신제품 반영 ‘포드’
미국의 자동차회사 ‘포드’는 차량에 설치된 센서를 통해 운전자의 주행 습관뿐만 아니라 주행 환경에 대한 데이터를 수집한다. 이렇게 수집된 빅데이터를 분석해 고객의 숨은 니즈(needs)를 찾아내 신제품에 반영한다.

IT강국 한국, 빅데이터는 약소국
한국의 빅데이터 현황과 과제
빅데이터 활용에 적극 나서는 선진국과 글로벌 기업과 달리, 국내 기업들은 아직까지 빅데이터 활용이 초기 수준에 머물고 있는 상태다. 다수의 기업들이 빅데이터의 중요성에 대해 인지는 하고 있으나 구체적으로 무엇으로부터 시작해서, 무엇을 할 수 있는지 의문을 가지고 있는 경우가 대부분이다. 이에 대한상공회의소는 지난 7월 ‘빅데이터 활용현황과 정책과제 연구 보고서’를 통해 뒤처진 기술력을 만회하고 빅데이터 산업을 육성하기 위해서 ‘S.P.E.E.D’있는 정책 방안이 필요하다며 빅데이터 산업 육성을 위해 ‘스피드(S.P.E.E.D)’있는 정책 마련이 필요하다는 의견을 내놨다. ‘스피드(S.P.E.E.D)’란 ‘공공데이터 개방(Share public data)’, ‘중소·중견기업 육성(Promote small and medium enterprises)’, ‘전문인력 양성(Educate to train experts)’, ‘수요창출(Endeavor to generate demand)’, ‘규제완화(Deregulate)’ 등을 뜻한다. 먼저‘가치 있는 공공데이터의 개방(Share public data)’ 을 요구했다. 대한상의는 “현재 공공부문에서 개방되는 데이터 양과 질이 민간이 활용하기에 충분하지 않다” 며 “상업적 활용 가치가 있는 정부보유 정보의 지식재산권 완화를 통해 가치 있는 데이터의 활용을 유도하는 것이 필요하다” 고 말했다. ‘빅데이터 생태계 조성을 통한 중소기업 육성(Promote small and medium enterprises)’도 중요한 과제로 지적했다. 대한상의는 “정부가 계획한 빅데이터 산업발전 전략은 민간 자율로 지속발전 가능한 빅데이터 생태계를 조성하고, 전문 중소·중견기업의 성장과 글로벌화를 적극 추진하는 내용”이라며 “전문기업 창업 지원, 공정경쟁환경 조성 등과 같은 정책을 추진해 빅데이터 관련 창업을 활발히 해야 한다”고 말했다. ‘빅데이터 관련 전문인력 양성(Educate to train experts)’도 시급하다는 지적이다. 상의는 “인력 양성에 양적 공급과 더불어 질적 제고도 필요하다” 며 “고급인력임에도 일반 개발자와 똑같이 평가받는 데이터사이언티스트 인력에 대한 재평가를 통해 빅데이터 관련 전문인력을 양성해 나가야한다”고 주장했다. ‘빅데이터 수요창출(Endeavor to generate demand)’을 위한 노력도 요구된다. “빅데이터 시장 형성 초반인 우리나라는 활용 사례 또는 모범사례(Best Practice)에 대한 분석과 홍보를 통해 빅데이터 서비스 간 경쟁을 촉진하고, 서비스의 질적 제고를 기대할 수 있다” 며 “정부 차원에서 선도 사업 및 모범사례를 발굴해 빅데이터의 수요를 넓혀 나가야 한다”고 상의는 제언했다. 끝으로 ‘데이터 활용의 규제완화(Deregulate)’를 통해 관련 산업을 활성화시켜야 한다는 주장이다. 대한상의는 “개인을 식별할 수 없는 데이터가 다른 데이터와 결합해 개인 식별이 가능하게 되는 상황도 개인정보에 준하는 정보보호 규제가 적용되고 있다” 며 “개별 고객의 성향, 선호 등을 파악하여 맞춤형으로 제공되는 마케팅이 소비자 후생을 증가시킨다는 점을 고려하여 규제완화를 추진할 필요가 있다”고 말했다. 위와 같이 한국이 성공적인 빅데이터 활용을 위해서 공공 민간 부문의 연결과 협력, 창의적 인력, 신뢰 환경 구축 과제의 선행이 필수적일 것이다.
 
성공적인 빅데이터 활용을 위해서
얼마 전 IBM과 애플이 전략적 제휴를 발표해 화제를 모았다. 애플이 IBM의 빅데이터 기술을 아이폰에 도입하겠다는 내용이다. 양사가 주목한 부분은 모빌리티와 빅데이터의 결합이다. 빅데이터가 가지고 있는 가치는 이제 산업간 붕괴와 융합을 반복시킬 만큼 영향력을 가졌다. 세계 각국의 정부와 기업, 기관들이 빅데이터 활성화를 위해 적극적으로 정책 추진에 힘을 쏟고 있다. 하지만 진정한 의미의 데이터 분석은 하루 아침에 이뤄지지 않는다. 의욕적으로 시작한 빅데이터 투자도 전문 인력 부족, 예산 문제 등과 맞물려 시행착오를 반복하고 있다. 이를 극복할 방안은 무엇일까. 먼저 빅데이터에서 ‘빅’을 빼고 바라보자. 한국의 빅데이터 논의는 말그대로 ‘빅’에만 집중돼 진정한 가치를 놓치는 경우가 더러 있다. 제대로 된 그림을 그려내기 위해서는 작더라도 실질적인 경험을 쌓아야 한다. 다음으로 장기적인 시각과 접근이 필요하다. 단기간의 성과에만 치중하는 것은 또 다른 시행착오를 낳는다는 점이다. 세 번째는 빅데이터가 주는 가치에 대한 신뢰 분위기 형성이 필수다. IBM이 70개국 리더들을 대상으로 조사한 연구보고서에 따르면 조직 내부의 신뢰 부족이 분석을 통한 가치 창출에 가장 큰 장애인 것으로 나타났다. 또한 빅데이터의 중요성을 전사가 인식하고 이를 통해 의사 결정을 수행하는 데에는 문화가 뒷받침 되어야 한다. 마지막으로 명확한 목표와 방향 설정이다. 빅데이터 정책 수행을 위해 어떻게 무엇을 할지 구체적으로 설계해야 한다. 내부적인 정비 강화와 고도화가 필요하다. 빅데이터 역량이 국가 경쟁력이자 기업 경쟁력인 시대다. 빅데이터는 생존과 경쟁력을 위한 선택이 아닌 필수다. 빅데이터에 대한 실행도 긴 안목을 갖고 근본적인 부분부터 제대로 다져나가는 혜안이 필요하다. 빅데이터의 활용은 양면적인 요소가 있다. 생활을 편리하게 하며 산업 성장과 새로운 시장 창출에 기여할 수도 있지만, 반대로 개인의 사생활이 침해되거나 해킹 등으로 예기치 못한 큰 피해를 낳을 수도 있다.  빅데이터는 하나의 의사결정 도구에 불과하다. 빅데이터의 유용성에 대해 과도한 믿음이나 무조건적인 반대는 효율적이지 못하다. 데이터의 한계를 제대로 인식하지 않고 맹목적으로 데이터에 의존한다면 인간의 자유와 존엄성을 보호받지 못할 수도 있다. 이에 전문가들은 빅데이터 시대에는 새로운 원칙이 필요하며, 빅데이터의 위험을 최소화하거나 완화할 수 있는 대응책을 찾아야 한다고 말한다. 빅데이터는 새로운 위협이 될 수도 있다. 기술의 활용은 각종 제도와 함께 우리 자신도 바꿔놓을 것이므로 철저한 대비책이 뒤따라야 한다. 따라서 다가오는 빅데이터 시대를 맞이하여 새로운 사업기회를 포착함과 동시에 정보보안 리스크에 대하 대책마련에도 힘써야 할 것이다. <NP>