빅데이터의 시대가 열리고 있다. 빅데이터는 어느덧 사회 전반의 핵심 키워드로 떠오르고 있다. 빅데이터는 이제 IT영역을 넘어 공공사업과 의료, 복지 등 사회 모든 분야로 뻗어나가고 있다.

빅데이터는 기존의 개인컴퓨터로 도저히 처리할 수 없는 방대한 양의 자료를 의미하는 말이다. 빅데이터 분석은 이 빅데이터를 이용해 새로운 의미가 있는 정보를 창출해내는 것을 뜻한다.

일반적으로 빅데이터 분석을 약칭으로 빅데이터라고 말하기도 한다. 빅데이터 분석은 정보처리 속도가 과거에 상상할 수 없을 정도로 빨라지면서 가능해졌다.

빅데이터의 특징은 V4로 설명되고 있다. IBM은 2012년 규모(Volume) 다양성(Variety) 속도(Velocity) 정확성(Veracity)를 갖춘 자료가 새로운 가치를 창출할 수 있는 빅데이터라고 정의했다.

빅데이터는 우리생활 가까이 파고 들었다. 페이스북의 ‘당신이 알 수도 있는 사람’과 아마존의 ‘추천상품’에 빅데이터 분석이 깔려있다. 정당후보의 선거유세 전략도 빅데이터 분석을 거쳐 나온다.

글로벌 기업들은 앞다퉈 빅데이터를 사업영역에 도입하고 있다. 빅데이터가 소비자들 스스로도 인식하지 못하는 심리상태와 소비욕구까지 드러내 주기 때문이다.

기업들은 빅데이터를 통해 고객의 필요를 먼저 읽고 수요에 대응함으로써 맞춤형 서비스 등 새로운 사업영역을 창출할 수 있다. 또 앞으로 닥칠 위험을 예측해 비용을 절감하고 수익성을 높일 수 있다.

특히 빅데이터는 과거에 인과관계가 알려지지 않은 현상들의 상관관계를 밝혀냄으로써 가치를 높인다. 미국 월마트는 1990년대 영수증을 분석해 기저귀와 맥주판매가 상관관계가 있는 것을 알아내고 기저귀와 맥주 묶음 상품을 내놓기도 했다.

이종석 신한카드 빅데이터센터장은 "빅데이터는 우리가 사는 방식, 일하는 방식, 생각하는 방식을 바꿔놓을 만반의 준비를 하고 있다"며 "지금 우리는 정보의 범위와 규모를 극적으로 확장시켰던 이전의 그 어떤 시기보다 더 큰 변화를 마주하고 있는 셈"이라고 말했다.

하지만 빅데이터에 대한 장밋빛 전망만 있는 것은 아니다.

국내기업들이 빅데이터를 적극적으로 도입하지 못하는 이유도 있다. 가장 큰 문제는 정보보안이다. 대량의 개인정보를 포함하는 빅데이터는 누설시 큰 피해를 낳을 수 있다. 또 과도한 개인정보 수집으로 사생활 침해 논란도 대두된다.

이런 점을 들어 빅데이터를 신중하게 도입해야 한다는 목소리도 높다.

◆ 빅데이터, 오바마를 당선시키다

빅데이터 분석을 활용한 대표적 사례로 꼽히는 것은 2012년 오바마 대선캠프의 선거전략이다.

오바마가 빅데이터를 이용해 열세를 극복하고 재선에 성공했다고 알려지면서 빅데이터는 각광받게 됐다. 함유근 건국대 경영학과 교수는 “2012년 미국 대선은 빅데이터의 영향력을 세계에 알린 기념비적 사례”라고 설명했다.

대선이 있기 2년 전 짐 메시나 선거본부장은 일찌감치 캠프를 차리고 빅데이터 분석 전문가 레이드 가니를 데이터분석팀장에 임명했다. 수십명의 데이터분석팀은 모든 자료를 가리지 않고 닥치는대로 모았다. 짐 메시나는 “선거운동의 모든 부분을 수치화했다”고 말했다.

오바마 캠프는 여론조사기관, 모금단체, 광고회사, SNS의 데이터를 이용해 유권자 명부를 재편하고 그들의 소비성향과 결합시켰다. 이들은 빅데이터 분석으로 정치자금 모금방법을 찾아냈다.

가령 40대 여성을 대상으로 조지 클루니가 주최하는 후원파티를 여는 식이다. 이 전략은 하룻밤에 무려 1500만 달러의 기부금을 모아들였다. 최종 선거자금은 10억 달러를 돌파했다.

오바마 캠프는 지지를 호소하는 이메일 발송에도 신중을 기했다. 오바마의 데이터분석팀은 빅데이터를 이용한 마이크로타겟팅 전략을 사용했다. 수신자를 인종 나이 성별 계층별로 꼼꼼히 분류해 18가지 이상의 다른 버전으로 된 맞춤형 이메일을 보냈다.

데이터분석팀은 빅데이터를 이용해 매일 6만6천 번의 선거 시뮬레이션을 하며 상황과 전략을 검토했다.

오바마캠프는 선거 마지막 주에 돌입해 페이스북 페이지에서 ‘좋아요’를 누른 지지자들에게 경합하는 지역별로 친구들에게 특정 이유를 대며 오바마 지지를 호소해 줄 것을 당부했다. 페이스북 지지자 가운데 20%가 이 역할을 수행했고 오바마는 대부분의 경합지역에서 승리했다.

오마바는 이런 빅데이터 분석으로 선거전략을 짜 예상을 뒤엎고 승리를 거뒀다. 오바마 대통령은 선거캠프의 데이터분석팀을 “정치 역사상 최고의 선거팀”이라고 치켜세웠다.

그동안 창문도 없는 외진 사무실에서 은밀하게 작업하던 빅데이터 분석팀은 오바마 당선 후 화려하게 조명받았다.

▲ 한국빅데이터이용활성화협회는 7월7일 빅데이터 활용 재난대응 포럼을 개최했다.

◆ 국내 빅데이터는 어디까지 왔나

시장조사기관 위키본은 전세계 빅데이터 시장이 2012년 54억 달러에서 2017년 534억 달러로 5년 만에 10배 커질 것으로 예상했다. 그만큼 빅데이터 시장이 빠르게 성장하고 있다는 얘기다.

우리나라도 마찬가지다.

한국과학기술정보연구원은 지난해 내놓은 빅데이터 시장분석에서 국내 빅데이터 시장규모가 2015년 2억6300만 달러에서 2020년 8억500만 달러로 급격히 커질 것으로 예측했다. 정보통신기술(ICT)분야에서 빅데이터가 차지하는 비중도 2013년 0.3%에서 2020년 2.3%로 늘어날 것으로 내다봤다.

하지만 거대한 잠재력에 비해 아직 빅데이터 시장은 체감할만한 수준이 못된다. 빅데이터 활용에 적극 나서야 할 주체인 기업들이 빅데이터를 충분히 활용하지 못하고 있기 때문이다.

대한상공회의소의 지난달 조사에 따르면 국내 500개 기업 중 빅데이터를 활용하지 않고 있다고 응답한 비율은 81.6%였다. 반면 빅데이터를 활용하는 기업은 7.5%에 불과했다. 앞으로 활용할 계획이 있다는 기업도 10.9%에 지나지 않았다.

대한상공회의소는 “이대로라면 국내 빅데이터시장은 외국기업에 잠식당할 수 있다”고 우려했다. 한국전자통신연구원의 연구결과 우리나라의 빅데이터 기술력은 선진국 대비 수집관리 분야는 2년, 연산처리 분야는 3~4년, 분석분야는 2년 이상 뒤져있다.

이렇게 기업들의 빅데이터 활용이 제대로 이뤄지지 않자 정부가 팔을 걷어붙이고 나섰다. 미래창조과학부는 지난해 말 빅데이터산업 발전전략을 발표하며 2017년까지 빅데이터 전문가 5천 명을 양성하겠다고 밝혔다.

미래부는 데이터 과학자 1천 명, 실무 전문가 3천 명, 데이터 융합 분석가 1천 명을 육성하고 빅데이터산업 발전을 위해 데이터베이스산업진흥법 제정을 추진하겠다고 밝혔다. 미래부 산하 DB진흥원은 지난달 29일 국내 최초 데이터 분석 전문가 자격시험에서 3명의 합격자를 배출하기도 했다.

미래부와 한국빅데이터협회는 지난달 빅데이터산업 진흥을 위해 데이터거래소 설립을 논의했다. 빅데이터를 필요한 사람이 돈을 내고 살 수 있게 하자는 것이다.

김승건 한국정보통신진흥협회 통계정보센터장은 “기업의 방대한 데이터가 다른 회사에도 도움이 되는 경우도 많다”며 “데이터거래소는 기업간 데이터거래를 활성화할 것”이라고 말했다.

미래부뿐 아니라 안전행정부도 지난달 24일 빅데이터 시범사업 5개 과제를 선정해 발표했다. 안전행정부는 ▲개인정보 보호체계 구축 ▲도로위험상황 분석 ▲의약품 부작용 분석 ▲산불 위험 분석 ▲재난정보 분석 등에 빅데이터를 도입하겠다고 밝혔다. 안행부는 “다양한 분야에서 정부 내 빅데이터를 활용할 것”이라고 밝혔다.

대기업 위주로 빅데이터 활용도 늘고 있다.

삼성전자는 지난해 말 미디어솔루션센터 산하에 빅데이터센터를 설립하고 소비자 마케팅에 빅데이터를 활용하고 있다. 빅데이터 분석으로 전 세계 현지 소비자 기호를 파악하고 제품 라인업을 다르게 가져가는 식이다. 지역별 가옥구조와 소비자 선호도를 분석해 어떤 크기의 TV가 적합할지 분석하는 방법 같은 것이다.

LG전자도 빅데이터를 마케팅에 활용한다. 스마트폰 신제품 출시에 앞서 화면크기나 카메라 기능 등 국가별로 어떤 제품을 선호하는지 파악해 고객층을 세분화하고 있다. LG전자는 최근 출시한 G3에 '스마트 키보드' 기능을 탑재했다. 사용자의 문자입력 습관을 빅데이터 기술로 분석해 자동으로 오타를 줄여주는 것이다.

현대자동차도 최근 IT계열사 현대오토에버를 통해 빅데이터 전문인력 모집에 나섰다. 현대차는 그룹 전체에서 활용할 수 있는 빅데이터 플랫폼을 구축하기로 했다. 자동차 생산과 개발 관련 데이터를 포함해 검사와 수리 데이터까지 대량의 빅데이터를 제품개발과 생산공정 등에 적용해 나가기로 했다.

채승병 삼성경제연구소 수석연구원은 “빅데이터 역량은 앞으로 산업에서 승자와 패자를 결정짓는 핵심요소”라며 “뒤쳐지지 않도록 데이터 축적과 전문가 양성에 나서야 할 것”이라고 말했다.

▲ 구글독감트렌드는 실시간으로 독감 유행 상황을 보여준다. <구글독감트렌드 웹사이트>

◆ 빅데이터의 허상에 대한 경고

하지만 빅데이터가 과대평가됐다는 지적도 많다. 꼭 빅데이터가 들어맞는 것은 아니라는 것이다.

라이언 케네디 미국 휴스턴대학교 정치학과 교수는 구글의 대표적 빅데이터 서비스인 독감서비스를 비판했다. 구글 독감서비스는 사람들이 독감에 걸렸을 때 검색하는 40가지 단어들을 추적해 독감 유행 가능성을 예측하는 서비스다.

2008년 구글이 처음 독감서비스를 내놓았을 때 사람들은 열광했다. 빅데이터라는 말이 유행을 타기도 전이다.

그러나 케네디 교수는 구글 독감서비스가 내놓은 예측이 108번 중 100번은 틀렸다고 지적했다. 그는 “빅데이터 혁명 대신 빅데이터와 스몰데이터를 결합한 올데이터 혁명이라고 해야할 것”이라고 주장했다. 빅데이터만으로 예측을 내놓기에 구조적 한계가 있다는 것이다.

정하웅 KAIST 물리학과 교수는 “빅데이터 분석은 인과관계가 아닌 상관관계를 나타낸 것”이라며 “정확한 예측보다 경향성을 확인할 때 유용한 것”이라고 말했다. 빅데이터가 무조건 정답을 내지는 못한다는 뜻이다.

그러나 빅데이터 분석기술은 아직 발전과정이라서 시간이 지나면 획기적 변화가 이뤄질 수도 있다.

더 큰 문제는 정보보안이다. 일부 전문가는 빅데이터가 대량의 개인정보를 수집하고 관리하는 과정에서 개인정보 유출과 사생활 침해 가능성이 있다고 본다.

빅데이터에는 정보를 감시하는 ‘빅브라더’ 논란도 뒤따른다. 당장 방송통신위원회가 추진중인 ‘빅데이터 가이드라인’에 대해 개인정보보호위원회가 개인정보보호법 등을 위반하고 있다는 점을 들어 제동을 걸고 나설 것으로 알려졌다. 빅데이터를 활용하기 위해서 체계적인 정보보안체제 구축이 수반되야 한다는 목소리가 높다.

또 빅데이터에 대해 엄밀한 구분이 필요하다는 의견도 있다. 소셜분석, 고객관계관리(CRM), 통계분석, 검색기술 등이 뭉뚱그려 빅데이터로 일컬어지고 있다는 지적이 나온다.

오바마 대선캠프의 최고기술책임자(CTO)였던 하퍼 리드도 빅데이터라는 말이 지나치게 남용되고 있다며 “빅데이터란 단어가 널리 사용되지 않는 게 차라리 낫다”고 말했다.