KISTI의 과학향기

한 사람이 성큼성큼 편의점에 들어선다. 물건은 고르지 않는다. 곧장 계산대로 향한다. 웃옷 오른쪽 주머니에서 손을 반쯤 꺼낸다. 오른손은 권총 손잡이를 쥐고 있다. 편의점 종업원이 어깨를 으쓱하며 턱으로 매장 안쪽을 가리킨다. 강도의 눈길도 턱이 가리킨 쪽을 향한다. 음료수 냉장고 앞에 선 경찰관이 허리춤에 손을 얹고 강도를 향해 고개를 젓는다. 강도는 경찰관과 눈이 마주치기 무섭게 편의점 문을 향해 내달린다.

우연의 일치가 아니다. 빅데이터의 힘이다. 영화 ‘마이터리티 리포트’에서는 예지몽을 꾸는 세 자매가 범죄가 일어나기 전에 징후를 포착했다. 현실은 영화와 다르다. 하지만 영화 같은 일은 나타난다.

로스엔젤레스 경찰청(LAPD)은 빅데이터를 분석해 범죄 발생 가능성을 점치는 범죄 예측 프로그램(Predictive Policing)을 개발했다. 이미 벌어진 범죄 종류와 범행 시간과 장소를 분석해 범죄 발생 확률을 실시간으로 순찰차에 보낸다. 순찰 중인 경찰관은 범죄 발생 확률이 높은 지역을 알아내 그 곳을 집중적으로 순찰했다¹.

경찰이 빅데이터를 순찰 근무에 활용하자 범죄 발생 건수가 획기적으로 낮아졌다. 절도사건은 33%, 폭행 사건도 21% 줄어들었다. 이런 추세는 9년 동안 이어졌다. 애초에 범죄가 일어나지 않도록 예방한 것이다. 경찰이 추구하는 최선의 결과다. 로스엔젤레스 경찰이 꿈을 실현해낸 힘은 빅데이터다.

■ 빅데이터 = 4V

빅데이터(big data)는 말 그대로 엄청나게 거대한 데이터를 뜻한다. 생활이 디지털로 이뤄지면서 사람들은 엄청나게 많은 데이터를 쏟아낸다. 2012년 한 해 동안 인류가 만든 데이터 양은 2.8제타바이트(ZB)였다. 그동안 인류가 생산한 모든 데이터보다 많다. 데이터가 너무 많은 탓에 이를 유용한 정보로 가공하기란 불가능에 가까웠다. 컴퓨터 성능이 발전하고 클라우드 서비스와 하둡(Hadoop, 여러 개의 저렴한 컴퓨터를 마치 하나인 것처럼 묶어 대용량 데이터를 처리하는 기술) 같은 분석 도구가 상용화돼 대용량 정보를 저렴한 비용으로 처리할 수 있게 되면서 방대한 데이터 속에 파묻힌 의미를 사람이 헤아릴 수 있는 길이 열렸다.

단순히 데이터가 많다고 모두 빅데이터라고 부르지는 않는다. 전문가는 빅데이터가 크게 네 가지 특성을 지닌다고 말한다. 첫 번째는 물론 크기(Volume)다. 빅데이터는 페타바이트(PB) 정도 크기를 지닌다. 1페타바이트는 1,024테라바이트(TB)다.

두 번째 조건은 다양성(Variety)이다. 빅데이터는 컴퓨터가 손쉽게 분석할 수 있도록 데이터베이스(DB)로 정리된 정형 데이터뿐 아니라 동영상이나 사진, 사람이 쓴 자연어 와 같은 비정형 데이터도 포함한다. 컴퓨터가 바로 이해할 수 없는 비정형 데이터도 DB처럼 인식해야 하기 때문에 자연어 처리, 컴퓨터 비전, 기계 학습 같은 데이터 처리 기술이 필요하다.

속도(Velocity)가 세 번째 조건이다. 컴퓨터가 바로 이해할 수 없는 방대한 데이터를 처리할 수 있다고 해도 분석에 시간이 너무 많이 들면 소용없다. 시간도 비용이다. 데이터를 수집하고 가공해 분석해내는 과정을 실시간으로 또는 일정 안에 처리해야 한다.

요약해 보자. 빅데이터는 마냥 큰 데이터가 아니다. 그런 데이터를 효과적으로 처리해 의미 있는 정보를 얻어내는 기술이다. 그런데 빅데이터가 왜 필요할까. 방대한 데이터 속에서 가치 있는 정보를 발굴하기 위해서다. 구슬 서 말이라도 꿰어야 보배다. 아무리 자료가 많아도 그 속에서 의미를 찾지 못하면 아무짝에도 쓸모없다. 그래서 빅데이터가 지녀야 할 마지막 조건으로 가치(Value)를 꼽는 이도 있다. 일명 ‘4V’다.

■ 무의미 속에서 의미를 찾다

빅데이터는 사회에서 벌어지는 모든 일을 분석해 활용할 수 있도록 한다. 장님 코끼리 더듬듯 직감에 의존해 중대한 결정을 내리는 대신 객관적인 근거를 바탕으로 예측 가능한 일을 벌일 수 있다.

빅데이터를 가장 먼저 도입하는 분야는 마케팅이다. 광고나 홍보 담당자는 사람들의 숨겨진 욕구를 끄집어 내 물건을 팔기 위해 계속 시장 조사를 벌인다. 빅데이터는 굳이 소비자에게 설문지를 들이밀지 않아도 그 사람의 생각을 엿볼 길을 연다.

감기약 만드는 회사가 광고를 만든다고 치자. 제약 기술이 발전해 약 효능은 다 비슷비슷하다. 결국 마케팅으로 승부를 걸어야 한다. 이 제약 회사는 빅데이터 분석을 의뢰한다. 페이스북이나 트위터 같은 사회 관계망 서비스(SNS)에서 사람들이 감기 걸렸을 때 올린 글 수 백만건을 수집한다. 그리고 그 속에서 감기 환자가 ‘서럽다’는 단어를 많이 사용한다는 사실을 발견한다. ‘감기’와 ‘혼자’가 함께 들어간 문장을 보면 ‘서럽다’는 단어가 나올 확률이 퍽 높아졌다. 이 회사는 자사 제품이 혼자 사는 마당에 감기까지 걸려서 서러운 이를 엄마 손처럼 보듬는다는 광고를 만들어 낼 수 있을 테다. 홀로 감기에 시달려본 사람은 이 광고에 공감할 가능성이 커진다. 소비자에게 선택 받을 가능성도 덩달아 커진다.

전문가의 ‘촉’에 많이 기대는 콘텐츠 제작 분야에서도 데이터가 힘을 발휘한다. 미국에서 주문형 스트리밍 방송을 제공하는 넷플릭스(Netflix)는 고객 정보를 철저하게 분석해 그들이 원하는 콘텐츠를 공급한다. 처음엔 볼 만한 영화를 추천해주는데 그쳤던 빅데이터 분석 기술은 발전을 거듭했다. 넷플릭스는 자체 분석 알고리즘으로 고객이 무슨 드라마를 보고 싶어 하는지 알아내 맞춤형 콘텐츠를 만들었다. 유명 드라마 ‘하우스 오브 카드’다.

스토리와 감독, 배우 모두 고객 입맛에 맞췄다. 심지어 드라마 한 시즌을 몰아보는 고객의 소비 패턴에 맞춰 개봉일 드라마 13화 모두를 공개했다. 하우스 오브 카드’ 덕분에 넷플릭스는 2013년 1분기에만 300만 명이 넘는 고객을 끌어 모았다. 같은 해 매출은 37억 5천만 달러, 창사 이래 최대치였다. 부진한 실적 때문에 한때 나스닥에서 쫓겨날 지도 모를 처지였던 넷플릭스는 빅데이터 덕분에 타임워너에 맞먹는 미디어 기업으로 발돋움했다.

글머리에 보여준 로스엔젤레스 경찰처럼 사회 문제를 해결하는데 빅데이터 기술을 활용할 수도 있다. 택시나 버스 같은 대중교통이 쏘는 운행 정보를 분석해 구간별 실시간 교통 상황을 전하는 서비스는 이제 당연하게 쓰인다.

■ 모바일에서 웨어러블로…, 살아 숨 쉬는 모든 일이 데이터가 되는 세상

빅데이터는 날이 갈수록 커진다. 일상생활 속에서 데이터를 만드는 기기가 계속 늘어나기 때문이다. 스마트폰에 실린 센서는 사용자 위치 정보뿐 아니라 그곳의 온도와 습도도 측정한다. 이런 정보를 모으면 기상청보다 더 정확한 실시간 날씨 지도를 만들 수도 있다.

애플 워치 같은 웨어러블 기기가 보급되면 더 많은 정보가 쏟아질 것이다. 웨어러블 기기에는 맥박이나 혈압 같은 생체 정보를 측정하는 센서가 실린다. 이런 데이터가 쌓이면 무궁무진한 일을 할 수 있다. 보험회사는 고객의 생체 정보를 바탕으로 실시간으로 보험요율(Premium Rate)을 조정할 수 있다. 술을 자주 먹는 고객은 보험료를 올리고, 규칙적으로 운동하는 고객은 보험료를 내리는 식이다. 음주 횟수가 많아지면 사고를 당할 확률이 커진다는 빅데이터 분석이 전제가 된다. 병원에서는 웨어러블 기기를 찬 환자가 갑자기 심장박동이 불규칙하게 변하면 이를 확인하고 조치를 취할 수 있다. 이 역시 특정 이상 징후가 어떤 질병의 전조라는 분석 결과를 활용하는 것이다.

시장조사 기관 가트너(Gartner, 미국 IT분야 리서치 & 어드바이저리 전문 업체)는 “데이터가 미래 경쟁력을 좌우하는 21세기 원유”라고 빗대며 빅데이터를 관리하고 이를 활용하지 못하면 경쟁에서 살아남을 수 없다고 경고했다. 조만간 빅데이터라는 말이 사라질지도 모른다. 모두가 빅데이터 기술을 바탕으로 서비스를 꾸릴 테니 말이다.

결국 중요한 건 사람이다. 빅데이터 분석은 컴퓨터가 할 일이지만, 어떤 데이터를 어떻게 분석해 어디에 활용할지 결정하는 일은 사람이 할 일이다. 통계와 컴퓨터 과학을 아우르면서 사회적인 면도 고려할 줄 아는 통섭적인 인재가 그 어느 때보다 필요하다.

<참고 자료>
1) Predictive Policing 웹사이트 : http://www.predpol.com/

글 : 안상욱 블로터닷넷 기자