빅데이터가 무엇인가? 요새들어 빅데이터라는 것이 참으로 주목받는 것 같다. 빅데이터란 크게 3가지 특징이 있는 데이터이다. 3V라고 표현하고 있는데, 우선 양이(volume) 많아야 하고, 발생 빈도가 빠른(velocity) 데이터여야 하고, 다양해야(variety)한다는 것이다.이런 데이터들에는 어떤 것들이 있을까? 우선 대표적으로 1초에 7000개나 나오는 트윗을 들 수 있다. 또, 감시카메라에 지속적으로 포착되는 장면들도 그 설치 개수를 생각하면 도저히 다 확인할 수 없는 빅 데이터이다. 요새 IT계에서는 너무나 방대하기 때문에 버려두었던 빅 데이터에서 적절한 필터링을 거쳐 유용한 정보를 얻어낼 수 있고, 이런 정보가 보물같이 소중할 수 있음을 주장하고 있다. 마치 석유가 땅에 묻혀있지만 파내는 기술이 있어야 진정한 가치가 되듯, 데이터도 마찬가지라는 것이다. 그렇기 때문에 빅 데이터를 석유에 비유하기도 한다.

 

이 책에는 빅데이터를 어떻게 활용하는지, 그 사용 패턴에 대한 보고와 유럽과 미국, 일본의 회사들이 어떻게 이 데이터들을 사용하고 있는지에 대한 구체적인 자료들을 제시하고 있다. 이 책에서는 그 활용패턴에 대해 간단한 그림을 활용해서 설명하고 있는데, 그래서 이해하기 쉬웠다. 10의 12승에서 18승은 되는 이런 빅 데이터들을 처리하는 법에는 여러가지가 있었다. 최적화 시키는 법, 일괄 처리하는 법, 실시간 처리형 등 여러가지 정보의 분류로 정보들을 유용하게 만들어 내는 과정이다. 건설기계 제조회사라든가,쿠폰회사, 스마트 계량 회사 등 이러한 빅 데이터를 효과적으로 활용하고 있는 회사들도 한 종류 업계가 아니라 참으로 다양했다. 큰 용량의 정보에서 일정한 사람들의 패턴을 발견함으로서 그것으로 사람들의 니즈를 파악하고, 고객을 사로잡는 기술을 선보이는 것은 업계를 막론하고 중요한 마케팅이기 때문이다.

 

빅 데이터를 활용하는 과정에서 중요한 것이 바로 개인 정보의 문제이다. 나도 모르게 찍힌 감시 카메라 영상에서 내 행동 패턴이 관찰되고, 인터넷을 하다가 자주 가는 사이트의 정보가 나도 모르게 수집되고, 금융이나 교통에서도 이런 정보가 들어간다면 내 사생활이 침해당할 수 있기 때문이다. 최근 이에 대한 문제점으로 인해 개인정보 보호를 위한 가이드라인이 법제화 되서 시행되고 있는데 특히 개인의 비밀이 중요한 의료 계통이나 정보통신, 국토 교통 등에 대해서는 정부에서 나서서 국민의 비밀 유지를 위해 노력하고 있다. 이미 빅데이터의 중요성이 상용화된 일본이나 유럽등지에서는 이러한 법 개정이 나오고 있는 모양이다.