갑자기 업무상 빅데이터에 대한 개념 정도는 알아야할 필요가 있던 차에 눈에 띈 책

 

오바마 캠프가 선거에 빅데이터를 어떻게 활용했는지에 관한 이야기인데,

 

빅데이터의 기술적 활용방법을 학습할 목표라면 이 책을 읽어서는 안될 것 같다.

 

이 책을 읽는 사람은 선거 기획자가 가장 어울릴 듯...

 

* (참고) 위키피디아의 빅데이터 정의

 

빅 데이터는 통상적으로 사용되는 데이터 수집, 관리 및 처리 소프트웨어의 수용 한계를 넘어서는 크기의 데이터를 말한다. 빅 데이터의 사이즈는 단일 데이터 집합의 크기가 수십 테라바이트에서 수 페타바이트에 이르며, 그 크기가 끊임없이 변화하는 것이 특징이다.

메타그룹(현재 가트너)의 애널리스트 더그 레이니(Doug Laney)는 2001년 그의 연구 보고서와 관련 강의에서 데이터의 급성장에 따른 이슈와 기회를 데이터의 양(volume), 데이터 입출력의 속도(velocity), 데이터 종류의 다양성(variety)이라는 세 개의 차원으로 정의하였다. 이 “3V” 모델은 이후 가장 널리 사용되는 빅 데이터의 정의가 되었다. 2012년 가트너는 기존의 정의를 다음과 같이 개정하였다: “빅 데이터는 큰 용량, 빠른 속도, 그리고(또는) 높은 다양성을 갖는 정보 자산으로서 이를 통해 의사 결정 및 통찰 발견, 프로세스 최적화를 향상시키기 위해서는 새로운 형태의 처리 방식이 필요하다.” 이에 더해, IBM은 진실성(Veracity)이라는 요소를 더해 4V를 정의하였고, 브라이언 홉킨스(Brian Hopkins) 등은 가변성(Variability)을 추가하여 4V를 정의하였다. 가트너의 3V 정의가 여전히 널리 사용되고 있는 가운데, 데이터와 그것의 사용 방법에 있어서 빅 데이터와 경영정보학의 차이가 점차 더 뚜렷하게 구분되고 있다.

 

19쪽, 승리하기 위한 전략과 이를 구체적으로 표현한 핵심성과지표가 명확할 때만이 빅데이터는 의미를 가진다. 전략과 목표가 없는 빅데이터는 '빅 쓰레기더미'일 뿐이다.

 

빅데이터의 특징 3V: 규모(Volume), 다양성(Variety), 속도(Velocity)

 

39쪽, 관계형 데이터베이스와 구분해야함

 

40쪽, 기존의 구조적 데이터베이스에 사용되던 '구조적 질의어(SQL: Structureed Quary Language)' 대신에 '비구조적 질의 언어(NoSQL)'를 사용한 검색방법이 도입되고 있다.

 

41쪽, 관계형 데이터베이스 분석을 할 때는 특정한 시점에서 그 이전 일정한 시점까지 정해진 기간 동안의 데이터를 대사으로 할 수 밖에 없다. 그런데 지금은 1초에 수억 개 이상의 정보가 데이터베이스로 홍수처럼 흘러들어온다.

... 분석이 끝나기도 전에 새로운 데이터가 계속 유입되기 때문에 분석치르 끊임없이 수정해 가면서 실시간으로 정보를 제공해야 하는 것이다.

 

* 56쪽, 사일로 효과: 정보를 공유하지 않으려는 부서 이기주의

 

69쪽, 최근 미국의 한 IT매체에는 빅데이터와 함께 롱데이터(Long Data)도 중요하다는 기사가 실렸다. 이른바 롱데이터란 통계학에서 말하는 시계열 데이터인데 오랜 시간에 걸쳐서 쌓인 데이터를 말한다. 특히 미래를 예측하는 데는 무조건 많은 데이터보다 한 분야에서 과거로부터 꾸준히 축적된 데이터가 더 의미가 있다.

 

* 72쪽, 일반적으로 개인정보 보호 관련 규제에는 옵트인과 옵트아웃 방식이 있다.

 옵트인: 개인이 동의를 해야만 개인정보를 사용할 수 있는 방식

 옵트아웃: 개인의 동의가 없어도 되지만 정보 당사자가 요구하면 사용할 수 없는 방식

... 미국의 경우 공공기관에는 까다로운 옵트인 방식을 적용하여 규제

... 민간 분야는 옵트아웃 방식을 인정

우리나라는 개인정보보호법에서 옵트인 방식을 사용하는 비교적 강한 규제방식을 채택

 

* 108쪽, 하둡: 대용량 분산 파일 시스템(HDFS:)과 맵리듀스로 구성되는 대용량 데이터처리 시스템

첫째, 하둡은 하드웨어가 고장난 상태에서도 임무를 수행할 수 있다.

둘째, 하둡은 소프트웨어보다 데이터를 중심으로 작업한다는 특징이 있다.

셋째, 하둡은 확장성이 커서 한번에 다룰 수 있는 파일의 양이 매우 많다.

넷째, 하둡은 또한 이식성 및 호환성이 뛰어나다.

 

127쪽, 선거의 마이크로타기팅 기법에서 가장 핵심적인 세가지 알고리즘은 군집분석, 다변수 회귀분석, 연관성 분석이다.

 

272쪽, 온라인 텍스트 중심의 분석은 그것을 실제로 언급하는 사람의 실제 행동 및 특성에 대한 정보와 결합되지 않으면 때로는 피상적인 정보에 머무를 수도 있다.

... 실제 행동에 근거한 데이터가 더 안정적이고 깊이 있는 통찰력을 제공해 준다.

... 제대로 된 예측 모델링을 하기 위해서라도 다양한 방식의 직접조사를 통해서 자신이 가장 알고 싶어하는 내용이 포함된 정보를 수집해야 한다.