빅데이터에서 이야기 하는 '빅'은 효과적으로 처리하는 것을 가로막는 갖가지 어려움을 종합적으로 일컫는 표현이다. 일부에서는 빅데이터를 '대용량 데이터'라고 건조하고 밋밋하게 번역하지만, 어감을 제대로 살려 말하자면 '엄청난 데이터'라고 이해하는 것이 더 적당하다.
빅데이터는 '3V'로 통칭되는 다음 세 가지 특징을 골고루 이용하여 정의되어야 한다. 1. 규모(Volume), 2. 다양성(Variety), 3. 속도(Velocity)
데이터를 얻는 능력, 즉 데이터를 이해하는 능력, 처리하는 능력, 가치를 뽑아내는 능력, 시각화하는 능력, 전달하는 능력이야말로 앞으로 10년간 엄청나게 중요한 능력이 될 것이다. - 할 배리언, 구글 수석 경제학자
디지털 시대가 본격 도래하기 이전인 1988년, 인류가 확보한 아날로그 데이터 저장 능력은 262만 테라바이트 수준이었다고 한다. 그리고 그 중 90% 이상은 필름, 카세트테이프, 비디오 테이프 등이었다.
데이터는 소프트웨어 인프라가 대부분 오픈소스화 또는 범용품화 되는 시스템에서 (가치의) 유일한 원천 요소이다. - 팀 오라일리
하둡은 더글러스 커팅에 의해 개발되었다. 오픈 소스 운동의 강력한 지지자인 그는 2004년 구글이 맵리듀스 알고리즘에 대한 논문을 발표하자, 이를 이용해 오픈소스 소프트웨어 프레임워크를 만들기로 작정했다.
조금이라도 경영학을 이해하고 있는 이라면 하버드 대학의 마이클 포터 교수가 일찍이 경쟁력의 원천으로 '남들보다 저렴한 비용, 남들이 무관심한 틈새시장, 그리고 남들이 쉽게 모방할 수 없는 차별성'을 거론했음을 알고 있을 것이다.
'발견'은 '검색'과는 다른 문제 해결 방식으로, 무엇을 찾을지 모르는 상태에서도 위대한 발견을 할 수 있다.
공급사슬 관리에서는 '채찍 효과(Bullwhip effect)'라는 것이 있는데, 원자재 공급량 예측의 실패 정도에 따라 공급사슬상에서 다음 단계의 제품 생산량을 예측하는 데 더 큰 폭의 오차가 발생하고, 결과적으로 실제 판매량과는 더욱더 큰 격차가 생기게 된다.
위대한 발견은 목표가 불분명한 연구의 산물이다. - 로저 콘버그, 노벨 화학상 수상자
1972년 코헨, 마치, 올슨 세 사람은 "쓰리게통형 조직 의사결정 모델"이라는 논문을 통해 '쓰레기통 이론'을 내세운 바 있다. 문제 해결 과정이 문제가 발생한 다음에 근사한 해결책을 만들어내는 것처럼 항상 순차적이기보다다는 반대로 문제가 발생하면 이미 조직 내 존재하지만 예전에는 간과하거나 무시했던 해결책을 찾는 이치와 같다.
사람들은 물건을 사는 것을 단순히 구매 행위로만 생각하지 않는다. 그보다 상품 구매는 구매자 자신을 표현(extension)하는 행위이다. 사실적으로도, 또 비유적으로도 그렇지만 사람들은 세상이 알 수 있도록 물건을 통해 자신을 표현하고 감정을 표출한다.
판도라의 추천 시스템인 뮤직 게놈 프로젝트는 수십만 곡들과 수백만 개의 사용자 피드백을 철저히 분석한다.
판도라의 설립자와 심리학 교수는 음악적 취향과 성격 간의 관계를 연구해 음악이 사람의 정서적 안정성, 용기, 야망과 같은 면은 잘 예측하지 못한다는 사실을 밝혀냈다. 하지만 성격의 외향성, 유쾌함, 신중함, 개방성, 상상력은 음악으로 정확히 예측할 수 있으며, 심지어 지능도 일부 예측할 수 있다고 한다.
과거 20년에서 25년 동안 기업들이 활용 가능한 정보의 5%만으로 의사결정을 해 왔다. - 브라이언 홉킨스
의사결정에 빅데이터의 통찰력을 활용하는 4단계
-
What happend? - 경영 정보의 관리(MIS)
-
Where exactly is the problem? - 비즈니스 인텔리전스
-
What is happening next? - 통찰력의 창출(예측 분석 기법)
-
What's the best that can happen? - 애널리틱스 기반 의사결정(의사결정 프로세스 최적화)
돈을 벌기 위해서는 '어떤 일이 벌어질 것인가'와 '사람들이 생각하는 일이 일어날 것인가' 이 두 가지를 예측할 수 있어야 한다. 돈을 버는 경우는 두 예상치의 차이를 알 수 있을 때이다. - 할 배리언
애플 아이폰4에만 8개의 센서 즉, 가속도계(accelerometer), 근접센서(proximity sensor), GPS, 환경광(ambient light), 이중 마이크로폰(dual micorphones), 이중 카메라(dual cameras), 나침반(compass), 자이로스코프(gyroscope)가 내장되어 있다.
세상의 모든 상품과 여기에 스며들어 있는 기술은 세 가지 목표를 충족시키기 위해 발전한다고 한다. 첫 번째는 사용의 편의성이며, 두 번째는 가격의 현실성이고, 세 번째가 혜택의 우월성이다.
한국의 경영자 집단은 분석적 성향이 강할수록 심리적 오류를 더 자주 범하는 특성을 보였다. 이는 의사결정 과정에서 데이터가 현실의 문제점을 편견 없이 판정하는데 이용되지 못했음을 보여준다. 미리 자신이 특정한 방향으로 결론을 내려놓고, 그저 이를 합리화하는 수단으로 데이터를 이용한다는 것이다. 그러면 데이터는 오류의 교정 역할을 전혀 하지 못하고, 오히려 오류를 증폭시키는 도구로 전락하게 된다.
빅데이터를 수용하기 위한 기업의 대응 역량 수준
-
데이터 낭비자(Data Wasters)
-
데이터 수집가(Data Collectors)
-
적극적 데이터 관리자(Aspiring Data Managers)
-
전략적 데이터 관리자(Strategic Data Managers)