측정될 수도 있었지만 어떤 이유로 그러지 못한 데이터가 다크 데이터라고만 여겨질 소지가 있다. 물론 그것이 다크 데이터의 가장 명백한 종류이긴 하다. 설문조사에서 일부 사람이 알려주지 않은 급여 수준은 분명 다크 데이터이지만, 일을 하지 않아 알려줄 것이 없는 사람들의 급여 수준도 다크 데이터다. 측정 오차는 참값을 가리 고, 데이터 요약(가령 평균)은 세부사항을 숨기며, 그릇된 정의는 우리가 알고 싶은 바를 잘못 표현한다. 더 일반적으로 말해서, 한 모집단의 알려지지 않은 특성은 그것이 무엇이든 다크 데이터라고 볼 수 있다(통계학자들은 그런 특성을 매개변수(parameter)라고 부른다). (43p)
DD 유형 1: 빠져 있는지 우리가 아는 데이터
DD 유형 2: 빠져 있는지 우리가 모르는 데이터
DD 유형 3: 일부 사례만 선택하기
DD 유형 4: 자기 선택
DD 유형 5: 중요한 것이 빠짐
DD 유형 6: 존재했을 수도 있는 데이터
DD 유형 7: 시간에 따라 변하는 데이터
DD 유형 8: 데이터의 정의
DD 유형 9: 데이터의 요약
DD 유형 10: 측정 오차 및 불확실성
DD 유형 11: 피드백과 게이밍
DD 유형 12: 정보비대칭
DD 유형 13: 의도적인 다크 데이터
DD 유형 14: 조작된 합성 데이터
DD 유형 15: 데이터 너머로 외삽하기 (44p)
호손 효과란 사람들이 자신이 관찰당하는지를 알면 평소와 달리 행동하는 경향을 가리킨다. (88p)
남성과 여성을 따로 볼 때, 승무원은 삼등칸 승객보다 생존율이 높았다. 하지만 전체로 보자면 승무원은 삼등칸 승객보다 생존율이 낮았다. 이건 속임수가 아니라 있는 그대로의 수치일 뿐이다. 하지만 거의 역설처럼 보이는데, 사실 이 현상은 '심슨의 역설(simpson's paradox)'이라고 불린다. 1951년에 처음으로 한 논문에서 이 현상을 설명했던 에드워드 H. 심슨의 이름을 딴 명칭이다. (111p)
심슨의 역설과 비슷한 사안들이 다른 겉모습을 하고서 생기기도 한다. 가령 생태학적 오류(ecological fallacy)는 전체적인 상관관계와 대상 집단 내의 상관관계가 어긋나는 상황을 설명해준다. (118p)
리치 카루아나 연구팀은 기계학습 시스템을 하나 내놓았다. 폐렴에 걸린 환자들이 그 병으로 사망할 확률을 예측하는 시스템이다. 대체로 상당히 정확한데, 다만 천식 이력도 있는 환자의 경우는 예외였다. 천식이 있는 환자는 다른 환자들보다 폐렴으로 사망할 위험을 낮게 예측했는데, 이는 분명 뜻밖의 발견이며 직관에 반하는 것 같다. 호흡을 방해하는 문제가 더 있는데 어떻게 상황이 더 좋아질 수 있을까? […]
실제로 면밀히 조사했더니 기계학습 시스템이 틀렸다. 그 시스템이 내린 결정은 그야말로 다크 데이터의 결과였다. 조사 결과, 당연히 천식 이력이 있는 환자는 실제로 사망 위험이 컸는데, 그것도 매우 커서 일등급 치료를 받는 집중치료실로 보내야 할 정도였다. […]
그런데도 기계학습 시스템은 그런 환자들이 다른 치료를 받았다는 사실을 모른 채, 단지 천식 이력이 있는 환자들의 사망 위험이 줄어들었다고 결론을 내리고는 의사들에게 그런 '저위험‘ 환자들을 퇴원시키라고 지시하고 말았다. 여기서 근본적인 문제는 기계학습 알고리즘이 관련 데이터 중 일부를 누락했다는 것이다. (169p)
폰지사기라는 명칭은 1920년대에 그 방법을 사용한 찰스 폰지에서 왔다. 하지만 그런 아이디어를 처음 내놓은 사람은 폰지가 아니다. 그 투자사기 전략은 찰스 디킨스의 소설 <마틴 처즐윗>과 <리틀 도릿>에도 설명되어 있다. 폰지사기 기법은 투자자들에 고수익을 약속하지만, 사실은 자신들이 받은 돈을 전혀 투자하지 않는다. 단지 나중에 들어온 투자금 중 작은 금액을 이전 투자자들한테 돌려 줌으로써 마치 수익이 생기고 있는 것처럼 보여줄 뿐이다. 이런 다단계 금융사기는 필연적으로 어느 시점에 잠재적인 장래의 투자자가 고갈되거나 (아마도 경제 형편이 나빠져서) 사람들이 자신의 돈을 돌려달라고 요구하면 고꾸라지게 마련이다. (211p)
경제학자 로널드 코스는 이 상황을 다음과 같이 간명하 게 요약했다. 아주 오랫동안 데이터를 고문하면 언젠가는 데이터가 자백한다. 하지만 고문으로 짜낸 다른 시인들처럼 그 자백은 진실과 무관할지 모른다. 앞에서 든 예에서 1,000개의 수는 무작위로 생겼을 뿐 우리가 어떤 구조를 찾든지 간에 그 속에 숨은 의미는 없다. (244p)
p값은 끔찍하리만치 오해받는 개념이다. 사람들은 종종 p값이 '가설이 옳을 확률'을 가리킨다고 오해한다. 가설은 옳거나 그르거나 둘 중 하나일 뿐이며, p값이란 가설이 옳다는 전제하에 어떤 극단적인 결과가 생길 확률을 가리킨다. (246p)
잘못된 결과가 나오는 또 하나의 이유로 '하킹(HARKing)'이라는 악의적인 행동을 들 수 있다. 여기서 HARKing는 Hypothesizing After the Result is Known, '결과를 알고 난 뒤에 가설 세우기'라는 뜻이다. (252p)
그들은 자신들의 방식을 EM 알고리즘(EM algorithm)이라고 불렀는데, 여기서 EM은 '기댓값 최대화 (Expectation Maximization)'라는 뜻이다. 이 명칭은 각 반복 과정마다 있는 두 단계를 가리킨다. 첫째는 각각의 빠진 값에 대한 '기댓값‘ 계산하기 단계이고, 둘째는 완전해진 데이터 세트를 이용하여 변수들 사이의 관계 추산하기 단계다. 각 반복 과정에서 두 번째 단계를 '최대화' 단계라고 하는데, 이 단계에서 가능도를 최대화하기 때문이다. (319p)
만약 자신이 갖고 있는 데이터만 바라본다면 과학자, 분석가, 그리고 데이터로부터 의미를 뽑아내려고 하는 모든 사람은 술 취한 사람과 비슷하다. 데이터가 어떻게 생기는지, 데이터에 무엇이 빠져 있는지를 이해하지 못하면 정답이 있는 곳이 아니라 자신들이 볼 수 있는 곳만 보는 심각한 위험에 빠진다. (383p)