과학의 웅대한 목표는 가장 많은 실험적 사실을 가장 적은 가설이나 공리를 통해 논리적으로 추론하는 것이다. - 알베르트 아인슈타인
문명은 우리가 생각하지 않고도 수행할 수 있는 중요한 활동의 수를 늘림으로써 진보한다. - 알프레드 노스 화이트헤드 (7p)
불투명은 오류와 오용으로 통하는 문이다. […] 당신은 이해하지 못하는 것을 관리할 수 없다. 당신이 시민으로서, 전문가로서 그리고 행복을 추구하는 인간으로서 머신러닝을 이해해야 하는 이유다. (15p)
심리학자 돈 노먼은 기술을 효과적으로 사용하려면 알아야 하는 개략적인 지식을 표현하기 위해 '개념 모형(conceptual model)'이라는 용어를 만들었다. (15p)
기호주의자(symbolists)는 학습을 연역의 역순으로 보며 철학과 심리학, 논리학에서 아이디어를 얻는다. 연결주의자(connectionists)는 누뇌를 분석하고 모방하며 신경과학과 물리학에서 영감을 얻는다. 진화주의자(evolutionaries)는 컴퓨터에서 진화를 모의시험하며 유전학과 진화생물학에 의존한다. 베이즈주의자(Bayesians)는 학습이 확률 추론의 한 형태라고 믿으며 통계학에 뿌리를 둔다. 유추주의자(analogizers)는 유사성 판단을 근거로 추정하면서 배우며 심리학과 수학적 최적화의 영향을 받는다. […] 기호주의자의 마스터 알고리즘은 역연역법(inverse deduction)이고 연결주의자의 마스터 알고리즘은 역전파(backpropagation)이며 진화주의자의 마스터 알고리즘은 유전자 프로그래밍(genetic programming)이고 베이즈주의자의 마스터 알고리즘은 베이즈 추정(Bayesian inference)이며 유추주의자의 마스터 알고리즘은 서포트 벡터 머신(support vector machine)이다. (17p)
과학자가 이론을 만들고 기술자가 장치를 만든다면 컴퓨터과학자는 이론이면서 장치인 알고리즘을 만든다. (33p)
산업혁명은 수공업을 자동화하고 정보혁명은 정신 노동을 자동화한 반면 머신러닝은 자동화 자체를 자동화했다. (41p)
진보를 이루려면 과학의 모든 분야는 연구하는 현상의 복잡도에 걸맞은 데이터가 있어야 한다. 이것이 과학 분야 중에서 물리학이 첫 번째로 궤도에 오른 까닭이다. (47p)
우리는 경제적 제약 조건 아래에서 행복을 최대화하는 시도를 하고, 경제적 제약 조건은 이용 가능한 기술이라는 제약 조건 아래에서 회사가 얻은 최고의 해답이며, 이용 가능한 기술은 생물학과 물리학의 제약 조건 아래에서 우리가 발견할 수 있는 최고의 해답이다. 생물학은 결국 물리학과 화학의 제약 조건 아래에서 진화에 따라 최적화된 결과이고 물리 법칙은 그 자체가 최적화 문제의 해답이다. (74p)
우리가 문제의 해답을 효율적으로 풀 수 있으면 이 문제는 P에 속하고, 우리가 문제의 해답을 효율적으로 확인할 수 있으면 이 문제는 NP에 속한다. 유명한 P=NP는 효율적으로 확인 가능한 문제를 효율적으로 풀 수 있는가라는 질문이다. NP-완전성 때문에 이 질문에 답하기 위해 필요한 전부는 NP-완전에 속하는 하나의 문제만 효율적으로 풀리는지 아닌지 증명하는 것이다. (78p)
학습과 지식은 놀라울 정도로 미묘하게 뒤얽혀 있다. 불행히도 두 진영은 자주 과거의 일을 들먹인다. 그들은 서로 다른 언어로 말한다. 머신러닝 측은 확률을 말하고 지식공학자 측은 논리를 말한다. (85p)
"데이터는 인간의 직관을 댗체할 수 없다"라는 말이 있다. 사실은 그 반대가 맞는 말이다. 인간의 직관은 데이터를 대체할 수 없다. 직관은 사실을 모를 때 사용하는 것이고, 당신은 사실을 모르기 때문에 직관이 소중하다. 하지만 증거가 눈앞에 있다면 거부할 이유가 없다. […] 당신이 권위 있는 미래학자가 되고 싶다면 데이터를 활용하라. 데이터와 싸우지 마라. (86p)
과학은 세 단계를 거친다. 브라헤, 케플러, 뉴턴 단계다. 티코 브라헤가 밤마다 그리고 해마나 인내심을 발휘하며 행성의 위치를 기록한 것처럼 브라헤 단계에서는 많은 데이터를 모은다. 케플러 단계에서는 케플러가 행성의 운동에 관하여 수행한 것처럼 경험 법칙을 데이터에 끼워 맞춘다. 뉴턴 단계에서는 더욱 심오한 진리를 발견한다. 과학은 브라헤 단계와 케플러 단계가 대부분이다. 뉴턴의 순간은 드물다. 현재 빅데이터는 수십억 명의 브라헤가 할 일을 해내고 머신러닝은 수백만 명의 케플러가 하는 일을 해낸다. (87p)
기호주의자의 선두주자 격인 톰 미첼은 (불량 조건 문제를 푸는 유일한 방법은 다른 가정을 첨가하는 것을) 치우침 없는 학습의 무용함(the futility of bias-free learning)이라 부른다. 일상생활에서 치우침은 경멸적인 단어다. 선입견은 나쁘다. 하지만 머신러닝에서 선입견은 없어서는 안된다. 선입견 없이는 학습이 불가능하다. (123p)
학습은 중요한 부분을 기억하는 만큼 세부적인 항목은 잊는 것이다. (133p)
학습은 당신이 보유한 데이터의 양과 당신이 고려하는 가설 수 사이의 경주다. (137p)
오컴의 면도날을 흔히 표현하는 "실체들은 필요 이상으로 중복되어서는 안된다."라는 말은 데이터에 맞는 가장 간단한 이론을 선택하는 것을 의미한다. 그런데 증거들을 완벽하게 설명하지 않는 이론이 오히려 더 훌륭하게 일반화한다는 근거로 이런 이론을 선호해야 한다는 주장에 오컴은 당혹스러워할 것이다. 단순한 이론을 선호하는 까닭은 우리가 인식하기에 힘이 덜 들고 알고리즘이 계산하기에 더 쉽기 때문이지 그렇게 하는 것이 더 정확하다고 기대하기 때문은 아니다. (143p)
머신러닝 개발자 중에서 기호주의자는 기호를 조작하여 얻는 능력에 대한 믿음을 다른 컴퓨터과학자와 심리학자, 철학자와 공유한다. 심리학자인 데이비드 마르는 모든 정보 처리 시스템은 뚜렷이 구분된 세 가지 단계를 연구해야 한다고 주장한다. 풀려는 문제의 기본 성질, 문제를 풀 때 사용하는 알고리즘과 표현 기법, 물리적으로 구현하는 방법 등 세 가지 단계가 있다. (159p)
캐나다 출신의 심리학자 도널드 헵은 1949년 발간된 《행동의 조직》에서 말했다. "신경세포 A의 축색돌기가 신경세포 B에 가까이 있고 반복해서 혹은 꾸준히 B의 발화에 참여한다면, 한쪽이나 양쪽 세포에서 어떤 성장 과정이나 신진대사의 변화가 발생하여 B를 발화시키는 세포들 중 하나로서 A세포의 효율성은 증가된다." 이것은 '함께 발화하는 신경세포는 함께 묶여 있다'라는 말로 표현된다. (165p)
기호주의자 학습과 연결주의자 학습의 차이점은 기호주의는 순차적인(sequential) 반면 연결주의는 동시적(parallel)이라는 점이다. (166p)
퍼셉트론은 1950년 말 코넬연구소 심리학자인 프랭크 로젠블랫이 발명했다. (170p)
퍼셉트론은 선형 경계만 학습할 수 있디 때문에 배타적 논리합은 배울 수 없다. 이 일조차 할 수 없다면 퍼셉트론은 두뇌가 학습하는 방법을 밝히는 좋은 모형이 아니거나 마스터 알고리즘의 가능성이 있는 후보도 아니다. (176p)
퍼셉트론은 수학적으로만 보면 나무랄 데 없다. 즉 명료성은 눈이 부시지만 효과는 형편없다. (177p)
S자를 옆으로 길게 늘인 것같이 보이는 이 곡선은 다양한 이름으로 알려졌는데 지수함수, 시그모이드 곡선 혹은 S자 곡선이라 부른다. (182p)
머신러닝과 삶에서 매우 중요한 문제는 탐험과 개발 사이 딜레마(exploration-exploitation dilemma)다. 효과가 있는 것을 발견하면 그것만 계속 사용해야 할까? 아니면 시간 낭비가 될 수 있지만 더 나은 해법을 얻을 수 있다는 것을 알고 새로운 시도를 해야 할까? 목동이 될까 아니면 농부가 될까? 새루운 사업을 시작할까 아니면 현재 사업을 계속할까? 한 사람과 사귈까 아니면 여러 사람과 자유롭게 사귈까? 중년의 위기는 오랜 세월 안주하다가 탐험을 갈망할 때 찾아온다. […] 홀랜드는 슬롯머신이 두 개 있을 때 최적의 전략은 기하급수로 더 편중된 동전을 던져서 어느 머신으로 게임할지 결정하는 것이라는 사실을 밝혀냈다. (217p)
비트열 대신 프로그램 트리를 교차한 결과 어떠한 크기의 프로그램도 나올 수 있었고, 그래서 학습이 더 유연해졌다. 하지만 전반적으로는 진화가 더 오래 진행될수록 트리가 점점 더 커지는 거대화 경향이 나타났다. 퉁보 생존(survival of fattest)으로도 알려져 있다. (222p)
성이 자연에 널리 퍼져 있는 까닭을 아직은 어느 누구도 확실히 알지 못한다. 몇몇 이론이 나왔지만 널리 받아들여지는 이론은 없다. 이들 중 대표적인 이론은 '붉은 여왕 가설(Red queen hypothesis)'이며 매트 리들리가 지은 같은 이름의 책을 통해 널리 알려졌다. […] 유기체는 기생 동물과 끊임없이 군비 경쟁을 벌이고 있으며, 이때 성은 종족 전체의 다양성을 유지하는 데 기여하여 세균 한 종류가 전체 종족을 감염시키는 사태를 방지한다. (225p)
크리스토퍼 파파디미트리오와 동료들은 성이 적응력을 최적화하지 않고 그들이 만든 용어인 혼합성을 최적화한다는 점을 밝혔다. 혼합성이란 유전자가 다른 유전자와 결합했을 때 평균적으로 잘 작동하는 능력이다. (225p)
의사는 그저 좋아 보이는 진단이 아니라 '최적'의 결정을 내려야 한다. 이것이 과학과 철학의 많은 부분에서 나타나는 긴장된 순간이다. 설명적 이론(descriptive theory)과 규범적 이론(normative theory) 사이의 대립, 다시 말해 '이것은 이렇게 된다'와 '이것은 이렇게 되어야 한다' 사이의 대립에서 나타나는 긴장이다. (234p)
토머스 베이즈는 자기도 모르는 사이에 새로운 종교의 중심 인물이 된 18세기 영국의 성직자다. 어떻게 이런 일이 일어날 수 있는지 의문이 드는 것은 당연한 일이며 예수에게도 이런 일이 일어났다는 것을 안다면 의문은 풀릴 것이다. 예수는 자신을 유대인 신념의 정점이라고 보았지만 우리가 알다시피 사도 바울이 예수가 중심인 기독교를 창시했다. 비슷하게 베이즈주의는 베이즈가 태어나고 50년 후에 태어난 프랑스 사람 라플라스가 주창했다. 베이즈는 가능성에 관한 새로운 사고방식을 처음으로 발표한 사제였고, 그러한 직관들을 베이즈의 이름으로 정리한 사람은 라플라스였다. (241p)
통계학자 조지 박스는 "모든 모형은 틀리지만 그 중에는 유용한 모형도 있다"라는 유명한 말로 이 상황을 묘사했다. 추정에 필요한 충분한 데이터를 확보할 수 있는 과도하게 단순한 모형은 추정에 필요한 데이터를 충분히 확보할 수 없는 완벽한 모형보다 낫다. 매우 틀리지만 동시에 매우 유용하기도 한 모형이 있다는 사실이 놀랍다. 경제학자 밀턴 프리드먼은 매우 유명한 에세이에서 가장 작은 것으로 가장 잘 설명하기 때문에 예측이 올바르다면 가장 과도하게 단순화된 이론이 최고라고 주장했다. (250p)
상태와 관찰이 이산 변수가 아니라 연속 변수라면 HMM(Hidden Markov Model)은 칼만 필터로 알려진 것이 된다. 경제학자들은 국내 총생산량과 통화 팽창, 실업률 등 시간에 따라 변하는 양에서 잡음과 같은 오류 성분을 제거 하기 위하여 칼만 필터를 사용한다. 진짜 국내 총생산량 값은 은닉 상태다. 각 시점에서 진짜 값은 관찰된 값과 비슷해야 하고 동시에 경제가 갑자기 박뀌는 일은 드물기 때문에 이전 시점의 진짜 값과도 비슷해야 한다. 칼만 필터는 이 두 가지 사이에서 균형을 유지하고 관찰된 값과도 여전히 조화를 이루면서 더 매끄러운 곡선을 출력한다. 순항 미사일이 목표물을 향해 날아갈 때 진로를 유지하는 것이 칼만 필터다. 칼만 필터가 없었으면 인간은 달에 가지 못했을 것이다. (257p)
한 개 대신 k개의 최근접 이웃을 사용하는 것이 이야기의 끝은 아니다. 직관적으로 테스트 예제에 가장 가까운 예는 더 중요하게 다루어야 한다. 이런 착상으로 가중치 k-최근접 이웃 알고리즘이 도출되었다. 1994년 미네소타대학과 MIT 연구자들로 구성된 팀은 '현혹될 정도로 간단해 보이는 생각'이라는 부르는 착상, 즉 과거에 동의한 사람들은 앞으로도 동의할 가능성이 있다는 착상을 기초로 추천 시스템을 만들었다. 그리고 자부심 있는 전자 상거래 사이트라면 모두 가지고 있는 협력 필터링 시스템이 바로 이어서 나왔다. […] 요즘은 모든 종류의 알고리즘이 소비자에게 상품을 추천하는 데 사용되지만 가중치 k-최근접 이웃 알고리즘이 최초로 널리 사용된 알고리즘이며 여전히 이 알고리즘을 이기기는 힘들다. (302p)
'차원의 저주'는 제어이론가 리처드 벨먼이 1950년대에 만든 용어다. 그는 3차원에서 잘 장동한 제어 알고리즘이 로봇 팔의 모든 관절이나 화학 공장의 모든 조절 손잡이를 제어하기 원할 때처럼 더 높은 차원의 공간에서는 절망스러울 정도로 비효율적이 되는 것을 발견했다. (308p)
서포트 벡터 머신, 줄여서 SVM이라 부르는 이것은 소련의 빈도학파 수학자 블라드미르 바프닉의 발명품이었다. 바프닉은 모스크바의 제어과학연구소에서 경력을 쌓았으나 1990년 소련이 붕괴하자 미국으로 건너와 전설적인 벨연구소에 들어갔다. 러시아에 있을 때는 연필과 종이로만 하는 이론 연구에 만족했지만 벨연구소의 분위기는 달랐다. 벨연구소의 연구원들은 실제적인 결과를 찾으려 했고 바프닉은 자신의 아이디어를 알고리즘으로 구현하겠다고 결심했다. 몇 년 후 바프닉과 벨연구소의 동료들은 SVM을 개발했고, 오래 걸리지 않아 SVM은 온 천지에서 정확성의 신기록을 세우며 모든 영역으로 퍼져 나갔다. (310p)
조건부 최적화는 일정한 제약 조건 아래에서 함수를 최대화하거나 최소화하는 문제다. 우주는 에너지를 일정하게 유지하는 조건 아래에서 엔트로피를 최대화한다. 이런 유형의 문제들은 사업과 기술 분야에 널리 퍼져 있다. 예를 들어 공장에서 가동하는 기계 장치의 수와 제품 규격, 그 외 다른 제약 조건이 있는 상황에서 생산하는 제품의 수를 최대화하고자 한다. SVM이 등장하면서 조건부 최적화는 머린러닝에서도 중요해졌다. 조건이 없는 최적화는 산의 정상에 도달하는 것이고 기울기 하강이 수행하는 일이다.
조건부 최적화는 도로를 벗어나지 않으면서 가능한 한 높이 올라가는 것이다. 도로가 정상까지 곧장 연결된다면 조건부와 무조건부 최적화 문제들의 해답은 같다. (315p)
1997년 하버드대학의 통계학자 셋(아서 뎀프스터, 낸 레어드, 도널드 루빈)이 이런 미친 방식(모형에서 유형을 추론하고 유형에서 모형을 추론하는 과정)이 실제로 작동한다는 것을 보였다. 한 번 순환할 때마다 군집의 모형은 점점 더 좋아지고 모형이 가능성의 국소 최대값이 되면 순환은 끝난다. 그들은 이런 방식을 EM 알고리즘이라고 불렀다. 여기서 E는 expectation(예상되는 확률을 추론)을 가리키고 M은 maximization(최대 가능성을 나타내는 변수들의 추정)을 가리킨다. 그들은 또한 이전의 많은 알고리즘이 EM 알고리즘의 특별한 경우라는 점을 밝혔다. 예를 들어 우리는 은닉 마르코프 모형을 학습하기 위해 은닉 상태를 추론하는 일과 이를 기반으로 상태 전이 확률과 관측 확률을 추정하는 일을 차례차례 반복한다. 우리는 통계 모형을 학습할 때 결정적인 정보가 없는 경우마다 EM을 사용할 수 있다. 이 능력으로 EM은 머신러닝의 모든 알고리즘 중에서 가장 인기있는 알고리즘이 되었다. (340p)
주요 성분 분석(principle-component analysis, PCA)으로 알려진 이 과정은 과학자의 도구 상자에서 핵심 도구다. PCA가 자율 학습 분야에서 차지하는 위치는 선형회귀법이 지도 학습 분야에서 차지하는 위치와 같다. (347p)
생물학자는 PCA를 사용해 수 천 개의 유전자가 출현하는 수준을 정리하여 소수의 진행 과정을 추출한다. 심리학자는 성격이 외향성과 친화성, 성실성, 신경증, 경험에 대한 개방성의 다섯 가지 차원으로 요약되는 것을 발견했다. (348p)
PCA를 국회의원 선거와 여론 조사 데이터에 적용해 보니 많은 사람이 믿는 것관느 반대로 정치는 진보와 보수의 대결이 주요한 것이 아니라는 결과가 나왔다. 오히려 두 가지 주요한 차원에서 다르다. 하나는 경제 쟁점이고 또 하나는 사회 쟁점이다. 이 둘을 하나의 축으로 뭉쳐 버리면 양극단적인 대중영합주의와 자유지상주의자가 한데 뒤섞이기도 하고 중도파가 아주 많다는 착시 현상이 나타나기도 한다. 그러므로 중도파에 호소하려는 노력은 승리하는 전략이 될 것 같지 않다. 한편 자유주의와 자유지상주의자가 상호 혐오감을 극복한다면 개인의 자유를 옹호하는 편에 서는 그들은 사회 쟁점을 다룰 때 연합할 수 있다. (348p)
모든 경우에서 실체를 이해하는 가장 좋은 방법은 사람이든 동물이든 웹페이지든 아니면 분자든 실체들과 어떻게 연관되는지를 이해하는 것이다. 이를 위해서는 데이터를 서로 연관되지 않은 사물들에서 무작위로 뽑은 표본이 아니라 복잡한 관계망의 일면으로 다루는 새로운 종류의 학습 방법이 필요하다. 관계망에 있는 지점들은 상호작용한다. 당신이 한 사람에게 취한 행동은 더 많은 사람에게 영향을 주며 다시 돌아와 당신에게 영향을 미친다. 관계형 학습기라 불리는 프로그램은 높은 사회 지능을 지니지 않을 수도 있지만 차선책이다. 전통적인 통계 학습에서 모든 사람은 고립된 섬이며 완전히 혼자다. 관계형 학습에서 모든 사람은 대륙의 한 조각이며 본토의 일부다. (366p)
자동화가 가능한 직업과 가능하지 않은 직업 사이의 경계선이 경제 영역 전반에 걸쳐 확장되면서 실업률은 점점 높아지고, 점점 더 많은 직업에서 임금의 압력이 줄어들고, 아직 자동화되지 않은 더욱더 적어지는 분야의 몸값은 올라갈 것이다 이러한 일은 이미 일어나고 있지만 앞으로 더 심화될 여지가 많다. 전환기에는 떠들썩하겠지만 다행히 민주주의 덕분에 행복한 결말이 될 것이다(투표를 소중히 여겨라. 당신의 가장 귀중한 보물일 것이다). 실업률이 50퍼센트를 넘어서거나 그 전이라도 재분배에 관한 태도는 급진적으로 바뀔 것이다. 이제 새롭게 다수가 된 실업자들은 평생에 걸친 관대한 실업급여와 이를 감당할 높은 세금 인상에 표를 줄 것이다. 실업자들이 은행을 부소고 쳐들어가지는 않을 것이다. 기계가 필요한 생산을 할 것이기 때문이다. 결국 우리는 실업률 대신 고용률을 이야기하기 시작하고 고용률의 감소를 발전의 지표로 여길 것이다. (미국은 뒤처지고 있다. 고용률이 23퍼센드나 된다.) (445p)