신경망에 복잡한 구성 요소를 추가해 사실상 특정 알고리즘을 명시적으로 구현해야 한다는 생각도 있었지만 대부분 가치가 없었습니다. 대신 매우 단순한 구성 요소가 알고리즘 아이디어에 상응하는 결과를 얻도록 (비록 우리가 이해할 수 없는 방식으로 작동하더라도) 스스로 조직화하도록 내버려 두는 것이 더 낫습니다. (52p)
결국 학습 가능성과 계산적 환원 불가능성 사이에는 근본적인 긴장이 존재합니다. 학습은 사실상 규칙성을 활용해 데이터를 압축하는 것과 관련이 있습니다. 하지만 계산적 환원 불가능성은 궁극적으로 가능한 규칙성에 한계가 있다는 것을 의미합니다. (62p)
토큰 값과 토큰 위치의 임베딩 벡터를 더하는 이유는 무엇일까요? 특별한 과학적 근거가 있지는 않습니다. 다양한 시도 중에서 효과가 있는 방식이 바로 이 방식이었습니다. 어떤 측면에서 신경망의 구성이 대략 옳다면, 신경망의 구조를 공학적인 수준에서 이해할 필요 없이 충분한 훈련을 통해 세부 사항에 집중하는 것이 신경망에 관한 전설입니다. (74p)
챗GPT에 적용된 엔지니어링은 상당히 강력합니다. 하지만 챗GPT는 (외부 도구를 사용하기 전까지는) 단지 통념의 통계에서 일관된 텍스트를 뽑아내는 것에 불과합니다. 다만 그 결과가 인간과 상당히 유사하다는 점이 매우 놀랍습니다. 그리고 앞서 설명했듯이 이런 결과는 과학적으로 매우 중요한 사실을 시사합니다. 인간의 언어와 그 이면에 있는 사고 패턴은 우리가 생각했던 것보다 구조가 더 단순하고 규칙적이라는 것입니다. 챗GPT는 이를 암묵적으로 발견했지만 의미론적 문법, 계산 언어 등을 통해 이를 명시적으로 드러낼 수 있습니다.
챗GPT가 텍스트를 생성하는 방식은 매우 인상적이며, 결과물은 인간이 생성 하는 것과 매우 유사합니다. 그렇다면 챗GPT가 뇌처럼 작동한다는 뜻일까요? 챗GPT의 기본 인공 신경망 구조는 우리의 뇌를 이상적으로 모델링한 것입니다. 따라서 인간이 언어를 생성할 때 일어나는 일과 상당히 유사할 가능성이 높습니다.
훈련(일명 학습)할 때 현재 컴퓨터의 하드웨어가 (그리고 아직 개발되지 않은 알고리즘 아이디어가) 뇌와 다르기 때문에 챗GPT는 뇌와는 다소 다른, 어떤 면에서는 훨씬 덜 효율적인 전략을 사용합니다. 또한 일반적인 알고리즘 계산 과달리 챗GPT는 내부적인 루프가 없고, 데이터를 재계산하지 않습니다. 이는 필연적으로 계산 능력을 제한할 수밖에 없는데, 현재의 컴퓨터와 비교했을 때도 그렇지만 뇌와 비교했을 때도 마찬가지입니다. (106p)
수십 년 동안 AI에 대한 생각은 이분법적이었습니다. 챗GPT가 사용하는 통계적 접근법과 울프럼 알파의 출발점이 된 기호적 접근법으로 둘로 나뉘었었죠. 하지만 이제는 챗GPT의 성공과 울프림 알파의 자연어 이해 능력 덕분에 마침내 이 두 가지를 결합할 수 있게 되었습니다. 둘 중 하나만으로는 달성할 수 없었던 훨씬 더 강력한 시스템이 탄생한 것입니다. (111p)