← 독서 기록

READING NOTES · 2024

박태웅의 AI 강의 2025

책을 읽으며 남긴 문장과 생각입니다.

'TV는 우리가 쓰기 나름이다'. '인터넷은 우리가 쓰기 나름이다'. '스마트폰은 우리가 쓰기 나름이다’...... 이런 말들은 사태의 본질을 놓치고 있습니다. 우리가 쓰기 나름인 게 아니라 각각의 미디어들은 그 본질에 따라 아주 구체적인 변화의 방향을 지시한다는 것이지요. (22p)

인공지능에는 규모의 법칙이란 게 있습니다. 컴퓨팅 파워를 더 많이 넣을수록, 학습 데이터를 더 많이 넣을수록, 매개변수를 크게 잡을수록 인공지능의 성능이 더 좋아지더라는 것인데요, 지금까지는 최적의 비례라는 게 있어서 셋이 함께 커질 때 효율이 높다고 돼 있었습니다. 실제로도 그렇고요. 그런데 메타는 매개변수는 작게 둔 채로 학습 데이터를 무려 50배나 더 많이 넣어버린 것입니다. 그러니까 최적의 비례가 아닌 것이지요. (49p)

라마3가 학습 데이터의 양을 가지고 승부를 했다면, 파이-3는 학습 데이터의 질로 접근해서 각기 놀라운 성취를 이뤘습니다. 인공지능도 좋은 책을 많이 읽으면 똑똑해진다는 것을 증명한 사례라고 할까요. (49p)

세계에 관한 모델은, '외부 세계가 실제로 어떻게 생겼다'는 것에 관한 지각을 말합니다. 세계가 어떻게 생겼다는 것을 구체적으로 알고 있어야 실제 환경과 상호작용을 하고 의사결정을 내릴 수 있는데, 그러자면 환경과 실제로 상호작용을 하며 세계를 인지할 '몸'을 갖고 있어야 한다는 것입니다.

지금의 거대언어모델들은 수십조 개의 토큰을 학습한 결과물입니 다. 그러니까 남이 본 것, 남이 들은 것, 남이 쓴 것을 읽고 보고 듣고 학습을 한 것입니다. 이렇게 해서는 제대로 된 세계에 관한 모델을 가질 수가 없다는 게 이들의 주장입니다. (64p)

확률적으로 찾을 필요가 없는 명백한 사실을 확인하는 작업에는 이런 생성형 인공지능이 어울리지 않습니다. 단 하나의 사실이 필요한 곳에서 잠재된 패턴을 찾을 이유가 없기 때문입니다. (96p)

LLM은 100퍼센트 꿈을 꾸고 있으며 환각 문제가 있습니다. 검색엔진은 꿈이 0퍼센트이고 창의성 문제가 있습니다. - 안드레이 카파시 (102p)

이렇게 온갖 토큰들 간의 관계값을 담은 데이터베이스를 임베딩 매트릭스(Embedding Matrix)라고 부릅니다. (119p)

학습 연산량이 대체로 10의 22제곱을 지나는 순간 거대 언어모델의 능력이 느닷없이 치솟는 것을 볼 수 있습니다(혹은 매개 변수가 1,000억 개를 넘을 때 이런 현상이 발생한다고도 합니다). 이것을 '느닷없이 나타나는 능력'이라고 부릅니다.

거대언어모델을 파운데이션 모델이라고 부르는 것은 이 때문입니 다. 거대언어모델은 별도의 추가 학습(Fine-tuning)을 하지 않아도, 특정 분야에 대해 질문하면 대답을 잘합니다. 아무런 예제 없이 묻는 질문에 답하는 것을 제로 샷 러닝(Zero shot Learning), 몇 가지 예제와 함께 질문할 때 답하는 것을 퓨 샷 러닝(Few shot Learning)이라고 하고, 이 둘을 합해 질문 속에서 배운다는 뜻으로 인 콘텍스트 러닝(in Context Learning: ICL)이라고 부릅니다. (143p)

또 하나의 느닷없이 나타나는 능력 중 하나가 '생각의 연결고리 (Chain of Thoughts: COT)'입니다.' 단계적으로 추론하는 것을 말합니다. 어떤 질문이 주어졌을 때 그 질문에 답을 하기 위한 중간 추론 단계들을 생각의 연결고리라고 부릅니다. (147p)

1994년 52명의 심리학자 그룹이 지능의 과학에 관한 사설에 실린 광범위한 정의에 서명했습니다. 이 합의 그룹은 지능을, 추론하고 / 계획하고 / 문제를 해결하고 / 추상적으로 사고하고 / 복잡한 아이디어를 이해하고/ 빠르게 학습하고 / 경험으로부터 배우는 능력을 포함하는 매우 일반적인 정신 능력으로 정의했습니다. (161p)

이들은 언어의 형식적 역량과 기능적 역량을 구분합니다. 주어진 언어의 규칙과 패턴에 대한 지식을 포함하는 것이 '형식적 언어 능력'이라면, 실제 세계에서 언어를 이해하고 사용하는 데 필요한 여러 가지 인지 능력을 '기능적 언어 능력'이라고 부릅니다. 이들은 인간의 형식적 역량은 특수한 언어 처리 메커니즘에 의존하는 반면, 기능적 역량은 형식적 추론, 세계 지식, 상황 모델링, 사회적 인지 등 인간의 사고를 구성하는 여러 언어 외적 역량을 활용한다는 사실을, 인지 신경과학의 증거를 바탕으로 보여줍니다. 요컨대 거대언어모델은 언어에 대한 좋은 모델이지만, 인간 사고에 대해서는 불완전한 모델이라는 것입니다. (169p)

생물학에서 거의 항상 도움이 되는 하위 목표가 있는데, 바로 더 많은 에너지를 얻는 것입니다. 따라서 가장 먼저 일어날 수 있는 일은 로봇이 '더 많은 전력을 얻자'고 말하는 것입니다. '모든 전기를 내 칩으로 보내자'라고 말할 것입니다. 또 다른 훌륭한 하위 목표는 자신의 복사본을 더 많이 만드는 것입니다. 좋은 생각인가요? 아닐 수도 있습니다. (173p)

모델 압축(불필요한 매개변수를 제거하거나 매개변수 공유), 프 루닝(Pruning, 중요도가 낮은 연결을 제거), 구조적 압축(네트워크 구조를 직접 수정), 희소학습(Sparse Learning, 학습 과정에서 많은 매개변수를 0으로 만들어 모델을 희소화, 즉 중요하지 않은 연결을 0으로 만들어 듬성듬성하게 만드는 것입니다. 프루닝은 학습 후에 중요하지 않은 연결을 제거하는 것이고, 희소학습은 학습 과정 중에 제거하는 것을 뜻합니다. 글쓰기에서 핵심 단어만 요약하는 것과 비슷합니다) 등의 기법을 써서 매개변수의 크기를 줄일 수 있습니다. (198p)

앤드루 응 교수는 에이전트를 몇 가지로 분류합니다.

• Reflective agents(반성·성찰하는 에이전트): 과업을 검토하고 개선 방법을 모색합니다.

• Tool-using agents(도구를 쓰는 에이전트): 웹 검색, 코드 실행 또는 정보 수집, 행동 수행, 데이터 처리에 도움이 되는 도구를 쓸 수 있습니다.

• Planning agents(계획을 짜는 에이전트): 목표 달성을 위한 다단계 계획을 세우고 실행합니다(에세이 개요 작성 → 온라인 조사 수행 → 에세이 초안 작성 등).

• Collaborative agents(협업하는 에이전트): 둘 이상의 AI 에이전트가 협력하여 작업을 분할하고 아이디어를 논의해 단일 에이전트보다 더 나은 솔루션을 도출합니다. (201p)

지식의 선(Knowledge Line: K-Line)이라는 개념도 아주 흥미롭습니다. 어떤 아이디어를 얻거나, 문제를 해결하거나 기억할 만한 경험을 할때 지식의 선이 형성됩니다. 이 지식의 선은 그때 활성화되었던 에이전트들과 연결돼 있습니다. 나중에 비슷한 상황을 맞이할 때 이 지식 라인을 불러올리면 그때 활성화됐던 에이전트들이 함께 소환되어 비슷한 마음의 상태를 갖게 해줍니다. 즉, 특정 경험이나 문제해결 방식과 관련한 에이전트들을 하나로 묶는 역할을 하는 게 지식의 선입니다. 지식의 선은 계층적으로 연결되며, 새로운 경험을 통해 계속 수정되고 확장될 수 있습니다.

민스키는 의식이 이러한 여러 에이전트들의 상호작용의 결과로 나타난다고 주장하며, 자아는 이러한 상호작용에서 나온 일종의 허구적인 개념이라고 봅니다. 그의 이론을 가장 잘 표현한 것은 그의 책에 나오는 다음 문장입니다.

어떤 마술 같은 비결이 인간을 지능적으로 만드는가? 그 비결은 비결이 없다는 것이다. 지능의 힘은 어떤 단 하나의 완전한 원리가 아니라 우리의 광대한 다양성을 바탕으로 한 것이다. (210p)

다중에이전트 시스템의 주요 특징은 다음과 같습니다.

  1. 자율성: 각 에이전트는 독립적으로 작동하며, 자체적인 목표와 행동 계획을 가지고 있습니다.

  2. 분산성: 시스템의 제어가 중앙 집중화되지 않고, 각 에이전트가 분산된 형태로 존재합니다.

  3. 협력 및 경쟁: 에이전트들은 공동의 목표를 위해 협력하거나, 자원의 제한으로 인해 경쟁할 수 있습니다.

  4. 통신: 에이전트들은 정보를 교환하고 협력하기 위해 통신 프로 토콜을 사용합니다. (212p)

많은 중소 AI 전문기업들과 스타트업들이 고민에 휩싸여 있습니다. 자신들이 그간 해왔던 연구개발이 설 자리를 잃고 있기 때문입니다. 거대언어모델은 앞에서 설명한 것처럼 '파운데이션 모델'입니다. 별도의 파인튜닝을 하지 않아도 많은 분야에서 아주 뛰어난 답을 내놓습니다. 게다가 이들이 내놓는 API를 쓰면 언제든 답을 받아올 수 있습니다. 그러니 다소 미흡하고 모자라더라도 그간 개발해온 결과를 계속 밀고 나갈 것이냐, 아니면 거대 AI의 API를 받아와서 여기에 우리 전문 분야를 결합해서 쓸 것이냐를 선택해야 할 기로에 서게 된 것입니다. (215p)

실리콘밸리의 실력자들을 대략적으로 분류하면 다음과 같습니다. 페이팔 마피아의 대표이자 인공지능을 군사적으로 활용하는 대표 기업 팔란티어의 창업자 피터 틸은 장기주의와 가속주의 성향을 모두 보입니다. 일론 머스크 역시 장기주의와 가속주의가 혼합되어 있습니다. 오픈AI의 수석개발자였던 일리야 수츠케버는 주로 장기주의적 성향, 구글 딥마인드의 데미스 하사비스는 장기주의와 효과적 이타주의 성향을 보입니다. 마크 앤드리슨은 앞서 쓴 것처럼 대표적인 가속주의자입니다. 물론 사람을 이렇게 단선적으로 평가할 순 없습니다. 이들이 현재까지 보여주고 있는 태도가 그렇다는 뜻 입니다. 이들이 모두 오드나 머스크처럼 극단적이지 않을 수도 있습니다.

이것이 의미하는 바는 무엇일까요? 앞의 글에서 본 것처럼 장기주의는 460억 달러나 되는 자금을 갖고 있으며, 주로 미국을 비롯해 세계의 정재계 곳곳에 뿌리를 내리고 있습니다. 말 그대로 '엘리트 대학과 실리콘밸리 외에는 거의 들어본 적이 없음에도 가장 영향력 있는 이데올로기 중 하나'로 작동하고 있다는 것입니다. 문제는 이들이 전 세계의 주요 거대 인공지능 개발을 도맡아 하고 있다는 것입니다. 말하자면 우리는 모르는 사이에 이들의 사상을 강요당하고 있다고 할 수도 있습니다. '선출되지 않은 슈퍼 엘리트들'이 단지 인공지능 개발만 독점하고 있는 게 아니라, 사상까지 독점해가고 있는지도 모른다는 것이지요. (362p)

미국은 공공데이터의 조건을 명확히 정의 하고 있습니다. 'FAIR' 해야만 공공데이터라는 것입니다.

F: findable, 검색 가능해야 하고

A: accessible, 접근할 수 있어야 하며

I: interoperable, 호환성이 있어야 하고, 즉 표준을 지켜야 하고

R: reusable, 재사용할 수 있어야 '공공데이터'라고 부를 수 있다는 것입니다. (372p)

2024년 독서 기록 모두 보기 →