서론: 연필과 손으로 시작하는 AI 이야기
“AI를 이해하기 위해 수학자가 될 필요는 없다. 하지만 연필을 한 번이라도 손에 쥐어본 사람과 그렇지 않은 사람은 다르다.”
체스 두는 인형 — 기계 속에는 무엇이 들어 있나
1770년, 빈의 궁정에 ‘튀르크인(The Turk)‘이라는 자동기계가 등장했다. 터번을 두르고 수연통을 문 인형이 체스판 앞에 앉아, 사람과 겨루면 거의 언제나 이겼다. 거울 장치 덕분에 책상 속은 텅 비어 보였다. 그러나 그 안에는 체스의 명수인 한 사람이 웅크리고 앉아 인형의 손을 끈으로 움직이고 있었다.
발터 벤야민은 「역사의 개념에 대하여」(1940)에서 이 인형을 빌려 이렇게 적었다 — “그 인형은 … 어차피 모습을 드러내어서는 안 되는 것을 자기편으로 고용한다면 어떤 상대와도 겨뤄볼 수 있다.” 기계의 승리 뒤에는 늘 보이지 않는 무언가가 있다는 것이다.
그로부터 두 세기가 흘렀다. 튀르크인(1770) → 딥 블루(1996) → 알파고(2016) → 휴머노이드 피겨 02(2024). 인형 속의 난쟁이는 점점 사라진 것처럼 보인다. 하지만 정말 사라졌을까? 이 책 8장에서 만날 ‘영리한 한스’라는 말(馬)도, 10장에서 이야기할 데이터를 라벨링하는 보이지 않는 노동자들도 같은 질문을 던진다: 우리가 ‘지능’이라 부르는 것 안에는 정확히 무엇이 들어 있는가? 광물과 전력, 수학과 데이터, 그리고 사람.
이 책은 그 상자를 열어 안을 직접 들여다보려는 시도다.
이 책을 쓰게 된 이유
“ChatGPT가 뭔가요?”라는 질문은 이제 낯설지 않다. 그런데 그 다음 질문 — “어떻게 작동하나요?” — 앞에서 많은 설명이 막힌다. 너무 단순하면 거짓말이 되고, 너무 정확하면 수식의 벽이 생긴다.
이 책은 그 간극을 메우려는 시도다. AI/ML with Pencil 세미나에서 함께 계산하고, 만들고, 토론한 내용을 책으로 엮었다. 목표는 하나였다: 비전공자가 연필과 종이로 직접 숫자를 굴려보고, 코드를 한 줄씩 실행해보면서 “아, 이래서 작동하는구나”를 몸으로 느끼는 것.
그래서 이 책에는 추상적인 비유만큼이나 손으로 따라 할 수 있는 계산이 많다. 코사인 유사도를 직접 구해보고(1장), XOR을 푸는 신경망의 가중치를 한 사이클 업데이트해보고(4장), 격자 미로에서 Q값이 수렴하는 과정을 손으로 따라가고(6장), GPT-3를 학습시키는 데 며칠이 걸리는지(8장)를 연필로 어림해본다. 숫자가 흘러가는 길을 한 번이라도 직접 밟아본 사람은, 뉴스 속 AI를 다르게 읽게 된다.
이 책이 가정하는 독자
- 미적분과 선형대수를 배웠지만 기억이 흐릿한 사람
- AI에 대한 뉴스는 매일 보지만 원리가 궁금한 사람
- 코드를 짜본 적 있지만 머신러닝은 처음인 사람
- 혹은, 위 중 아무것도 해당하지 않지만 그냥 궁금한 사람
수식이 나오면 건너뛰어도 된다. 중요한 것은 숫자가 어떻게 흘러가는지에 대한 직관이다.
책의 구조: 10개의 질문
각 장은 하나의 질문에서 출발한다.
| 장 | 핵심 질문 | 키워드 |
|---|---|---|
| 1 | 넷플릭스는 어떻게 내 취향을 아는가? | 코사인·자카드 유사도, SVD, 연관분석, 에코 체임버 |
| 2 | 기계는 무엇으로, 어디까지 계산하는가? | 튜링 머신, 불 논리, 폰 노이만, 반도체·HBM·양자컴퓨터, 사이버네틱스 |
| 3 | AI는 어떻게 배워왔는가? | 기호주의 vs 연결주의, 전문가 시스템, 앙상블, AI 겨울 |
| 4 | 신경망은 어떻게 가중치를 바꾸는가? | 퍼셉트론, XOR, 역전파, 연쇄 법칙, 경사 하강 |
| 5 | 기계는 어떻게 보고 말하는가? | CNN, RNN·LSTM, seq2seq, 디퓨전 |
| 6 | AI는 어떻게 스스로 배우는가? | 강화학습, Q러닝, 탐색-활용 딜레마, 인공생명 |
| 7 | GPT는 어떻게 작동하는가? | 어텐션, 트랜스포머, RLHF, KV 캐시, LoRA·MoE |
| 8 | AI를 떠받치는 토대는 무엇인가? | AI 스택, 데이터 센터, GPU·HBM, 전력, 「AI 지도책」 |
| 9 | AI로 세계를 어떻게 구현하는가? | 바이브 코딩, 에이전트, MCP, 월드모델, 피지컬 AI |
| 10 | 우리는 AI를 어떻게 다뤄야 하는가? | 책임 있는 AI, EU AI Act, 디지털 생태학, 차단기 |
이 책을 읽는 법 — 변증법의 나선과 추상화 사다리
이 책에는 하나의 뼈대가 관통한다. M 선생님이 그랬듯, 각 장은 변증법적 plot으로 짜여 있다.
어떤 문제가 있었다(문제) → 당대의 가장 새로운 방법론으로 풀었다(해결) → 그런데 그 해결이 또 다른 모순을 낳았다(새 문제).
그리고 그 새 모순이 바로 다음 장이 풀어야 할 문제가 된다. 1장에서 “세상을 숫자로 환원한다”는 해법은 “그 계산을 무엇이 수행하는가”라는 물음을 낳아 2장(컴퓨터)으로 넘어가고, 2장의 “규칙을 손으로 짜는” 방식의 한계는 3장(스스로 배우는 AI)으로, … 이렇게 모순이 손을 잡고 10장까지 흘러간다. 책은 작은 숫자에서 시작해 큰 질문으로 끝나는 나선이다.
또 하나, 컴퓨터 과학의 **추상화(abstraction)**처럼 — 앞 장에서 푼 방법은 추상화되어 다음 장의 전제이자 토대가 된다. 4장의 역전파는 5장의 딥러닝이 딛고 서는 바닥이고, 7장의 거대 모델은 8장의 인프라가 떠받쳐야 할 무게다. 위에서 아래로 읽으면 추상화 사다리, 줄거리로 읽으면 모순의 나선이다.
1–3장 (토대를 놓다) — 세상을 숫자로 환원해 비교하고(1장), 그 숫자를 굴리는 기계를 만들고(2장), 그 기계 위에 지능을 올리는 두 갈래 길을 본다(3장). 남은 모순: 규칙을 일일이 손으로 짤 수는 없다.
4–5장 (스스로 배우게 하다) — 그래서 신경망이 미분으로 스스로 가중치를 고치게 하고(4장, 역전파), 그 학습 엔진을 이미지·언어의 구조에 맞춘다(5장). 남은 모순: 순차 처리의 병목, 그리고 정답 레이블에 대한 의존.
6–7장 (학습을 확장하다) — 정답 없이 보상으로 배우는 강화학습(6장)을 지나, 순차 병목을 깨뜨린 어텐션이 모든 것을 하나의 거대 모델로 삼키는 데 도달한다(7장). 남은 모순: 환각, 그리고 이 괴물을 실제로 돌릴 막대한 비용.
8–9장 (토대와 세계로 돌아오다) — 그 비용의 정체인 GPU·HBM·데이터센터·전력을 파헤치고(8장), 그 토대 위에서 직접 만들며 언어 너머 물리 세계로 확장한다(9장). 남은 모순: 행동하는 AI일수록 통제와 책임이 절실하다.
10장 (성찰로 닫다) — 1–9장이 쌓아 올린 모든 모순이 한데 모인다. AI를 “사회적 관계의 앙상블”로 보는 관점에서, 특이점이냐 세 번째 겨울이냐는 열린 질문으로 — 다시 1장의 “숫자로 환원한다”를 되돌아보며 — 나선을 닫는다.
어디서 시작하든 좋다
모든 장은 독립적으로 읽을 수 있다. 역전파(4장)가 어렵다면 바이브 코딩(9장)부터 시작해도 된다.
그러나 순서대로 읽으면 실이 연결된다. 1장의 코사인 유사도가 7장의 어텐션에서 다시 나오고, 2장의 피드백 루프가 6장의 강화학습에서 확장되며, 2장의 정보 엔트로피가 4장의 손실 함수와 8장의 “정보는 물질이다”로 이어진다. 2장의 반도체·HBM 이야기는 8장의 데이터 센터 경제학에서 청구서가 되어 돌아온다. 각 장은 앞 장을 명시적으로 참조하며 이 연결을 짚는다.
제목에 대하여: Can Things I.M.A.G.I.N.E?
제목의 이니셜은 이 책이 다루는 영역의 약자다.
Intelligence · Machinery · Agents · Generative · Information · Neural · cybErnetics
그리고 부제 — AI as an Ensemble of Social Relations — 는 이 책의 마지막 주장이다. AI는 허공의 순수한 논리가 아니라, 만드는 사람·학습에 쓰인 데이터·채굴된 광물·배포되는 맥락·영향받는 사람들의 관계망 속에서 비로소 의미를 갖는다.
이 ‘관계’를 그리는 마지막 이미지가 하나 있다. 따로 놓인 메트로놈들은 제멋대로 흔들린다. 서로 신호를 주고받지 않으니 서로의 존재를 ‘모르기’ 때문이다. 그런데 이들을 같은 판자 위에 올려놓으면, 판자가 미세하게 흔들리며 정보를 실어 나르고, 얼마 지나지 않아 모든 추가 같은 박자로 동기화된다(하위헌스, 17세기). AI도 그렇다. 칩과 데이터와 사람과 자본이 하나의 판자 위에서 서로를 끌어당기며 박자를 맞춰가는 시스템이다.
“사물은 상상할 수 있는가?”라는 질문에 이 책은 답을 내리지 않는다. 대신 그 질문 자체를, 그리고 상자 안에 무엇이 들어 있는지를 계속 들여다볼 수 있게 돕고 싶다.
이제 연필을 들고 시작하자.