AI/ML Wiki

Chap 6. 진동과 안정 사이의 딜레마 — 강화학습과 인공생명

75 min read

Chap 6. 진동과 안정 사이의 딜레마 — 강화학습과 인공생명

상태, 행동, 보상값을 설정하여 강화학습의 Q-Learning 방정식을 풀어보고, 인공생명 알고리즘을 이해합니다.

정답이 없는 세계에서 배우기

앞 장에서 우리는 신경망이 데이터로부터 패턴을 배우는 법을 보았다. 그런데 그 학습에는 한 가지 조건이 숨어 있었다. 고양이 사진에는 “고양이”라는 정답 레이블이, 번역 문장에는 “올바른 번역”이라는 정답이 미리 붙어 있어야 했다. 사람이 일일이 정답을 달아 준 데이터—이것이 지도학습이 서 있는 땅이었다. 그렇다면 정답이 아예 존재하지 않는 세계에서는 어떻게 배우는가?

세상의 많은 문제에는 정답표가 없다. 자전거를 타는 법, 바둑에서 이기는 수, 로봇이 방을 가로지르는 동작에는 “이 순간 정확한 정답은 이것”이라고 적어 줄 사람이 없다. 다만 결과가 있을 뿐이다—넘어졌는가 아닌가, 이겼는가 졌는가, 목표에 닿았는가 아닌가. 정답 레이블 대신 우리에게 주어지는 것은 띄엄띄엄한 보상(reward) 신호뿐이다. 점심 메뉴를 고르는 일을 생각해 보자. 어떤 메뉴가 “정답”인지 알려 주는 사람은 없다. 먹어 보고 만족했는가 아닌가라는 보상만이 있을 뿐이고, 우리는 그 보상을 단서로 다음 선택을 다듬어 간다.

이 장의 문제는 바로 여기서 출발한다. 정답이 없고 보상만 있는 환경—게임, 로봇, 실세계—에서 기계는 어떻게 스스로 배우는가? 그 답으로 이 장은 두 갈래의 사상을 함께 살핀다. 하나는 시행착오로 보상을 좇아 행동을 빚어내는 강화학습이고, 다른 하나는 단순한 규칙과 물질적 상호작용에서 지능과 생명이 아래로부터 솟아오르게 하는 인공생명이다. 둘 다 “정답을 베끼는” 학습이 아니라 “세계와 부딪치며 스스로 만들어 가는” 학습이라는 점에서 한 뿌리다. 먼저 그 오래된 꿈—기계로 살아있는 것을 빚으려는 시도—에서 시작하자.

생명을 만들려는 오래된 꿈

인간은 아주 오래전부터 스스로 움직이는 것, 살아있는 것을 만들고 싶어 했다. 그리스 신화 속 대장장이 신 헤파이스토스는 황금으로 만든 하녀들을 거느렸고, 피그말리온은 자신이 조각한 여인상에 생명이 깃들기를 바랐다. 중세 유럽의 장인들은 태엽과 톱니바퀴로 움직이는 자동인형을 만들어 귀족들을 경탄하게 했다. 18세기 프랑스의 자크 드 보캉송은 실제로 먹고 소화하고 배설하는 듯 보이는 오리 자동기계를 제작했다. 이 오리는 당시 사람들에게 충격을 주었다—생명이란 과연 무엇인가, 기계로 생명을 재현할 수 있는가, 라는 질문을 던졌기 때문이다.

17세기에 이미 파스칼은 청동 톱니바퀴를 이용해 덧셈과 뺄셈을 수행하는 산술기계 파스칼린(Pascaline, 1645)을 만들었고, 라이프니츠는 곱셈과 나눗셈까지 가능한 단계식 계산기(Stepped Reckoner, 1673)를 제작했다. 이런 계산기들은 단순한 발명품이 아니라, “생각하는 기계”를 향한 인류의 오랜 꿈이 물질로 구현된 첫 발걸음이었다.

이 꿈의 계보는 신화로 거슬러 올라간다. 프로메테우스는 찰흙으로 최초의 인간을 빚고 하늘에서 훔친 불로 생명을 불어넣었고, 대장장이 신 헤파이스토스는 찰흙으로 판도라를 만들었으며, 다이달로스는 인간을 닮은 여러 자동장치(automaton)를 제작했다. 신화는 곧 기술이 되었다. 기원전 135년 고대 이집트의 크테시비우스는 물을 동력으로 한 시계 클렙시드라(Clepsydra)를 만들었고, 1세기 알렉산드리아의 헤론(Heron)은 공기의 작용으로 움직이는 자동장치들을 묘사한 『기학(Pneumatics)』을 남겼다—노래하는 새와 움직이는 인형들이 어찌나 다양했던지 후세는 이를 ‘고대의 디즈니랜드(Ancient Disneyland)‘라 불렀다. 중세에는 13세기 스페인의 신학자 라몬 룰(Roman Lull)이 회전 원판으로 종교적 질문에 답하는 최초의 추론기계 아르스 마그나(Ars Magna)를 만들었고, 베른의 화려한 시계 지트글로게(Zytglogge, 1530)는 매시간 자동 인형들을 토해냈다.

근대에 와서 라 메트리는 『인간기계(L’Homme Machine, 1747)』에서 인간이란 정교한 기계에 지나지 않는다고 논했고, 데카르트가 말한 ‘동물기계(bête machine)’ 사상을 인간에게까지 확장했다. 자크 드 보캉송의 오리(1778)는 날개 하나에만 400개 이상의 분절 부품이 들어간 정교함으로 “오늘날 인공생명 연구의 실질적인 시작”으로 인정받는다.

1936년, 스물네 살의 앨런 튜링은 모든 계산 가능한 문제를 처리할 수 있는 추상적 기계를 논문으로 정의했다. 튜링 기계가 보여준 것은 “기계적 절차의 본질은 기계를 구성하는 물리적 요소가 아니라 기계를 제어하는 추상적 구조”라는 통찰이었다—기계의 논리적 형태가 그 구성요소로부터 분리된 것이다. 이로써 자동자를 연구하는 학자들의 관심은 “생명의 기계학(mechanics)에서 생명의 논리학(logic)으로” 옮겨갔다.

1945년, 폰 노이만은 이 개념을 실제 컴퓨터 설계(프로그램 내장식, stored-program)로 구현했다. 그리고 폰 노이만은 한 가지 더 나아갔다: 스스로 복제하는 기계에 대한 이론, 즉 자기증식 자동자(Self-Reproducing Automaton)를 발표했다(1948). 그는 컴퓨팅 시스템의 불안정성 문제를 풀기 위해 자연에서 영감을 찾았다—자연계의 가장 신뢰할 만한 메커니즘이 바로 자기복제(self-reproduction)였기 때문이다. 그가 구상한 최초의 모형은 보편 구성자(Universal Constructor) 와 자기증식 기계의 2단계로 설명되는 운동학적 모델(kinematic model)이었다. 폰 노이만은 자기복제를 위한 다섯 가지 모델을 상상했는데, 흥미롭게도 이들 각각이 훗날의 주요 분야로 이어진다: 운동학적 모델, 세포 모델(→ 라이프 게임·랭턴의 루프·인공생명), 흥분-역치-피로 모델(→ 신경망), 연속 모델(→ 아날로그 신경망), 확률 모델(→ 유전자 알고리즘의 돌연변이와 진화). 기계가 자신과 동일한 기계를 만들어낼 수 있다는 이 개념은, 1951년 그가 발표한 세포 자동자(Cellular Automaton)로 결실을 맺어 1980년대 인공생명 연구의 핵심 방법론이 되었다.

거의 같은 시기, 노버트 위너는 『사이버네틱스(Cybernetics, 1948)』에서 동물과 기계, 생물과 무생물에 공통으로 적용되는 제어와 통신의 원리를 항상성(homeostasis)과 피드백(feedback)의 개념으로 정립했다. 폰 노이만이 비연속적 과정의 제어와 종합을 다루었다면 위너는 연속적 형식과 행동의 분석을 다루었으니, 두 이론은 상보적이었다. 이후 생명을 생화학 현상이 아니라 환경과 정보를 주고받는 정보처리 시스템(information processing system) 으로 보는 시스템 이론이 인공생명의 토대가 되었다.

라이프 게임: 단순한 규칙에서 피어나는 복잡성

1970년, 수학자 존 호턴 콘웨이는 단 세 가지 규칙만으로 작동하는 세포 자동자를 발표했다. 이른바 ‘라이프 게임(Game of Life)‘이다. 2차원 격자 위에 놓인 각 셀(cell)은 살아있거나 죽어있다. 매 세대마다 세 가지 규칙이 적용된다: (1) 살아있는 셀 주변에 이웃이 2개 또는 3개이면 살아남는다, (2) 죽어있는 셀 주변에 이웃이 정확히 3개이면 살아난다, (3) 그 외에는 죽는다.

이 단순한 규칙에서 놀라운 일이 벌어진다. 어떤 패턴은 안정적으로 유지되고, 어떤 패턴은 주기적으로 반복되며, 어떤 패턴은 끝없이 이동한다(“글라이더”). 더 놀라운 것은, 특정 초기 설정에서 이 시스템이 마치 살아있는 생태계처럼 진화한다는 점이다. 프로그래밍으로 명시적으로 지정한 것은 아무것도 없다. 모든 복잡성은 세 줄짜리 규칙에서 아래로부터 올라온다(Bottom-up).

라이프 게임을 더 엄밀하게 적으면, 각 셀의 다음 상태는 자신의 현재 상태와 가장 가까운 여덟 이웃(상·하·좌·우·네 대각선)의 상태로 결정된다. 살아있는 이웃의 수를 세어보면: 2개 미만(0, 1)이면 죽음(고립사, death by starvation), 3개 초과(4–8)이면 죽음(과밀사, death by overcrowding), 정확히 3개면 탄생(birth), 정확히 2개면 현재 상태 유지(survival)다. 단 네 줄의 조건문이 글라이더와 진동자와 정물(still life)을 모두 빚어낸다.

스티븐 울프럼이 발견한 Rule 30(1983) 역시 같은 원리다. 일차원 셀룰러 오토마타에서 각 셀의 다음 상태는 자신과 양옆 두 이웃, 단 세 칸만으로 결정된다. 규칙을 수식으로 쓰면 왼쪽 셀 XOR (가운데 셀 OR 오른쪽 셀)이며, 이 규칙표를 이진수로 적으면 00011110₂ = 30이어서 ‘Rule 30’이라 불린다. 단 하나의 규칙에서 카오스에 가까운 복잡한 패턴이 생성되고, 이 패턴은 조개껍질의 무늬와 구분하기 어려울 정도로 유사하다—자연의 무늬가 단순한 규칙의 반복으로 만들어진다는 증거다.

크리스토퍼 랭턴(Christopher Langton)은 여기서 한 걸음 더 나아가 폰 노이만의 자기복제 꿈을 손에 잡히는 형태로 구현했다. 랭턴의 루프(Langton’s Loop, 1984) 는 정사각형 외피(sheath) 안을 반시계 방향으로 끝없이 도는 데이터(명령어 시퀀스)를 가진 세포 자동자다. 명령은 단 두 가지—“한 칸 전진”과 “왼쪽으로 90도 회전”—뿐인데, 이것만으로 루프는 팔(arm)을 뻗어 자신과 똑같은 자식 루프를 만들어낸다. 복제가 끝나면 부모는 다른 방향으로 또 복제를 시작하고, 자식도 곧바로 번식을 시작해 공간 전체로 나선형으로 퍼져나간다. 이 루프는 8가지 상태, 86개의 셀, 수백 개의 전이 규칙만으로 작동한다.

같은 랭턴이 만든 랭턴의 개미(Langton’s Ant, 1986) 는 더욱 단순하다. 흰 칸에 서면 시계 방향으로 90도 돌고 칸 색을 뒤집은 뒤 한 칸 전진, 검은 칸에 서면 반시계 방향으로 돌고 색을 뒤집고 전진—이 두 줄짜리 규칙뿐이다. 그런데 그 결과는 세 단계로 진화한다: 처음 수백 걸음은 대칭적이고 단순한 패턴(simplicity), 이후 약 1만 걸음까지는 불규칙한 카오스(chaos), 그리고 마침내 104걸음을 무한히 반복하는 “고속도로(highway)” 패턴이라는 창발적 질서(emergent order)가 나타난다.

인공생명 연구자들은 이것을 “창발(Emergence)“이라고 부른다. 전체는 부분의 합보다 크다. 개별 규칙에는 없던 성질이 상호작용의 결과로 나타난다.

유전자 알고리즘과 컴퓨터 바이러스

인공생명의 또 다른 중요한 분야는 유전자 알고리즘(Genetic Algorithm)이다. 자연 진화를 모방한다: 해결책들의 집단(population)을 유지하고, 좋은 해결책끼리 교배(crossover)하고, 가끔 돌연변이(mutation)를 일으킨다. 세대가 거듭될수록 집단은 점점 더 좋은 해결책으로 진화한다. 최적화해야 할 문제가 너무 복잡해서 수학적으로 풀기 어려울 때, 유전자 알고리즘은 놀라운 성능을 보인다.

1992년 톰 레이(Tom Ray)는 Tierra라는 디지털 생태계를 만들었다. 컴퓨터 메모리 안에서 프로그램들이 스스로 복제하고 변이하며 진화하게 놓아두었더니, 실제로 기생충(parasites)과 면역 메커니즘이 창발했다. 자연 생태계에서 벌어지는 일이 가상 공간에서 재연된 것이다.

컴퓨터 바이러스도 같은 맥락에서 볼 수 있다. 스스로 복제하고, 숙주를 바꾸고, 진화하는 소프트웨어—이것은 생물학적 바이러스의 논리와 구조적으로 동일하다. 1992년 출간된 스티븐 레비의 『인공생명: 새로운 창조를 위한 탐구』는 이러한 흐름을 생생하게 기록하고 있다. 사이버네틱스에서 시작해 인공생명까지, 생명의 본질을 정보처리 시스템으로 보는 관점이 어떻게 형성되었는지를 역사적으로 추적한다.

강화학습: 시행착오로 배우는 기계

라이프 게임이나 유전자 알고리즘이 “생명의 진화”를 모방한다면, 강화학습(Reinforcement Learning)은 “생물의 학습”을 모방한다. 그리고 이것이 바로 이 장 첫머리에서 던진 물음—정답 레이블 없이 보상만으로 배우는 법—에 대한 정면 응답이다. 지도학습이 “입력에 정답을 짝지어 베끼게” 한다면, 강화학습은 정답을 주지 않는다. 대신 행동의 결과로 돌아오는 보상만을 단서로 삼아, 어떤 상황에서 어떻게 행동할지를 정하는 규칙—곧 정책(Policy)—을 스스로 빚어낸다. 아이가 자전거 타는 법을 배우는 것처럼—수없이 넘어지고 일어서면서, 어떤 행동이 균형을 유지하게 해주는지 몸으로 익히는 것처럼—강화학습은 에이전트(Agent)가 환경(Environment)과 상호작용하며 시행착오를 통해 최적의 행동 방식을 익힌다.

핵심 구조는 간단하다: 에이전트는 현재 상태(State)를 관찰하고 행동(Action)을 선택한다. 환경은 그 행동에 대해 보상(Reward)을 돌려주고 새로운 상태로 전이된다. 에이전트의 목표는 장기적인 누적 보상을 최대화하는 것이다. 이 순환이 수천, 수만 번 반복되면서 에이전트는 점점 더 나은 정책(Policy)을 학습한다.

이를 수학적으로 정형화한 것이 마코프 결정 과정(Markov Decision Process, MDP)이다. MDP의 핵심 가정은 “현재 상태가 미래를 결정하는 데 필요한 모든 정보를 담고 있다”는 것이다. 즉, 과거 전체를 기억할 필요 없이 지금 어디에 있는지만 알면 최선의 행동을 결정할 수 있다. 체스나 바둑처럼 말판의 현재 상태만 보면 다음 수를 결정할 수 있는 게임이 좋은 예다.

강화학습은 두 개의 이론적 기둥 위에 서 있다. 하나는 동적 프로그래밍(Dynamic Programming)이고, 다른 하나는 벨만의 최적화 원리(Bellman Optimality Principle)다. 벨만은 복잡한 문제를 작은 부분 문제로 쪼개어 푸는 방법을 정립했는데, 그 핵심 통찰은 이것이다: “최적의 경로는 그 위의 어떤 지점에서 시작해도 여전히 최적이다.” 다시 말해, 목표까지의 최적 경로를 알고 있다면, 그 경로의 중간 어느 지점에서부터 목표까지의 부분 경로 역시 그 지점에서 출발하는 최적 경로다. 이 재귀적 구조 덕분에, 우리는 목표 지점부터 거꾸로 거슬러 올라가며 각 상태의 가치를 계산할 수 있다. Q-Learning의 업데이트 공식이 “다음 상태의 최선의 가치”를 현재 상태의 가치에 반영하는 것도 바로 이 벨만 원리의 구현이다.

동적 프로그래밍과 마코프 결정 과정에 이론적 기반을 두고 있는 강화학습은 에이전트 스스로 환경과의 상호작용을 통해 최적의 정책을 학습하는 것을 보장한다. 그러나 이를 위해서는 강화학습의 행동 선택에 관한 문제인 진동과 안정 사이의 딜레마(exploration-exploitation dilemma)를 해결할 수 있는 탐색 전략(exploration strategy)이 전제되어야 한다.

흥미롭게도 마코프 모델은 강화학습 밖에서도 위력을 발휘한다. 구글을 세운 래리 페이지와 세르게이 브린의 페이지랭크(PageRank, 1998)가 대표적이다. 페이지랭크는 “권위 있는 페이지로부터 링크를 받은 페이지는 권위가 높다”는 재귀적 정의를 마코프 연쇄로 풀어, 웹 전체를 거대한 확률 전이 그래프로 보고 각 페이지의 점수를 계산한다. 공식은 PR(페이지) = (1−d)/N + d × Σ(들어오는 링크의 기여)이며, 여기서 d는 감쇠 계수(damping factor, 보통 0.85), N은 전체 페이지 수다. 핵심은, 어떤 페이지가 링크를 단 하나만 받더라도 그 링크가 매우 권위 있는 페이지에서 온 것이라면 순위가 크게 올라간다는 점이다—연결의 양이 아니라 질이 중요하다.

Q-Learning: 경험을 가치로 번역하기

강화학습의 여러 알고리즘 중 가장 유명한 것이 Q-Learning이다. Q-함수는 “특정 상태(s)에서 특정 행동(a)을 취했을 때 앞으로 기대할 수 있는 누적 보상”을 나타낸다. Q(s, a)가 클수록 그 상황에서 그 행동이 좋다는 뜻이다. 에이전트는 경험이 쌓일수록 이 Q-값 테이블을 점점 정확하게 업데이트해 나간다.

업데이트 공식의 핵심은 “예측과 실제의 오차를 조금씩 반영”하는 것이다. 내가 예상했던 보상과 실제로 받은 보상의 차이(TD 오류, Temporal Difference Error)를 이용해 Q-값을 수정한다. 이것은 뇌의 도파민 뉴런이 작동하는 방식과 매우 유사하다—예상보다 좋은 일이 생기면 도파민이 분비되고, 예상보다 나쁜 일이 생기면 도파민이 감소한다. 강화학습은 어떤 의미에서 뇌가 보상을 처리하는 방식의 수학적 모형이다.

2015년 DeepMind가 발표한 DQN(Deep Q-Network)은 이 Q-Learning에 심층 신경망을 결합해, Atari 게임 49개에서 인간 수준의 성능을 달성했다. 2016년 AlphaGo는 바둑에서 세계 챔피언 이세돌을 꺾었다. 강화학습이 단순한 이론에서 실용적인 힘으로 전환된 순간들이었다.

손으로 풀어보는 강화학습: 4×4 격자 미로

강화학습은 추상적으로만 들리지만, 작은 격자 미로(gridworld)에서 직접 손으로 풀어보면 그 작동 원리가 손에 잡힌다. 4×4 격자(상태 S0–S15)를 생각해 보자. 왼쪽 위 S0이 시작점(START), 오른쪽 아래 S15가 목표점(GOAL)이다. 각 칸에서 에이전트는 상(up, 0)·우(right, 1)·하(down, 2)·좌(left, 3) 네 방향 중 벽이 없는 쪽으로 이동할 수 있다. 정책 파라미터 θ(theta)는 “각 상태에서 어떤 방향으로 갈 수 있는가”를 1과 NaN(불가능)으로 표시한 행렬이며, 이를 가능한 행동들에 대한 비율로 정규화하면 행동 정책 π(pi)가 된다. 예를 들어 S0에서 우·하 두 방향만 열려 있으면 π는 각각 0.5씩의 확률이 된다.

0단계: 무작위 정책(Random). 아무런 학습 없이 가능한 방향 중 하나를 무작위로 고르게 하면 어떻게 될까? 실제로 돌려보면, 목표 지점에 이르기까지 114단계가 걸린다. 같은 자리를 오가며 헤매기 때문이다. 학습의 출발점은 이 비효율이다.

1단계: 정책 반복(Policy Iteration) — 정책 경사(Policy Gradient). 정책 반복은 “결과가 좋았던 경우에 취했던 행동을 중시”하는 방법이다. 즉, 목표에 빠르게 도달했던 에피소드에서 했던 행동의 확률을 높이도록 정책을 수정한다(에피소드 단위 업데이트). 정책 경사법은 다음 공식으로 θ를 갱신한다:

Δθ[i,j] = (N_ij − π[i,j] × N_i) / T
new_θ = θ + η × Δθ      (η = 0.1, 학습률)

여기서 N_i는 상태 i에서 행동을 취한 총 횟수, N_ij는 그중 행동 j를 취한 횟수, T는 목표까지 걸린 단계 수다. 어떤 행동을 정책의 기댓값(π[i,j]×N_i)보다 자주 했다면 Δθ가 양수가 되어 그 행동이 강화된다. 갱신된 θ는 소프트맥스(softmax)로 다시 π로 변환되며, 정책 변화량이 10⁻⁴보다 작아질 때까지 반복한다. 학습이 끝나면 S0에서 “아래로 갈 확률 0.989”처럼 한 방향으로 거의 확신하는 선명한 정책이 만들어진다. 누구도 “S0에서는 아래로 가라”는 정답을 알려 준 적이 없다. 오직 목표에 닿았다는 보상만으로, 흐릿하던 정책이 또렷한 행동 규칙으로 빚어진 것이다—이것이 정답 없이 보상으로 배운다는 말의 실제 모습이다.

2단계: 가치 반복(Value Iteration). 가치 반복은 정반대 접근이다. “목표 지점부터 거슬러 올라가며 목표와 가까운 상태로 에이전트를 유도”한다. 목표 이외의 상태에도 가치(우선순위)를 부여하고, 이동(행동) 단계마다 가치 함수를 업데이트한다. 이 계열에 Sarsa와 Q-Learning이 속한다.

Sarsa vs Q-Learning: 온폴리시와 오프폴리시

같은 가치 반복이라도 Sarsa와 Q-Learning은 미묘하지만 결정적인 차이가 있다. 둘 다 격자 미로에서 학습률 η=0.1, 시간할인율 γ=0.9, ε-greedy의 ε 초깃값 0.5로 학습한다. 차이는 Q값을 업데이트할 때 “다음 상태에서 무엇을 기준으로 삼는가”에 있다.

Sarsa(State–Action–Reward–State–Action) 는 실제로 다음에 취한 행동 a’의 Q값을 쓴다:

Q[s,a] ← Q[s,a] + η × (r + γ × Q[s',a'] − Q[s,a])

Q-Learning 은 다음 상태에서 취할 수 있는 행동 중 최댓값을 쓴다:

Q[s,a] ← Q[s,a] + η × (r + γ × max_a' Q[s',a'] − Q[s,a])

이 한 글자 차이—Q[s',a'] 대 max Q[s',:]—가 두 알고리즘을 갈라놓는다. Sarsa는 에이전트가 실제로 따르는 정책(탐색을 포함한 정책)을 기준으로 학습하므로 온폴리시(on-policy) 다. 반면 Q-Learning은 실제 행동과 무관하게 항상 “가능한 최선”을 가정하므로 오프폴리시(off-policy) 다. 직관적으로 Sarsa는 자신이 가끔 실수(탐색)할 것을 감안한 “신중한” 학습이고, Q-Learning은 언제나 최적을 가정하는 “대담한” 학습이다.

Q-Learning의 한 스텝을 손으로 따라가 보면 이렇다. 최적 경로 S0→S4→S5→S6→S10→S14→S15을 따라갈 때, 마지막 칸 S14에서 목표에 도달하면 보상 r=1을 받는다:

Q[14,1] ← 0.88921732 + 0.1 × (1 − 0.88921732) = 0.900295588

목표에 막 닿은 칸의 Q값이 1쪽으로 끌어올려진다. 그 앞 칸 S10은 목표가 아니므로 보상 r=0이지만, 다음 칸의 가치가 할인되어 흘러든다:

Q[10,2] ← 0.72944351 + 0.1 × (0 + 0.9 × 0.88921732 − 0.72944351) = 0.7365287178

이렇게 보상 신호가 목표에서 출발점 쪽으로 한 칸씩 역류하며, 수십 번의 에피소드를 거치면(Sarsa는 약 56 에피소드, Q-Learning은 약 136 에피소드 만에 수렴) 모든 칸의 Q값이 안정된다. 최종적으로 두 방법 모두 목표까지 6단계의 최적 경로를 찾아낸다—무작위 정책의 114단계와 비교하면 학습의 위력이 분명하다.

CartPole: 연속 상태를 이산화하기

격자 미로는 상태가 16개뿐이지만, 현실 문제는 상태가 연속적이다. 강화학습의 단골 벤치마크인 CartPole(막대 균형 잡기)이 좋은 예다. 카트 위에 막대를 세워 두고, 카트를 좌우로 밀어 막대가 쓰러지지 않게 버티는 과제다. 상태는 네 개의 연속 변수로 주어진다:

번호이름최솟값최댓값
0카트의 위치−2.42.4
1카트의 속도−∞∞
2폴의 각도−41.8°41.8°
3폴의 속도−∞∞

이 연속값을 그대로 Q테이블에 담을 수는 없으므로, 각 변수를 6개 구간으로 나누는 이산화(digitize) 를 거친다. 그러면 Q테이블의 행 개수는 6⁴ = 1,296개(상태 구간 수 6의 변수 4제곱), 열은 행동 2개(왼쪽/오른쪽)가 된다. 예컨대 관측값 (−0.1, −1.5, 0.4, −0.1)이 각 변수에서 구간 [2, 1, 5, 3]에 떨어진다면, 이를 하나의 상태 번호로 합치는 계산은 다음과 같다:

state = 2×6⁰ + 1×6¹ + 5×6² + 3×6³ = 2 + 6 + 180 + 648 = 836

이렇게 연속 세계를 격자 미로처럼 이산 상태로 바꾸면, 똑같은 Q-Learning 공식(γ=0.99, η=0.5)을 그대로 적용할 수 있다. ε도 ε = 0.5 × (1/(episode+1))처럼 에피소드가 지날수록 줄여서, 처음엔 활발히 탐색하다 점점 학습된 정책으로 수렴시킨다.

탐색과 활용: 점심 메뉴의 딜레마

강화학습에서 가장 근본적인 문제 중 하나가 탐색-활용 딜레마(Exploration-Exploitation Dilemma)다.

브라이언 크리스천과 톰 그리피스의 『알고리즘, 인생을 계산하다』는 이 딜레마를 일상의 언어로 명쾌하게 설명한다. 회사 동료와 점심 메뉴를 고른다고 생각해 보자. 지난 몇 년간 경험을 활용(Exploit)해서 “저기 김치찌개 집이 제일 낫더라”고 그곳만 가면, 새로운 맛집을 발견할 기회를 잃는다. 반대로 매번 새 가게를 탐색(Explore)하면, 기껏 먹은 음식이 맛없을 리스크를 감수해야 한다. 어느 쪽에 얼마나 비중을 둘 것인가—이것이 탐색-활용 딜레마다.

회사 업무도 다르지 않다. 검증된 방법론만 쓰면 혁신이 없고, 새로운 시도만 하면 효율이 떨어진다. AI 시스템 설계에서도, 지나치게 활용만 하면 국소 최적점(Local Optimum)에 갇히고, 지나치게 탐색만 하면 수렴이 느려진다.

강화학습에서 이 문제를 처리하는 가장 단순한 방법이 엡실론 탐욕(Epsilon Greedy) 정책이다: ε의 확률로 무작위 행동(탐색), (1-ε)의 확률로 현재 Q-값이 가장 높은 행동(활용)을 선택한다. ε값을 학습 초반에 크게 두고 점점 줄이면, 처음에는 활발히 탐색하다 점점 안정적인 정책으로 수렴할 수 있다.

더 정교한 방법으로는 UCB(Upper Confidence Bound), 톰슨 샘플링(Thompson Sampling) 등이 있는데, 이들은 모두 “얼마나 불확실한지”를 탐색의 기준으로 삼는다는 공통점이 있다. 잘 모르는 것에 더 도전하는 전략이다.

최근에는 이 딜레마 자체를 다르게 보는 시각도 등장했다. 2020년에 발표된 「Curiosity eliminates the exploration-exploitation dilemma」는 이 문제를 두 개의 상충하는 목표(보상이냐 탐색이냐)가 아니라, “보상을 최대화하기”와 “환경을 호기심 어린 탐색으로 정보 가치를 최대화하기”라는 두 목표의 공존으로 재구성한다. 고전적 딜레마에서는 탐색의 결과가 불확실해서 늘 손해의 위험을 감수해야 했지만, 호기심(curiosity)을 별도의 내재적 보상으로 두면 탐색 자체가 가치를 낳는 행동이 된다. 잘 모르는 영역을 줄여나가는 것 자체가 보상이라면, 탐색과 활용은 더 이상 서로를 갉아먹는 적대 관계가 아니다.

죄수의 딜레마와 비크리 경매: 게임 이론의 통찰

『알고리즘, 인생을 계산하다』의 또 다른 핵심 주제는 게임 이론이다. 가장 유명한 ‘죄수의 딜레마’는 불편한 진실을 담고 있다: 상대방이 협력하든 배신하든 나는 배신하는 것이 항상 유리하다. 논리적으로 계산하면 두 사람 모두 배신을 선택하게 되고, 결과적으로 둘 다 협력했을 때보다 나쁜 결과를 맞는다. 개인의 합리성이 집단의 비합리성으로 이어지는 역설이다.

그런데 책은 이 딜레마를 뒤집는 우아한 해법 하나를 소개한다. 비크리 경매(Vickrey Auction)다. 일반 경매에서는 다른 사람이 얼마를 부를지 눈치 보며 전략을 짜야 한다. 하지만 비크리 경매는 다르다: 밀봉 입찰(가장 높은 가격을 부른 사람이 낙찰받되, 지불은 두 번째로 높은 금액)이라는 단순한 규칙 변경만으로, 정직하게 자신의 진짜 가치를 써내는 것이 최선의 전략이 된다. 상대방 전략을 읽을 필요가 없다. 시스템 설계 하나로 거짓말보다 정직이 유리한 게임이 된 것이다.

저자들은 여기서 중요한 통찰을 끌어낸다: “남의 전술을 예견하거나 예측하거나 읽어내거나 그 때문에 방향을 바꿀 것을 요구하지 않는 전략을 채택하는 것이야말로 고르디우스의 재귀 매듭을 자르는 한 방법이다. 그리고 때로 그 전략은 단순히 쉬운 차원의 것만이 아니라 최적의 전략이 된다.” 정직이 우월 전략인 게임을 설계하는 것—이것은 알고리즘 문제이기도 하고 조직 문화의 문제이기도 하다.

AlphaGo와 AlphaStar: 강화학습이 인간을 넘어서다

바둑은 경우의 수가 우주의 원자 수보다 많아 오랫동안 컴퓨터가 정복할 수 없는 영역으로 여겨졌다. AlphaGo가 이를 해낸 핵심 기법이 몬테카를로 트리 탐색(Monte Carlo Tree Search, MCTS) 과 강화학습의 결합이다. 한 수를 두기까지의 과정은 네 단계로 요약된다(박상길, 『비전공자도 이해할 수 있는 AI 지식』, 2023):

  1. 선택(Selection): 승리 가능성이 높아 보이는 수에서 탐색을 시작한다.
  2. 확장(Expansion): 기보학습으로 훈련된 정책망(policy network)을 이용해 다음 수를 어디에 둘지 가지를 뻗는다.
  3. 시뮬레이션(Simulation): 가벼운 롤아웃(rollout) 정책망으로 대국을 끝까지 빠르게 시뮬레이션한다(몬테카를로 샘플링).
  4. 업데이트(Update): 가치망(value network)의 점수를 50% 반영해 승패 여부를 경로의 모든 수에 업데이트한다.

이 과정을 수없이 반복한 뒤 가장 많이 탐색된 수를 실제 착수로 결정한다. 2016년 이세돌과의 대국에서, 이세돌이 둔 그 유명한 “78수”를 AlphaGo가 둘 확률은 불과 0.007% 로 평가되었다—인간의 직관이 AI의 확률 분포 바깥을 찌른 순간이었다.

바둑보다 훨씬 어려운 도전이 실시간 전략 게임 스타크래프트였고, 이를 정복한 것이 AlphaStar(Nature, 2019)다. 딥마인드는 스타크래프트가 강화학습에 던지는 다섯 가지 난제를 정리했다. 첫째, 게임 이론적으로 가위바위보처럼 절대 우위 전략이 없어 끊임없이 새 전략을 탐색해야 한다. 둘째, 체스·바둑과 달리 상대 정보가 숨겨져 있어 정찰(scouting)로 능동적으로 알아내야 하는 불완전 정보(imperfect information) 게임이다. 셋째, 한 게임이 한 시간까지 이어지고 초반 행동의 결과가 한참 뒤에야 드러나는 장기 계획(long-term planning) 이 필요하다. 넷째, 턴제가 아니라 시간이 흐르는 동안 계속 행동해야 하는 실시간(real time) 환경이다. 다섯째, 수백 종의 유닛과 건물을 동시에 제어해야 하는 거대한 행동 공간—매 순간 평균 약 10²⁶가지의 합법적 행동이 존재한다.

인간 호환 AI: 보상을 거꾸로 추론하기

강화학습이 강력해질수록 한 가지 불안이 따라온다. 우리가 설정한 보상이 정말로 우리가 원하는 것일까? 스튜어트 러셀(Stuart Russell)은 『Human Compatible: AI and the Problem of Control』(2019, 한국어판 『어떻게 인간과 공존하는 인공지능을 만들 것인가』, 2022)에서 이 문제를 정면으로 다룬다.

러셀은 잘못 설정된 목표의 위험을 신화에 빗댄다. 미다스 왕 문제—손에 닿는 모든 것을 금으로 바꾸길 빌었던 미다스는 음식과 딸까지 금으로 만들고 만다. 우리가 AI에게 준 목표가 우리의 진짜 의도와 어긋날 때 정확히 이런 비극이 벌어진다. 또 고릴라 문제—더 지능적인 종이 등장했을 때 열등한 종이 겪는 실존적 위기—를 들어, 인간을 능가하는 AI 앞에서 인류가 처할 처지를 경고한다.

러셀이 제시하는 해법의 핵심은 역설적이게도 “기계가 자신의 목표를 확신하지 않게 만드는 것”이다. 그는 이로운 기계의 세 원칙을 든다:

  1. 전적으로 이타적인 기계: 기계의 목적은 오로지 인간 선호의 실현을 최대화하는 것이다.
  2. 겸손한 기계: 기계는 그 선호가 무엇인지 처음에는 확실히 알지 못한다.
  3. 인간의 선호를 배우는 기계: 인간 선호에 관한 정보의 궁극적 원천은 인간의 행동이다.

이 발상을 구현한 것이 협력적 역강화학습(Cooperative Inverse Reinforcement Learning, CIRL) 이다. 보통의 강화학습이 보상으로부터 행동을 생성한다면, 역강화학습은 거꾸로 행동을 관찰해 “그 행동이 최적화하고 있는 보상 신호가 무엇인지”를 추론한다. 러셀의 표현을 빌리면, “관찰자가 진정한 보상 함수의 모호한 추정값에서 시작하여, 행동을 더 관찰하면서 이 추정값을 더 정확하게 다듬어가는 것”—베이즈 언어로는 가능한 보상 함수들의 사전 확률 분포에서 출발해 증거가 쌓일 때마다 분포를 갱신하는 과정이다.

목적이 불확실하다는 것은 약점이 아니라 안전장치가 된다. 자신의 목표를 확신하지 못하는 기계는 “허가를 요청하고, 수정을 받아들이고, 작동을 멈추는 일”을 기꺼이 허용하기 때문이다. 러셀은 이를 전원 끄기 게임(off-switch game) 으로 형식화했다. 그는 또한 기술을 둘러싼 양극단의 “부족주의”를 비판하며—찬성 부족은 위험을 부정하고 반대 부족은 문제 해결 가능성을 부정한다—이렇게 결론짓는다: “AI는 특수효과 마법의 대결보다는 항공이나 원자력에 더 가까워져야 한다.”

POET: 끝없이 어려워지는 운동장

탐색-활용 딜레마와 호기심의 발상을 한 단계 더 밀고 나가면, 환경 자체를 진화시키는 아이디어에 이른다. POET(Paired Open-Ended Trailblazer) 가 그것이다. 부제 그대로 “복잡하고 다양한 학습 환경과 그 해결책을 지속적으로 생성하는 알고리즘”이다.

POET의 핵심은 학습 환경과 그 환경을 푸는 에이전트를 짝(pair) 으로 묶어 함께 진화시키는 것이다. 환경은 점점 더 다양하고 복잡해지는 방향으로 진화하고, 에이전트는 쉬운 환경에서 시작해 점차 어려운 환경으로 단계를 높여가며 학습한다. 또한 한 환경에서 학습한 에이전트의 지식을 다른 환경으로 이전(transfer) 할 수 있어, 학습 효율을 높이고 새 환경에 빠르게 적응한다. 정해진 목표를 향해 수렴하는 대신, 끝없이 새로운 도전을 스스로 만들어내는 개방형(open-ended) 학습—이는 인공생명의 진화 사상과 강화학습이 만나는 지점이다.

도파민: 뇌 속의 보상 예측 오류

강화학습의 TD 오류가 뇌의 도파민과 닮았다는 비유는 단순한 수사가 아니다. 신경과학자 볼프람 슐츠(Wolfram Schultz)는 1997년 『A Neural Substrate of Prediction and Reward』(Science)에서 원숭이의 도파민 뉴런이 정확히 “예측 오류”를 신호한다는 것을 보였다. 서로 다른 세 가지 과제(A·B·C)에서 공통적으로 나타난 패턴은 이렇다:

  1. 예측하지 못한 보상이 주어지면 도파민 뉴런이 발화한다(+오류).
  2. 학습이 완료된 뒤에는 보상 자체가 아니라, 보상을 예측하게 만드는 자극(조건자극, CS)에 대해서만 발화하고 보상에는 더 이상 반응하지 않는다(0 오류).
  3. 보상이 예측되었으나 실제로 주어지지 않으면 발화가 억제된다(−오류, 일종의 실망).

슐츠의 인용문은 이 발견의 의미를 압축한다: “미래 사건을 예측하는 능력은 생명체가 환경과의 상호작용의 인과 구조를 탐지하고, 모형화하고, 조작할 수 있게 해준다.” 이는 강화학습의 적응적 최적 제어 이론과 정확히 맞물린다. 일상의 언어로는—예상하지 못한 행복은 더욱 기쁘고(+오류), 예상한 불행은 더욱 괴롭다(−오류)—라고 옮길 수 있다.

이 보상 신호는 뇌의 보상 회로(Reward Circuit) 를 따라 흐른다. 시작점은 중뇌의 ① 복측피개영역(VTA)으로, 새로운 행동을 하면 즉시 도파민을 만들어 네 영역으로 보낸다. ② 측좌핵(NAc, 쾌락의 핵심)은 VTA에게 도파민을 더 보내달라고 요구하고, ③ 편도체(감정)와 ④ 해마(기억)는 그 행동을 감정적으로 느끼고 기억하게 하며, ⑤ 전전두엽은 보상의 가치를 판단해 그 행동을 계속할지 결정한다. 전전두엽이 해로운 행동이라 판단하면 글루타메이트(Glutamate)를 NAc로 보내 “멈추라”는 제동을 건다. 이 회로가 쾌락을 위해 과도하게 반복되면 중독이 나타나며, 게임·약물 같은 인위적 자극은 음식·운동 같은 자연적 자극보다 도파민을 더 많이 분비하기에 중독되기 쉽다.

한편 제프 호킨스는 『천 개의 뇌(A Thousand Brains, 2021)』에서 뇌를 다른 각도로 본다. 그는 대뇌 신피질이 6개 층을 관통하는 수많은 수직 기둥(vertical column) 으로 이루어져 있으며, 각 기둥이 저마다의 참조 프레임(reference frame) 이라는 좌표계를 가진 독립적인 ‘뇌’처럼 작동한다고 본다. 이 ‘천 개의 뇌’들이 협력하고 정보를 교환함으로써 지능이 발현된다는 것이다. 호킨스는 착시를 두고 흥미로운 주장을 편다: “사람들은 이 현상을 착각이라고 부르면서 뇌가 속아 넘어갔다고 암시하지만, 사실은 그 반대이다. 우리 뇌는 체스판 패턴을 정확하게 지각하며, 음영 차이에 속지 않는다.” 뇌가 가진 세계의 모형이 오히려 진실을 보게 한다는 것이다.

커넥텀: 신경망을 있는 그대로 읽다

강화학습이 생물의 학습 방식을 모방한다면, 커넥텀(Connectome) 연구는 실제 뇌 신경망을 지도처럼 그려내려는 시도다.

예쁜꼬마선충(Caenorhabditis elegans, C. elegans)은 몸 길이 1mm, 뉴런 302개를 가진 작은 선충이다. 1986년 화이트 등의 연구팀은 전자현미경으로 C. elegans의 신경망을 완전히 매핑하는 데 성공했다—302개 뉴런과 약 7,000개의 시냅스 연결을 모두 추적한 것이다. 동물 신경계 최초의 완전한 커넥텀이었다.

2023년에는 더욱 복잡한 초파리 유충(larva) 뇌(약 3,016개 뉴런)의 완전한 커넥텀이 발표되었다. 뇌를 얇게 자른 수천 장의 이미지를 AI로 분석해 뉴런들의 연결을 추적한 결과였다. 이제 연구자들은 이 지도를 보며, 어떤 회로가 어떤 행동을 만들어내는지 추적할 수 있게 됐다.

2024년에는 마침내 성충 노랑초파리(Drosophila melanogaster) 한 마리의 전뇌 커넥텀이 완성되었다(『Whole-brain annotation and multi-connectome cell typing of Drosophila』, Nature, 2024). 가로 750·세로 350·깊이 250마이크론, 1mm에도 못 미치는 이 작은 뇌 안에 139,255개의 뉴런, 8,453종의 서로 다른 뉴런 유형, 5,450만 개 이상의 시냅스가 들어 있다. 2013년부터 122개 기관의 146개 연구실이 참여해, 뇌를 40나노미터 두께로 슬라이스하고 고해상도 전자현미경 사진 2,100만 장을 찍어 소프트웨어로 뉴런의 3차원 구조를 복원한 거대 프로젝트(FlyWire)였다. 성충 초파리는 걷거나 비행하며 복잡한 운동을 제어하고, 구애 행동과 의사 결정, 연관 기억, 공간 학습, 다감각 항해까지 해낸다. 그래도 이는 생쥐 뇌의 약 1,000분의 1 규모이며, 인간 뇌(860억–1,000억 개 뉴런, 100조 개 시냅스)에 비하면 한 점에 불과하다. 2024년 5월 하버드 연구팀이 공개한 인간 대뇌 피질 1mm³의 지도만 해도 세포 5만 7,000개, 시냅스 1억 5,000만 개, 데이터 1.4페타바이트에 달했고—전체 인간 뇌의 지도화에는 수십 년이 걸릴 것으로 예상된다.

더 나아가, C. elegans의 302개 뉴런 연결 구조를 그대로 소프트웨어로 구현해 소형 로봇에 이식한 실험도 있었다. 프로그래밍 없이 오직 신경망 연결만으로—로봇이 장애물을 피하고 코 주변 자극에 반응했다. 이것이 무엇을 의미하는지는 챕터 마지막 논쟁거리에서 다시 생각해 보자.

Boids: 새떼는 왜 저렇게 날까

군집 행동(Flocking Behavior)도 인공생명의 중요한 주제다. 새떼가 일사불란하게 방향을 바꾸는 장면을 본 적이 있을 것이다. 어디에도 지휘자는 없다. 1987년 크레이그 레이놀즈는 Boids라는 알고리즘으로 이 현상을 재현했다.

규칙은 단 세 가지다: (1) 너무 가까이 붙지 않는다(분리, Separation), (2) 주변 Boid들과 같은 방향으로 날기(정렬, Alignment), (3) 무리의 중심 방향으로 모이기(결합, Cohesion). 이 세 가지 지역적 규칙이 상호작용하면, 화면에는 실제 새떼와 구분하기 어려운 군집 행동이 나타난다. 개체가 전체를 알 필요가 없다. 이웃만 보면 된다. 창발이다.

개미 군집도 마찬가지다. 여왕개미는 명령을 내리지 않는다. 각 개미가 페로몬 신호에 반응하는 단순한 규칙을 따를 뿐인데, 군집 전체가 최적의 먹이 경로를 찾아낸다. 이것이 상향식(Bottom-up) 자기 조직화의 힘이다.

브라이텐베르크 차량과 L-시스템: 단순한 몸, 복잡한 행동

군집 행동이 여러 개체의 창발이라면, 브라이텐베르크 차량(Braitenberg Vehicle)은 단 한 개체 안에서 일어나는 창발을 보여준다. 이 가상의 차량은 어떤 자극을 감지하는 원시적인 센서와, 각각 모터로 구동되는 바퀴(액추에이터)만 가지고 있다. 가장 단순한 구성에서는 센서가 모터에 직접 연결되어, 감지된 신호가 곧바로 바퀴의 움직임을 만든다. 센서를 같은 쪽 바퀴에 연결하느냐 반대쪽에 연결하느냐에 따라, 이 차량은 빛을 향해 달려가거나(공격적으로) 빛을 피해 달아나는(소심하게) 것처럼 보인다. 내부에 어떤 표상도, 계획도 없이 오직 배선만으로 마치 두려움이나 사랑 같은 감정을 가진 듯한 행동이 창발하는 것이다—로드니 브룩스의 ‘표상 없는 지능’과 같은 통찰이다.

식물의 형태도 단순한 규칙에서 자란다. 아리스티드 린덴마이어(Aristid Lindenmayer)가 1968년 제안한 L-시스템(L-systems) 은 문자열을 재귀적으로 치환하는 규칙으로 식물의 성장을 모델링한다. 예를 들어 a → ab, b → a라는 두 규칙만 반복 적용하면 a → ab → aba → abaab → …처럼 점점 복잡한 문자열이 자라난다. 여기에 “거북이 해석(turtle interpretation)“을 붙이면—F는 한 칸 전진하며 선 긋기, +는 오른쪽 회전, −는 왼쪽 회전, 대괄호 [ ]는 현재 위치를 저장하고 복원하기(가지치기)—문자열이 그대로 그림이 된다. F → F[-F]F[+F]F 같은 규칙 하나가 실제 나무와 구분하기 어려운 가지 구조를 그려낸다. 세포 자동자가 격자에서 창발을 보여준다면, L-시스템은 문법(grammar)에서 형태가 창발함을 보여준다.

인공생명이란 무엇인가: 정보처리로서의 생명

이쯤에서 근본적인 질문으로 돌아가자. 그렇다면 ‘생명’이란 무엇인가? 인공생명의 관점은 도발적이다. 사전은 생명을 “죽은 것이나 바위·금속과 구별되는, 살아있는 동식물의 기능하고 성장하는 능력”이라 정의하지만, 정보처리의 관점에서 보면 굴러가는 바위나 녹는 금속도, 자기조직화하는 세포 자동자 패턴도 일종의 생명 형태가 될 수 있다. 자기조직화하는 세포 자동자는 국소 이웃 안에서는 엔트로피를 줄이지만 (추상적 시공간의) 우주 전체로는 엔트로피를 늘린다—이는 살아있는 유기체가 하는 일과 정확히 같다.

인공생명 연구가 분명히 해두는 한 가지가 있다. “본 논문의 목적은 새로운 인공생명의 ‘창조’에 있지 않다. 단지, 생명현상에 대한 하나의 과학적인 ‘접근방식’으로서 의미가 있을 뿐이다”(『Mind and Life in Silico』, 1996). 인공생명은 생명을 만드는 것이 아니라, 생명을 이해하기 위해 그 핵심 논리를 다른 매질(silico, 실리콘) 위에서 재현해 보는 방법론이다. 인공생명은 1987년 제1회 워크숍을 시작으로 학문 분야로 자리 잡았고, 이후 국제 인공생명 학회(ISAL)를 중심으로 지금까지 이어지고 있다.

이 흐름의 가장 최근 도착지가 ASAL(Automated Search for Artificial Life) 이다. 사카나 AI(Sakana.ai)가 2024년 12월 발표한 이 접근은 거대 파운데이션 모델(foundation model)을 이용해 인공생명 자체를 자동으로 탐색한다. 사카나의 표현을 빌리면, “인공생명 연구자들은 가상 생태계, 로봇 유기체, 자기복제 프로그램, 생화학 시뮬레이션을 만들어 복잡성·진화·지능의 깊은 메커니즘을 밝혀낸다.” 라이프 게임을 손으로 그리던 시대에서, 이제는 AI가 흥미로운 생명 같은 패턴을 스스로 찾아 나서는 시대로 온 것이다. 콘웨이의 세 줄짜리 규칙에서 시작된 “단순한 규칙에서 피어나는 복잡성”의 탐구는, 반세기를 돌아 다시 인공지능과 만나고 있다.

참고 논문

논쟁거리

코드로 완벽하게 구현된 예쁜꼬마선충 시뮬레이션은 진짜 ‘지능’일까요? 생물학적인 ‘물질(몸)‘이 없어도 지능이 성립할 수 있을지 논의해 봅니다.

(세미나 발제 질문) 정보처리 관점에서 물질성(materiality)과 상향식(Bottom-up) 방식을 중요시하는 인공생명의 방법론은, “마음은 기계인가”라는 오랜 논쟁에 어떤 답을 던지는가?

C. elegans의 302개 뉴런 연결 구조를 소프트웨어로 구현하면 무엇이 탄생하는가? 소프트웨어 안에서 그 회로는 빛의 속도로 작동하고, 피로도 없고, 굶주림도 없다. 원래의 선충은 몸이 있다—근육이 있고, 피부가 있고, 음식의 냄새를 맡는 화학 수용체가 있다. 그 몸이 없는 상태에서 302개 뉴런 네트워크를 실행하는 것이 C. elegans를 재현하는 것인가, 아니면 C. elegans의 추상적 그림자를 만드는 것인가?

이 질문은 지능과 의식의 본질에 대한 오래된 논쟁으로 이어진다. 기능주의(Functionalism)적 관점에서는 기능이 동일하면 실체가 달라도 상관없다—실리콘이든 탄소 기반 단백질이든, 302개 뉴런이 동일한 방식으로 연결되어 동일하게 반응한다면, 그것은 C. elegans다. 반면 체화된 인지(Embodied Cognition) 관점은 반대로 주장한다: 지능은 몸과 분리될 수 없다. 환경과의 물리적 상호작용, 실제 근육의 저항감, 배고픔이라는 신체적 신호—이것들이 없다면 신경망이 아무리 정확히 복제되어도 그것은 진짜 C. elegans가 아니다.

로드니 브룩스의 ‘표상 없는 지능(Intelligence Without Representation)’ 논문(1991)은 여기서 흥미로운 입장을 취한다: 지능은 환경과의 직접적인 상호작용에서 창발하며, 내부에 세계의 표상(모델)을 갖는 것이 지능의 조건이 아니라는 것이다. 브룩스의 로봇들은 “세계는 그 자체가 최선의 표상”이라는 원칙으로, 간단한 규칙만으로 실제 세계를 돌아다니는 데 성공했다. 이 관점에서 보면, 몸을 가진 로봇에 C. elegans 회로를 이식하는 것이 소프트웨어만으로 시뮬레이션하는 것보다 훨씬 진짜에 가까운 재현일 수 있다.

사이버네틱스를 창시한 노버트 위너의 관점도 떠올려 볼 만하다. 위너에게 지능의 핵심은 피드백 루프다—환경에서 정보를 받고, 행동을 수정하고, 다시 환경에 영향을 미치는 순환. 몸 없이 이 루프가 완전히 성립할 수 있을까? 소프트웨어 시뮬레이션 안의 ‘환경’은 실제 물리 세계가 아닌 수학적 모델이다. 그 안에서 작동하는 피드백 루프는 진짜 세계와의 피드백인가, 아니면 거울 속 거울인가?

결국 이 논쟁은 하나의 더 근본적인 질문으로 수렴된다: 지능이란 무엇인가? 패턴 처리 능력인가, 환경과의 살아있는 상호작용인가, 아니면 그 둘 모두인가? 현재 딥러닝과 LLM은 전례 없는 패턴 처리 능력을 보여주지만, 물리 세계와의 피드백이 없다는 한계를 지적받고 있다. 피지컬 AI(Physical AI)와 로보틱스에 대한 관심이 다시 높아지는 것은 이 질문에 대한 하나의 대답일지도 모른다.

다음 장으로: 세 갈래 학습이 하나로 수렴하다

이 장의 강화학습은 새로운 모순을 남긴다. 보상을 어떻게 설계해야 우리가 진짜 원하는 것을 배우는가(미다스 왕 문제), 탐색과 활용을 어떻게 저울질하는가, 시뮬레이션에서 익힌 정책이 실제 세계로 옮겨갈 때 생기는 간극(sim2real)을 어떻게 메우는가, 그리고 기계의 목표를 인간의 가치에 어떻게 정렬하는가. 풀리지 않은 물음들이다.

그런데 이 풀리지 않은 물음들 위로, 더 큰 흐름 하나가 모든 것을 삼키며 다가온다. 지금까지 우리는 학습을 세 갈래로 나누어 보아 왔다. 정답 레이블을 베끼는 지도학습, 정답 없이 구조만 더듬는 비지도학습, 그리고 이 장에서 본—정답 대신 보상으로 정책을 빚는—강화학습. 저마다 다른 문제에 맞춤한 다른 방법론처럼 보였다. 그러나 리치 서튼이 「쓰라린 교훈(The Bitter Lesson)」에서 지적했듯, AI의 역사가 거듭 가르쳐 준 사실은 이것이다: 사람이 정교하게 설계한 방법보다, 충분한 데이터와 계산을 먹고 규모로 밀어붙인 일반적 학습 방법이 끝내 이긴다. 충분한 데이터와 계산 앞에서, 갈라져 있던 세 패러다임은 점점 하나의 거대한 모델 위로 수렴한다—같은 구조가 텍스트도, 이미지도, 행동도 똑같이 빨아들인다.

그 수렴점에 놓인 구조가 바로 트랜스포머(Transformer)다. 다음 장에서는 이 한 장의 설계도가 어떻게 지도·비지도·강화의 경계를 허물고, 규모가 곧 능력이 되는 거대 모델의 시대를 열었는지를 살핀다.

Graph View

Backlinks