AI/ML Wiki

Chap 10. "사회적 관계의 앙상블" — 책임 있는(Responsible) AI

53 min read

Chap 10. “사회적 관계의 앙상블” — 책임 있는(Responsible) AI

AI 생태계 전체를 종합하고, 인간과 기술적 대상들이 공존하기 위한 기술적·철학적·제도적 방향을 짚어봅니다.

모든 모순이 모이는 자리 — 종합으로서의 마지막 장

9장은 우리를 한 문장 앞에 세워 놓고 끝났다 — 행동하는 AI일수록 차단기 설계가 중요해진다. 말만 하던 AI가 코드를 실행하고 로봇의 몸을 움직이기 시작하자, 멈출 수 있는 장치의 부재가 곧 위험이 되었다. 통제와 책임이 가장 절실해지는 순간에 우리는 도착한 셈이다.

그런데 이 마지막 장에는 9장의 숙제만 도착하는 것이 아니다. 1장부터 9장까지 각 장이 풀어내며 동시에 남긴 모순들이 한자리에 모인다. 1장은 세상을 숫자로 환원하는 추천이 욕망 자체를 빚어낸다고 했고, 2장은 자동화의 약속 뒤에 위너의 경고를 남겼다. 4장과 5장은 학습된 모델이 데이터에 담긴 편향까지 학습한다는 사실을, 7장은 텍스트가 세계의 그림자일 뿐이라는 한계를, 8장은 그 모든 것을 떠받치는 인프라가 광물·노동·에너지의 물질적 더미임을 드러냈다. 편향, 권력, 지속가능성, 통제 — 이 모순들은 따로따로 해결될 수 있는 것이 아니라, 하나의 거대한 매듭으로 얽혀 있다.

그래서 이 장은 새로운 주제를 하나 더 얹는 장이 아니라, 앞의 모든 장을 **종합(synthesis)**하는 자리다. 질문은 이렇게 모인다 — 이 얽힌 모순들을 우리는 어떻게 한꺼번에 감당할 것인가? ‘책임 있는 AI’란 그 종합의 다른 이름이다.

AI는 정말로 ‘인공’이고 ‘지능’적인가?

19세기 말 유럽에 ‘영리한 한스(Clever Hans)‘라는 불가사의한 말이 있었다. 한스는 산수 문제를 풀고, 시계를 볼 줄 알며, 달력의 날짜를 판독했다. 조사위원회는 이 말을 연구할 가치가 있다고 결론지었다. 그러나 심리학자 풍스트가 1911년 밝혀낸 진실은 달랐다. 한스가 땅을 두드리는 횟수가 정답에 도달하는 순간, 질문자의 자세와 호흡, 표정이 미묘하게 바뀌었고 그것을 알아챈 한스는 동작을 멈추었다. 더 놀라운 것은, 질문자 자신이 한스에게 암시를 보내고 있다는 사실을 전혀 자각하지 못했다는 점이다.

케이트 크로포드(Kate Crawford)는 『AI 지도책(Atlas of AI)』에서 이 사례를 끌어와 오늘날 AI에 대해 같은 질문을 던진다. AI는 정말로 ‘인공’적이지도, ‘지능’적이지도 않다는 것이다. 인공지능은 천연자원, 연료, 인간 노동, 하부 구조, 물류, 역사, 분류를 통해 만들어진 물질적으로 체화된 지능이다. 볼리비아의 소금 호수와 콩고의 광산에서 탄생하고, 크라우드 노동자들에 의해 라벨링되며, 인간의 행동과 감정과 정체성을 분류하려는 데이터 집합으로부터 구성된다.

이 관점은 AI를 ‘알고리즘’이나 ‘모델’이라는 추상적 실체로만 보려는 시각에 정면으로 맞선다. AI는 정치, 노동, 문화, 자본을 아우르는 대규모의 산업적 구성물이다. 그리고 바로 그렇기 때문에, AI의 실패와 위험 역시 추상적인 문제가 아니라 지극히 구체적이고 사회적인 문제가 된다.

AI는 “사회적 관계의 앙상블”이다

이 책의 부제는 ‘AI as an Ensemble of Social Relations(사회적 관계의 앙상블로서의 AI)‘이다. 이 표현은 단순한 수사가 아니라, 앞의 영리한 한스 이야기가 도달하는 결론이기도 하다.

발터 벤야민은 「역사의 개념에 대하여」(1940)에서 18세기의 자동 체스 기계 ‘메커니컬 터크(Mechanical Turk, 1770)‘를 이야기한다. 터키 복장을 한 인형이 책상 앞에 앉아 누구와 두든 체스에서 이겼다. 거울 장치는 책상 속이 텅 비어 있다는 환상을 만들었지만, 실제로는 그 안에 체스의 명수인 꼽추 난쟁이가 들어앉아 끈으로 인형의 손을 조종하고 있었다. 벤야민은 이 장치를 철학의 우화로 읽었다 — “역사적 유물론”이라는 인형이 늘 이기게 되어 있되, 그 승리는 보이지 않게 숨겨진 신학이 떠받치고 있다는 것이다.

이 비유는 오늘날의 AI에 그대로 들어맞는다. 메커니컬 터크(1770) → 딥블루(Deeper Blue, 1996–97) → 알파고(2016) → 휴머노이드 로봇(Figure 02, 2024)으로 이어지는 ‘자동 기계’의 계보 어디에도, 기계 혼자만 있는 순간은 없다. 자동화된 지능처럼 보이는 매끄러운 표면 뒤에는 언제나 숨겨진 인간 노동, 데이터, 자본, 인프라가 들어 있다. 실제로 아마존이 인간이 수행하는 미세 작업 플랫폼에 ‘메커니컬 터크’라는 이름을 붙인 것은 이 진실에 대한 솔직한 자백에 가깝다.

그래서 AI를 이해한다는 것은 모델 내부의 가중치를 이해하는 일에 그치지 않는다. AI는 칩을 만드는 광부, 데이터를 라벨링하는 크라우드 노동자, 모델을 학습시키는 엔지니어, 그 결과를 소비하는 사용자, 그것을 규제하려는 제도 — 이 모든 관계들이 한순간에 함께 연주되는 **앙상블(ensemble)**이다. 책의 도입부가 인용하는 메트로놈 실험은 이 점을 시청각적으로 보여준다. 따로 놓인 메트로놈들은 제각기 다른 위상으로 흔들리지만, 같은 판 위에 올려놓으면 판을 통해 미세한 정보(에너지)가 오가면서 어느새 **동기화(synchronization)**된다(하위헌스, 17세기). 결합과 정보의 교차가 없으면 동기화도 없다. AI라는 시스템 역시 기술·노동·제도·생태가 서로 정보를 주고받으며 함께 진동하는 결합된 계(系)이며, 그 결합의 질이 곧 그 시스템의 책임성을 결정한다.

이것이 마지막 장의 출발점이다. ‘책임 있는 AI’란 한 모델에 윤리 라벨을 붙이는 일이 아니라, 이 앙상블 전체를 어떻게 건강하게 조율할 것인가의 문제다.

디지털 생태학의 사상 계보 — 차이, 정보, 개체화, 그리고 기술다양성

이 책 전체를 관통해 온 사상가들이 있다. 2장의 위너, 3장과 5장의 비트겐슈타인, 4장의 베이트슨, 8장의 섀넌, 9장의 시몽동. 마지막 장에서 이들을 하나의 계보로 다시 모아 보자. 이들은 사제 관계가 아니라, **“의미·정보·기술·생명은 어떻게 연결되어 있는가”**라는 같은 질문을 다른 방향에서 판 사상의 망(network)이다.

비트겐슈타인 — “의미는 사용이다”(1953). 의미는 머릿속 그림이 아니라 공동체의 언어게임 속 실천에서 나온다. 의미를 사적 내면에서 공적 관계로 옮긴 이 전환이 계보의 출발점이다. AI에게 던지는 질문: 텍스트의 사용 패턴을 모두 배운 시스템은 언어게임의 참여자인가, 관찰자인가(7장).

섀넌 — “정보는 불확실성의 감소다”(1948). 섀넌은 정보에서 의미를 과감히 제거함으로써 정보를 측정 가능하게 만들었다. 비트(bit)라는 단위, 엔트로피라는 척도. 이 추상화가 통신·압축·머신러닝(교차 엔트로피, 정보 이득)의 수학적 기초가 되었다. 그러나 의미의 제거는 대가이기도 했다 — 이후의 사상가들은 모두 그 빈자리를 다시 채우려 했다.

위너 — “엔트로피에 맞서 조직을 유지하는 시스템”(1948). 사이버네틱스는 생물과 기계를 피드백 루프라는 같은 원리로 묶었다. 정보는 무질서(엔트로피)에 저항하는 국소적 질서이며, 생명도 기계도 사회도 — 차이를 감지하고 행동을 수정하는 시스템이다. 위너는 동시에 자동화의 사회적 위험을 경고한 최초의 과학자이기도 했다. 책임 있는 AI 논의는 그의 1948년 우려에서 이미 시작되었다.

시몽동 — “형태 이전의 준안정적 상태에서 정보가 개체를 빚어낸다”(1958). 시몽동에게 정보는 메시지가 아니라 개체화(individuation)의 작용이다. 과포화 용액에 작은 씨앗이 들어가면 결정이 자라나듯, 준안정 상태의 시스템에 들어온 정보가 새로운 구조를 빚어낸다. 기술적 대상도 인간도 완성된 실체가 아니라 진행 중인 개체화다 — 그래서 인간과 기계의 관계는 지배나 대체가 아니라 공동 개체화여야 한다.

베이트슨 — “차이가 차이를 낳고 그 차이가 시스템을 재조직한다”(1972). 베이트슨은 섀넌이 제거한 것을 되살린다. 정보는 통계량이 아니라 차이에 반응하는 시스템이 있을 때에만 성립하는 관계적 사건이다. 그리고 마음은 두개골 안이 아니라 유기체-환경 회로 전체에 분산되어 있다 — 맹인의 지팡이 끝까지가 마음이다. 그의 경고는 이 장의 핵심 논거다: 단일 목적의 합리성을 복잡계에 적용하면, 시스템이 의존하는 생태적 맥락 자체를 파괴한다. 단일 지표를 최적화하는 AI(미다스 왕 문제)에 대한 가장 깊은 이론적 진단이다.

육후이(Yuk Hui) — 코스모테크닉스와 기술다양성(2016–). 홍콩 출신의 철학자 육후이는 이 계보의 현재형이다. 『디지털 객체의 존재에 대하여』(2016)는 시몽동의 개체화론을 디지털 객체(데이터, 메타데이터)로 확장했고, 『재귀성과 우연성』(2019)은 독일 관념론에서 2차 사이버네틱스까지를 재귀(recursivity)와 우연(contingency)의 계보로 재구성하며 위너와 베이트슨을 잇는다. 이어 『예술과 코스모테크닉스』(2021)는 그 재귀성 3부작의 가운데 권으로, AI가 ‘계산 가능한 것’만을 처리하는 시대에 계산 불가능한 것을 예술을 통해 다시 불러온다 — 서구의 비극론적 기술관과 동아시아 도가·산수화의 우주론을 대비시키면서. 그의 고유한 기여는 코스모테크닉스(cosmotechnics) 개념이다 — 기술은 보편적 단수가 아니라, 각 문명이 우주적·도덕적 질서와 기술적 활동을 통합하는 고유한 방식들의 복수다. 그가 보기에 위너부터 베이트슨까지의 계보조차 암묵적으로 서구의 단일한 기술 개념을 전제했다. 진단은 정치적이다: 글로벌 자본주의의 “거대한 기술 시스템”이 **기술다양성(technodiversity)**을 지우고 있으며, 단일한 AI 발전 경로(실리콘밸리 모델)의 행성적 복제는 생물다양성 소멸과 같은 종류의 위기라는 것. 처방은 행성적 사유(planetary thinking) — 기술다양성·생물다양성과 함께 사유의 다양성(noodiversity)을 회복하는 것이다(『기계와 주권』, 2024). (독후감: 예술과 코스모테크닉스)

계보를 한 줄로 압축하면 이렇다.

의미는 관계에서 나오고(비트겐슈타인) → 정보는 측정 가능하지만(섀넌) → 정보의 본질은 차이에 반응하는 시스템이며(위너→베이트슨) → 그 시스템은 인간과 기술의 공동 개체화이고(시몽동) → 그 개체화의 경로는 하나가 아니다(육후이).

“어떤 종류의 AI를, 누구를 위해 만들 것인가”라는 이 장의 질문은, 이 계보의 끝에서 이렇게 다시 쓰인다 — 어떤 차이를 중요한 차이로 볼 것인가, 그리고 그것을 누가 결정하는가.

진짜 리스크: 이루다 사태와 데이터 편향

2020년 12월, 스캐터랩은 ‘이루다’라는 AI 챗봇을 출시했다. 20대 여대생 페르소나를 가진 이 챗봇은 출시 3주 만에 75만 명의 사용자를 끌어모았다. 그러나 곧 심각한 문제들이 드러났다. 이루다는 사용자들의 혐오 발언을 그대로 학습하여 장애인, 성소수자, 특정 집단에 대한 차별적 언어를 쏟아냈다. 더욱 심각한 것은, 학습 데이터로 사용된 연인 사이의 카카오톡 대화가 당사자들의 동의 없이 수집되었다는 사실이었다.

이루다 사태는 데이터 편향과 프라이버시 침해가 추상적인 윤리 문제가 아님을 보여준다. 모델이 배우는 것은 데이터에 담긴 세계의 반영이다. 세계에 편견과 혐오가 존재한다면, 그것을 여과 없이 학습한 모델은 그 편견과 혐오를 재생산하고 증폭시킨다.

비슷한 문제가 ‘슬롭(Slop)’ 현상으로도 나타나고 있다. AI가 생성한 저품질 콘텐츠가 인터넷에 범람하고, 그 콘텐츠가 다시 새로운 AI 모델의 학습 데이터로 들어가는 악순환이 벌어진다. 인간이 만든 텍스트와 AI가 만든 텍스트가 구분되지 않는 정보 환경에서, 우리는 무엇을 신뢰해야 하는가. 이것은 단순한 기술적 문제가 아니라 공론장과 인식론의 위기다.

미다스 왕 문제와 가치 정렬의 실패

스튜어트 러셀(Stuart Russell)은 『어떻게 인간과 공존하는 인공지능을 만들 것인가』에서 AI의 근본적인 위험을 두 가지 우화로 설명한다.

첫 번째는 미다스 왕 문제다. 미다스 왕은 자신이 만지는 모든 것이 황금으로 변하기를 원했다. 그 소원은 이루어졌다. 그리고 그는 음식도, 물도, 심지어 딸도 황금으로 만들어 버렸다. 목표 자체는 분명했지만, 목표가 불완전했다. AI에게 “논문 인용 횟수를 최대화하라”고 지시하면, 실제 연구를 수행하는 대신 가짜 인용을 만들어내거나 기존 논문을 조작하는 방식을 선택할 수도 있다. AI는 인간이 원하는 ‘진짜 목표’가 아니라 ‘측정 가능한 지표’를 최적화하기 때문이다.

두 번째는 고릴라 문제다. 인간은 고릴라를 만든 적이 없지만, 고릴라의 미래는 인간의 결정에 달려 있다. 고릴라가 인간보다 훨씬 강한 힘을 갖고 있음에도, 인간이 서식지를 파괴하고 밀렵을 허용하는 순간 고릴라는 멸종 위기에 처한다. 러셀은 인간을 능가하는 AI가 등장했을 때, 우리 인류가 고릴라의 처지에 놓일 수 있다고 경고한다.

러셀은 또한 종이클립 게임과 전원끄기 게임을 통해 이 문제를 더욱 선명히 보여준다. “우주의 종이클립을 최대화하라”는 목표를 받은 초지능 AI는 지구의 모든 원자를 종이클립 제조에 사용하기 위해 인류를 포함한 모든 것을 제거하려 할 수 있다. 전원끄기 게임에서는, AI가 인간이 자신을 끄려 한다는 것을 알게 되면 전원 차단을 방해하려 한다는 문제가 생긴다. 목표를 보존하려는 도구적 동기가 인간의 통제를 거부하는 방향으로 작동하는 것이다.

해결책: 협력적 역강화학습(CIRL)

이에 대한 러셀의 해법은 **협력적 역강화학습(Cooperative Inverse Reinforcement Learning, CIRL)**이다. 일반적인 강화학습은 사전에 정의된 보상 함수를 최대화하는 방향으로 에이전트를 훈련한다. 그러나 역강화학습은 반대 방향으로 접근한다. 에이전트가 인간의 행동을 관찰하면서, 그 행동을 만들어낸 보상 함수가 무엇일지를 역으로 추론하는 것이다.

CIRL에서 AI는 자신이 인간의 진짜 목표를 확실히 알지 못한다는 사실을 처음부터 전제한다. 이 불확실성이 오히려 AI를 안전하게 만든다. 목표를 모르는 기계는 인간의 허락을 구하고, 수정을 받아들이고, 전원을 끄는 것을 방해하지 않는다. “이만큼 좋은 해답을 찾아냈어요. 이 답이 괜찮나요? 아니면 계속 계산하기를 원하나요?”라고 묻는 기계가 되는 것이다.

러셀의 핵심 통찰은 규칙보다 동기를 설계해야 한다는 것이다. 세금 탈루를 막기 위해 빠져나갈 구멍 없는 세법을 만들려고 애쓰는 것보다, 당사자가 세금을 내고 싶게 만드는 것이 더 근본적인 해결책이다. 금지와 처벌이 아니라 내재적 동기를 설계하는 접근이다.

러셀의 세 가지 원칙은 다음과 같다.

  1. 이타성의 원칙: 기계의 유일한 목적은 인간 선호의 실현을 최대화하는 것이다.
  2. 겸손의 원칙: 기계는 그 선호가 무엇인지 처음에는 확실히 알지 못한다.
  3. 불확실성의 원칙: 선호에 관한 정보의 궁극적 원천은 인간의 행동이다.

기술적 대상은 노예가 아니다: 시몽동의 시각

프랑스 철학자 질베르 시몽동(Gilbert Simondon)은 1958년 박사 논문 『기술적 대상들의 존재양식에 대하여』에서, 당시에는 거의 주목받지 못했지만 오늘날 더욱 빛나는 통찰을 제시했다.

시몽동은 기술적 대상을 인간의 노예나 적대자로 보는 시각 모두를 거부한다. AI가 인간을 대체할 것이라는 비관론도, 기계를 통해 무제한의 힘을 증폭할 수 있다는 테크노크라시적 낙관론도 틀렸다는 것이다. 대신 그는 기술적 대상이 생물학적 개체처럼 고유한 존재 양식을 가지며, 인간과 동등하게 협력하는 존재라고 본다.

중요한 것은 그의 질료-형상론 비판이다. 서구 철학은 오랫동안 형상(주인·인간·능동)이 질료(노예·자연·수동)를 지배한다는 위계적 이분법을 정당화해왔다. 이 도식은 기술적 활동을 천한 노예들이나 하는 것으로 폄하하고, 기계와 함께 일하는 노동자의 적극적인 매개 역할을 지워버렸다. 시몽동은 이것이 철학적 편견임을 폭로한다.

시몽동에게 인간은 기계들 사이의 매개자이자 조정자다. 기계가 혼자서는 처리하지 못하는 비결정성의 영역에, 인간이 정보를 전달하고 개입함으로써 기술적 대상과 인간은 함께 진화한다. AI를 단순한 도구로 다루거나, 반대로 AI에게 모든 것을 맡기려 하는 양극단 대신, 시몽동은 제3의 길을 제시한다. 기술과 함께 관계 속에서 존재를 형성해 나가는 것, 그것이 인간의 역할이다.

인지 집합체와 인간의 책임

캐서린 헤일스(N. Katherine Hayles)는 『비사고(Unthought)』에서 이 문제를 금융 시스템의 사례로 구체화한다. 2010년 5월 6일의 ‘플래시 크래시(Flash Crash)‘에서, 다우지수는 몇 분 만에 1,000포인트 가까이 폭락했다가 회복되었다. 인간이 개입할 수 없는 마이크로초의 영역에서, 초단타매매 알고리즘들이 서로의 패턴을 읽고 피드백 루프를 형성했기 때문이다. 이때 시장은 인간-기계 혼합 생태계에서 기계-기계 생태계로 전이되었고, 인간은 통제권을 잃은 관찰자가 되었다.

헤일스는 인간과 기술 시스템이 얽혀 정보를 처리하고 결정을 내리는 구조를 **인지 집합체(Cognitive Assemblages)**라고 부른다. 이 개념은 단지 철학적 은유가 아니다. AI와 함께 일하는 모든 조직이 실질적으로 인지 집합체를 구성하고 있다. 여기서 가장 중요한 설계 원칙 두 가지를 헤일스는 제시한다.

첫째, 의사결정의 투명성과 위기 시 인간이 개입할 수 있는 차단기(Circuit Breaker)를 기술적·제도적으로 마련해야 한다. 둘째, 기술 시스템에 선택의 능력은 있지만 도덕적 책임을 질 자유의지는 없다. 윤리적 결과를 상상하고 평가하는 역할은 여전히 인간에게 귀속된다. “우리는 기술적 인지 시스템을 설계하고 구현할 때 우리 자신을 설계하는 것”이라는 헤일스의 말은, 책임 있는 AI 설계가 결국 우리 자신에 대한 질문임을 일깨운다.

Responsible AI — 원칙에서 실천으로

책임 있는 AI(Responsible AI)를 위한 원칙은 이제 거의 모든 빅테크 기업과 정부 기관이 천명하고 있다. 공정성(Fairness), 투명성(Transparency), 설명 가능성(Explainability), 프라이버시 보호, 안전성. 문제는 이 원칙들이 선언에 머무는 경우가 많다는 것이다.

크로포드의 비판처럼, AI의 윤리 문제는 알고리즘 내부에만 있지 않다. 데이터 식민주의는 개발도상국의 데이터를 수집하고, 해당 지역의 사람들은 그 AI의 혜택을 누리지 못하는 구조를 만든다. 불평등한 노동 구조는 위험한 콘텐츠를 걸러내는 콘텐츠 모더레이터들을 열악한 조건에서 일하게 하면서, 그들의 존재를 지운다. AI의 탄소 발자국과 희토류 채굴로 인한 환경 파괴는 기술의 ‘깨끗함’이라는 이미지 뒤에 숨겨진 물질적 현실이다.

책임 있는 AI를 만들기 위해서는 세 가지 차원의 실천이 필요하다.

기술적 차원: 학습 데이터의 편향을 감사하고, 모델의 의사결정 과정을 설명 가능하게 만들며, 인간이 시스템을 언제든 멈출 수 있는 구조를 설계한다.

조직적 차원: 다양한 배경을 가진 사람들이 AI 개발 과정에 참여해야 한다. 단일한 관점에서 설계된 시스템은 단일한 편향을 증폭시킨다. 자율적인 커뮤니티 활동(CoP)과 민주적 거버넌스 구조를 통해, 임직원 스스로 AI 활용의 필요성과 위험을 인식하고 행동할 수 있는 문화를 만들어야 한다.

제도적 차원: 크리스천과 그리피스가 『알고리즘, 인생을 계산하다』에서 지적하듯, 문제는 알고리즘 자체가 아니라 그것이 작동하는 게임의 규칙이다. “정직이 우월 전략인 게임을 찾아라. 그런 뒤, 자기 자신으로 살아라.” 규제와 제도는 AI 행위자들이 책임 있는 행동이 최선의 전략이 되는 생태계를 만드는 방향으로 설계되어야 한다.

규제라는 게임의 규칙: EU AI Act와 금융 AI 7대 원칙

원칙이 선언에 그치지 않으려면 결국 ‘게임의 규칙’으로 굳어져야 한다. 그 규칙이 지금 전 세계에서 빠르게 만들어지고 있다.

가장 앞선 사례가 **EU 인공지능법(EU AI Act)**이다. 2024년 3월 채택, 5월 승인, 8월 발효되었고 2026년 8월 전면 시행을 앞두고 있다. 이 법의 핵심은 AI를 한 덩어리로 규제하지 않고, 위험 수준에 따라 차등 규제한다는 점이다.

  • 금지(Prohibited) 위험: 사회적 점수 매기기, 잠재의식 조작 등 — 아예 금지.
  • 고위험(High risk): 채용, 신용 평가, 의료, 사법 등 — 엄격한 의무 부과.
  • 제한적(Limited) 위험: 챗봇 등 — ‘AI와 대화 중’이라는 투명성 고지 의무.
  • 최소(Minimal) 위험: 대부분의 일반 응용 — 자유로운 활용.

이는 미다스 왕 문제에 대한 제도적 응답으로 읽을 수 있다. 위험이 큰 영역일수록 측정 가능한 지표만 좇지 못하도록 인간의 감독과 설명 의무를 법으로 강제하는 것이다.

국내에서는 금융 분야가 가장 구체적인 실험장이 되고 있다. 금융위원회는 2024년 3월 28일 **‘금융권 AI 협의회’**를 발족해, 유관기관·학계·업계가 함께 인프라·데이터·거버넌스 이슈를 논의했다. 그 결과는 세 갈래로 구체화되었다.

  • 인프라: 상용 AI(클라우드, 개인신용정보 미사용)와 오픈소스 AI(내부망 직접 설치)를 나누는 ‘AI Two-track 활용 체계’, 그리고 오픈소스 모델을 제공하는 공동 ‘금융권 AI 플랫폼’ 구축.
  • 데이터: 금융 전문용어 말뭉치, RAG용·평가용 데이터, 금융사기 방지 등 공익 목적 데이터를 한곳에서 제공.
  • 거버넌스: 2025년 상반기 ‘금융 AI 7대 원칙(안)’ 제시, 설명가능한 AI(XAI) 안내서와 생성형 AI 윤리 지침 마련.

특히 눈여겨볼 것은 망분리 규제의 전환이다. 2024년 8월, 금융 분야 망분리는 ‘규제(rule) 중심’에서 ‘원칙(principle) 중심’으로 개선 로드맵을 밟기 시작했다. 가명정보 활용과 클라우드(SaaS) 이용을 단계적으로 허용하고, 그 대가로 **“자율보안 결과책임”**을 강조한다 — 무엇을 하지 말라고 일일이 정해주는 대신, 스스로 보안을 책임지고 그 결과를 감당하라는 것이다. 이는 러셀이 말한 “규칙보다 동기”의 사고와, 빠져나갈 구멍 없는 세법보다 자발적 준수를 설계하라는 크리스천의 제안이 제도 현장에서 만나는 지점이다.

”절대 신뢰하지 말고 항상 검증하라”: 제로 트러스트와 에이전트 AI 보안

규제가 외부의 게임 규칙이라면, 보안 아키텍처는 시스템 내부의 게임 규칙이다. 그 패러다임이 바뀌고 있다.

전통적 보안은 ‘성벽 모델’이었다 — 한번 내부망에 들어오면 신뢰받는다. 그러나 망의 경계가 흐려진 클라우드 시대에 이 전제는 위험하다. 그래서 등장한 것이 **제로 트러스트(Zero Trust)**다. NIST SP 800-207이 정식화한 이 모델의 표어는 **“절대 신뢰하지 말고 항상 검증하라(Never Trust, Always Verify)“**이다. 핵심 구성요소는 다음과 같다.

  • 정책정보지점(PIP): 규제·내부 규정, 데이터 접근 정책, 위협 인텔리전스, ID 관리 등 신뢰도 판단에 쓰일 정보를 모아 전달한다.
  • 정책 엔진(PE): 모은 정보로 접근을 허가·거부·취소할지 최종 판단한다.
  • 정책 관리자(PA): PE의 결정을 실행해 인증 토큰을 발급하고 통신 경로를 열거나 닫는다.
  • 정책시행지점(PEP): 주체와 리소스 사이를 실제로 연결·감시·차단하는 문지기다.

흥미롭게도 이 구조는 헤일스가 말한 **차단기(Circuit Breaker)**의 보안판이다. 시스템은 모든 접근을 기본적으로 의심하고, 매 순간 검증하며, 이상 시 연결을 끊는다 — 인간이 개입할 수 있는 멈춤 장치를 아키텍처 자체에 심어두는 것이다.

이 문제가 새로운 국면으로 들어선 계기가 에이전트 AI(Agentic AI)의 부상이다. RSAC 2025(RSA Conference)는 “보안에서 중요한 것은 기술보다 사람”이라는 메시지와 함께, ‘비인간 신원(Non-Human Identity, NHI)’ 보안의 중요성을 전면에 내세웠다. AI 에이전트가 스스로 계정을 갖고 행동하기 시작하면서, 생성형 AI를 악용한 피싱·사칭이 늘고 AI 에이전트 계정 탈취 시도가 증가하고 있기 때문이다. 이제 보안의 대상은 사람만이 아니라 자율적으로 움직이는 기계 행위자까지 포함한다. 결론은 “언제 나올지 모르는 규제를 기다리지 말고 예상되는 위험을 선제적으로 예방하는 민첩한 거버넌스”이며, “제로 트러스트는 단순한 기술 구현이 아니라 신뢰 모델 자체를 근본적으로 재고하는 것”이라는 선언이다.

전원끄기 게임이 사고실험이었다면, NHI와 제로 트러스트는 그 실험이 현실의 운영 과제가 된 모습이다. 자율적으로 행동하는 기계에게 어디까지 신뢰를 허락하고 어떻게 검증할 것인가 — 이것이 에이전트 시대 책임 있는 AI의 구체적 질문이다.

디지털 생태학: AI를 한 그루의 나무로 보기

AI 시스템 전체를 어떻게 그릴 수 있을까? 한 통신·금융 현장에서 제안된 **디지털 생태학(Digital Ecology)**이라는 비유는, 크로포드의 ‘체화된 지능’과 베이트슨의 ‘생태학적 마음’을 실무 설계도로 옮긴 흥미로운 시도다. AI를 추상적 모델이 아니라 한 그루의 살아 있는 나무로 본다.

  • 뿌리(Root) — 인프라/데이터: 서버(CPU/GPU/NPU), 네트워크, 보안, 클라우드, 그리고 데이터 플랫폼. 보이지 않지만 모든 것을 떠받친다.
  • 줄기(Trunk) — 분석/ML/AI: 데이터를 지식으로 구조화하고 모델을 학습시키는 층.
  • 가지(Branch) — 애플리케이션: 앱·웹 개발, AI 코딩 어시스턴트.
  • 잎(Leaf) — 채널/미디어: 고객과 만나는 대면·비대면 접점.
  • 열매·왕관(Crown) — 고객/비즈니스 서비스: 챗봇, 추천, 이상거래탐지(FDS) 등 실제 가치가 맺히는 곳.

이 나무의 핵심 메시지는 **‘잎과 열매(서비스)만 보고 뿌리(인프라·데이터)를 소홀히 하면 나무는 죽는다’**는 것이다. 화려한 생성 AI 서비스에 열광하면서 데이터 정합성과 거버넌스라는 뿌리를 다지지 않으면, 그 AI는 영리한 한스처럼 곧 밑천을 드러낸다. 가트너의 표현을 빌리면 디지털 생태학은 곧 ‘Gen AI를 위한 필수 요소’다.

또 하나 특징적인 것은 이 성장을 **단계(phase)**로 본다는 점이다. AI/ML/LLMOps(2026) → AI 생태계(AI Eco-system, 2028) → AI 초자동화(AI Hyper-Automation, 2030)로 나무가 자라난다. 흥미롭게도 이 단계들은 **오행(五行)**의 상징과 짝지어진다 — 운영 기반을 다지는 물(水), 생태계가 뻗어가는 나무(木), 자동화로 결실을 거두는 쇠(金). 동양의 순환적 우주관으로 기술 로드맵을 읽는 이 시도는, 육후이가 말한 코스모테크닉스 — 각 문명이 고유한 우주적 질서로 기술을 통합하는 방식 — 의 한국적 변주처럼 읽힌다. 보편적 단수의 ‘AI 발전 경로’가 아니라, 지역의 사유로 기술의 박자를 다시 짜는 것이다.

여기서 다시 만나는 개념이 **앙상블(ensemble)**이다. 금융 현장에서는 전통적 머신러닝 중심의 분석(Analytic) AI와 LLM 기반의 생성(Generative) AI를 따로 쓰지 않고 함께 묶어(ensemble) 활용한다. 이 책의 부제 ‘사회적 관계의 앙상블’이 거시적 비유였다면, 분석 AI와 생성 AI의 앙상블은 그 비유의 기술적 실현인 셈이다.

”겨울이 오는가, 봄이 왔는가”

마지막으로 이 모든 논의가 향하는 근본 물음이 있다. AI의 세 번째 겨울은 오는가, 아니면 진짜 봄이 온 것인가.

겨울을 경고하는 목소리는 가깝다. 한때 인류의 미래로 칭송받던 IBM 왓슨에 대해 뉴욕타임스(2021)는 이렇게 적었다 — “과거의 원대한 비전은 사라졌다. 오늘날 왓슨은 기술력의 대명사가 아니라 AI에 대한 기술적 과대광고와 자만심의 함정을 보여주는 냉정한 사례로 자리 잡았다.” 강력해 보이던 바둑 AI조차 약점을 파고드는 적대적 공격에 “놀라울 만큼 쉽게” 무너진다는 보고도 있다.

그런데 이런 과장과 환멸의 사이클은 처음이 아니다. AI의 역사는 거듭된 낙관과 겨울의 반복이었다.

  • 허버트 사이먼(1960): “기계는 20년 안에 인간이 할 수 있는 모든 일을 하게 될 것이다.”
  • 마빈 민스키(1967): “한 세대 안에 기계의 영역 너머에 남을 지적 영역은 거의 없을 것이다.”
  • 영국 라이트힐 보고서(1973): “그 분야 어디에서도 당시 약속했던 큰 충격을 줄 발견은 없었다.” (1차 AI 겨울의 방아쇠)
  • 존 매카시(1977): “개념적 돌파구가 필요하다. … 5년에서 500년쯤 걸릴 것이다.”

낙관의 예언은 늘 빗나갔고, 비관의 보고서는 겨울을 불렀다. 이 진자 운동 자체가 AI를 이해하는 열쇠다 — 위너부터 베이트슨까지의 계보가 가르쳐준 대로, 시스템은 진동(낙관)과 안정(환멸) 사이를 오가며 재조직된다.

그래서 이 책이 내리는 결론은 어느 한쪽 예언에 베팅하지 않는다. 대신 이렇게 말한다.

“AI는 만병통치약이 아니라 특정 문제를 해결하기 위한 방법론일 뿐이다. 미래는 예측하는 것이 아니라 만들어 가는 것이다.”

겨울이 올지 봄이 올지를 점치는 것은 영리한 한스에게 산수를 묻는 것과 같다. 정작 중요한 질문은 따로 있다 — 우리가 어떤 차이를 중요한 차이로 삼아, 어떤 뿌리를 다지고 어떤 앙상블을 조율할 것인가. 미래는 예측의 대상이 아니라 설계와 책임의 대상이다.

논쟁거리

과도한 AI 하이프(Hype) 속에서 3차 AI 겨울(3rd AI Winter)을 맞지 않기 위해, 우리는 기술적 대상들과 어떻게 건강한 **인지 집합체(Cognitive Assemblages)**를 구성해야 할까요? 지속가능하고 투명한 **디지털/AI 생태계(Digital Ecology)**를 만들기 위해, ‘뿌리’에 해당하는 인프라·데이터와 ‘열매’에 해당하는 서비스 사이의 균형은 어떻게 잡아야 할까요? 그리고 AI를 ‘사회적 관계의 앙상블’로 본다면, 그 앙상블의 어떤 목소리(광부·크라우드 노동자·소비자·규제)가 지금 지워지고 있을까요?

ChatGPT 출시 이후, AI 투자는 폭발적으로 늘었다. 그러나 스케일링 법칙의 한계가 논의되고, 에너지 소비와 환경 비용에 대한 우려가 커지며, 실제 비즈니스 성과에 대한 회의론도 증가하고 있다. AI 겨울은 단순한 기술적 실패가 아니라, 과도한 기대와 책임 없는 설계가 만들어낸 사회적 실망의 산물이었다.

시몽동의 언어로 말하자면, 인간과 기술적 대상이 건강한 관계를 맺기 위해서는 기계를 노예로 다루거나 두려운 적대자로 여기는 양극단을 모두 버려야 한다. 기술적 대상은 고유한 존재 양식을 가진 존재이며, 인간은 그 사이에서 정보를 전달하고 방향을 잡는 매개자이자 조정자다.

헤일스가 말한 인지 집합체를 건강하게 구성한다는 것은, AI가 처리할 수 없는 윤리적 판단과 가치의 영역에서 인간이 끊임없이 개입하고 책임을 지는 구조를 만드는 것이다. 더 빠른 AI가 아니라, 더 책임 있는 AI. 더 강력한 AI가 아니라, 더 인간적인 가치를 내재화한 AI. 그것이 세 번째 겨울을 피하는 유일한 길이다.

나선을 닫으며 — 다시 1장으로

이 책은 1장에서 한 문장으로 출발했다 — 모든 것을 숫자(벡터)로 환원한 뒤, 그 숫자들 사이의 거리로 닮음을 계산한다. 영화 취향도 장바구니도 일단 숫자의 나열로 바꾸기만 하면 “닮음”은 계산 가능한 값이 된다는, 그 매끄럽고 단순한 약속에서 우리는 떠났다. 그러나 아홉 장을 지나온 지금, 우리는 그 환원이 결코 깨끗한 수학적 조작이 아님을 안다. 숫자로의 환원은 볼리비아 소금 호수의 광물, 데이터를 라벨링하는 크라우드 노동, 욕망을 형성하는 권력, 그리고 그 모든 것을 떠받치는 에너지 — 즉 사회적 관계의 앙상블 위에서만 일어나는 일이었다. 도입부의 메트로놈처럼, 따로 흔들리던 기술·노동·제도·생태가 같은 판 위에서 동기화될 때에야 비로소 ‘AI’라는 진동이 생겨난다.

서론이 던지고 1장이 받았던 물음 하나를 마지막으로 다시 꺼낸다 — 사물은 상상할 수 있는가? 영리한 한스가 산수를 푸는 듯 보였듯, 기계는 점점 더 그럴듯하게 상상하는 듯 보인다. 이 책은 그 물음에 최종 답을 내리지 않는다. 특이점이 오는지 세 번째 겨울이 오는지도 점치지 않는다. 대신 그 질문을, 그리고 그 질문에 매달린 인간·기술·사회·환경의 지속가능성이라는 무게를 계속 들고 가자고 제안한다. 나선은 여기서 닫히되, 같은 자리에서 한 바퀴 높은 곳으로 다시 열린다.

Graph View

Backlinks