Chap 8. 토대와 상부구조 — AI 생태계와 AI Lifecycle
알고리즘이 실제 작동하기 위해 필요한 백엔드 데이터 시스템과 IT 인프라 구조를 분석합니다.
7장은 거대 모델을 손에 쥐여 주었지만, 동시에 풀리지 않은 청구서 한 장을 남겼다. 어텐션과 트랜스포머가 아무리 우아해도 그것은 수천 개의 GPU 위에서 수십 일을 돌아야 하고, 환각을 무릅쓴 채 막대한 연산과 메모리를 삼킨다. 그렇다면 질문은 더 이상 “어떤 알고리즘인가”가 아니다. 이 괴물을 실제로 학습시키고 추론시키려면, 그 아래에 무엇이 깔려 있어야 하는가. 알고리즘만으로는 안 된다 — 이 장의 문제는 거기서 출발한다. 그리고 케이트 크로포드는 바로 그 토대를 보라고 말한다. 영리한 한스의 비밀이 말의 머릿속이 아니라 그 주변의 인간과 환경에 있었듯, AI의 비밀도 모델 안이 아니라 모델을 떠받치는 지층에 있다.
‘영리한 한스’로 시작하는 이야기
19세기 말 유럽에는 ‘영리한 한스(Clever Hans)‘라는 불가사의한 말이 있었다. 한스는 산수 문제를 풀고, 시계를 보고, 달력의 날짜를 읽고, 음을 구별하고, 단어와 문장에 반응했다. 조사위원회는 한스가 실제로 지능이 있다고 결론 내렸다. 언론은 열광했다.
하지만 심리학자 오스카 풍스트가 밝혀낸 진실은 달랐다. 한스가 발굽을 두드리는 횟수가 정답에 가까워지면, 질문자의 자세와 호흡과 표정이 미묘하게 달라졌다. 한스는 그 신호를 보고 멈추었다. 놀라운 점은 질문자들이 자신이 그런 신호를 보내고 있다는 사실을 전혀 몰랐다는 것이다. 한스는 수학을 한 것이 아니라, 인간의 무의식적 반응을 읽는 데 전문가였다.
케이트 크로포드는 『AI 지도책』을 이 이야기로 시작한다. 그리고 물음을 던진다: 오늘날의 AI 시스템도 영리한 한스 아닐까? 우리가 지능이라고 보는 것이 사실은 데이터 속에 숨겨진 패턴, 노동자들의 라벨링, 그리고 우리 자신의 기대와 편향을 반영한 거울 아닐까?
AI는 인공적이지도, 지능적이지도 않다
크로포드의 주장은 도발적이다: AI는 ‘인공(Artificial)‘적이지도 않고 ‘지능(Intelligence)‘적이지도 않다. AI는 물질적으로 체화된 지능이며, 천연자원, 노동, 하부구조, 물류, 역사, 분류를 통해 만들어진다.
‘인공적이지 않다’는 말의 의미: AI 시스템은 허공에 떠있는 순수한 논리가 아니다. 리튬은 볼리비아의 소금 사막에서, 코발트는 콩고의 광산에서 채굴된다. 그것들이 배터리와 칩이 되어 데이터 센터를 돌린다. 모델을 훈련시키는 데이터는 전 세계 크라우드워커들이 낮은 임금을 받으며 라벨링했다. AI의 배후에는 수백만 명의 노동과 수십억 년에 걸쳐 지층 속에 축적된 광물이 있다.
‘지능적이지 않다’는 말의 의미: AI 시스템은 영리한 한스처럼, 진정한 이해 없이 패턴에 반응한다. 훈련 데이터에 특정 인종, 성별, 계층에 대한 편향이 있으면 그 편향을 그대로 흡수한다. AI는 세계를 분류하고 예측하지만, 그 분류 체계는 누가, 어떤 관점에서 만들었느냐에 따라 권력 관계를 재생산한다. 크로포드는 “AI 시스템은 사회 관계와 세계에 대한 이해를 반영하는 동시에 생산한다”고 말한다.
이러한 관점에서 크로포드는 AI를 “정치, 노동, 문화, 자본을 아우르는 대규모의 산업적 구성물”로 정의한다. AI의 진짜 버팀목은 알고리즘의 추상화가 아니라, 지구적으로 상호 연결된 추출과 권력의 체계다.
유령 노동과 해저 케이블: 「AI 지도책」이 그리는 지층
크로포드의 명제는 단호하다: “인공지능은 체화되고 물질적인 지능이며 천연자원, 연료, 인간 노동, 하부 구조, 물류, 역사, 분류를 통해 만들어진다. … 이런 의미에서 인공지능은 **권력의 등기부(register of power)**인 셈이다.” 이 등기부를 한 장씩 넘겨보면 매끈한 ‘지능’ 아래의 지층이 드러난다.
그림자 노동(ghost work). 우리가 자동화라 부르는 것 뒤에는 보이지 않는 사람들이 있다. 데이터를 라벨링하고, 유해 콘텐츠를 걸러내고, 모델의 틀린 출력을 교정하는 전 세계의 크라우드 노동자들이다. 크로포드는 이를 “인간을 연료로 쓰는 자동화”, “가짜 자동화(fauxtomation)“라 부른다 — 자동처럼 보이지만 실은 값싼 인간 노동이 그 틈을 메우고 있다는 것이다. 그는 20세기 초 시카고 도축장의 분업과 테일러리즘·포디즘의 시간 관리가, 오늘날 데이터 노동의 리듬으로 되살아났다고 본다.
해저 케이블과 식민의 지도. 인터넷을 떠받치는 해저 케이블의 노선조차 중립적이지 않다. 크로포드는 이렇게 적는다: “군사 전략가들은 케이블을 식민지와의 통신 수단으로 생각했으며 암묵적으로는 식민지를 통제하는 수단으로 여겼다. 오늘날 해저 케이블의 노선은 초기 식민지 네트워크와 여전히 일치한다.” 인프라는 과거의 권력 지형을 물리적으로 계승한다.
「Anatomy of an AI System」. 크로포드와 블라단 욜러는 아마존 에코(Echo) 스피커 하나를 만들고, 쓰고, 버리는 전 과정을 한 장의 지도로 그렸다. “알렉사, 날씨 알려줘”라는 한마디 뒤에 광물 채굴 → 제련 → 부품 제조 → 물류 → 데이터 라벨링 노동 → 사용자 음성 데이터 추출 → 전자 폐기물에 이르는 거대한 사슬이 있다.
그래서 크로포드는 못 박는다: “누군가가 ‘AI 윤리’를 입에 올리면 광부, 도급업자, 크라우드 노동자의 노동 여건을 떠올려야 한다. ‘대규모 자동화’가 칭송받으면, 그 자동화로 인해 생겨나는 탄소 발자국을 명심해야 한다.” 윤리는 모델 안이 아니라, 모델을 떠받치는 지층에 있다.
정보 이론: 신호와 잡음의 수학
데이터를 이야기하기 전에, 데이터가 어떻게 전달되는지를 먼저 이해해야 한다. 1948년 클로드 섀넌(Claude Shannon)이 발표한 ‘통신의 수학적 이론’은 정보 그 자체를 수학적으로 다루는 새로운 학문의 탄생이었다.
섀넌의 핵심 아이디어: 정보는 불확실성의 해소다. 동전을 던졌을 때 앞면이 나왔다는 사실은 1비트의 정보다—두 가지 동등한 가능성 중 하나가 선택됐기 때문이다. 32개의 가능성 중 하나가 선택됐다면 5비트다. 이미 알고 있는 사실은 정보가 없다. 반드시 일어나는 사건을 알려준다 해도 새로운 정보는 0이다.
섀넌 엔트로피(H)는 정보의 평균 불확실성을 측정한다. 여기서 “엔트로피”라는 단어는 물리학에서 빌려왔다—무질서의 정도를 나타내는 열역학 개념이다. 정보가 많을수록(불확실성이 높을수록) 엔트로피가 높다. 완전히 예측 가능한 상황에서는 엔트로피가 0이다.
섀넌의 또 다른 핵심 개념은 채널 용량(Channel Capacity)이다. 어떤 통신 채널이든 잡음이 있다. 그러나 적절한 부호화(Encoding)를 사용하면, 채널 용량 이하의 전송률에서는 오류 없는 통신이 가능하다는 것을 섀넌은 수학적으로 증명했다. 이것이 오늘날 모든 디지털 통신의 이론적 기초다.
여기에는 더 깊은 함의가 숨어 있다. 정보는 추상적 관념이 아니라 물리적 실체라는 것이다. “정보는 (인간주의적으로 환원되어) 관념화·낭만화된 기호·지식이나 (탈물질화된) 시장의 상품이 아니다. 정보는 물질과 에너지처럼 구체적인 물리이자 실체이다. … 열역학은 정보이론의 특수한 사례(볼츠만의 엔트로피 방정식 S=klogW)에 불과하다.” 섀넌의 정보 엔트로피와 볼츠만의 열역학 엔트로피가 같은 꼴의 수식을 공유하는 것은 우연이 아니다. 같은 1948년, 노버트 위너(Norbert Wiener)는 『사이버네틱스』에서 동물·기계·사회를 관통하는 제어와 피드백, 커뮤니케이션의 원리를 제시했다(2장). 정보가 물질이라면, 데이터 센터를 흐르는 엑사바이트의 정보 역시 전기와 열과 광물이라는 물리적 비용을 치른다 — 이 장의 뒷부분에서 마주할 ‘토대’다.
OSI 7계층: 네트워크는 어떻게 작동하는가
섀넌이 정보의 수학을 만들었다면, OSI(Open Systems Interconnection) 7계층 모델은 그 정보를 실제로 네트워크로 전달하는 방법을 표준화했다. 7계층은 아래에서 위로 이렇게 쌓인다:
1층(물리): 실제 전기 신호, 빛, 전파. 0과 1을 물리적으로 전달한다. 2층(데이터링크): 같은 네트워크 안의 두 장치 사이 직접 연결. MAC 주소. 3층(네트워크): 다른 네트워크로 패킷을 라우팅. IP 주소. 4층(전송): 패킷을 올바른 순서로 재조합하고 오류를 처리. TCP/UDP. 5층(세션): 연결을 열고 닫는 논리적 세션 관리. 6층(표현): 데이터 형식 변환, 압축, 암호화. 7층(응용): 사용자가 직접 사용하는 프로토콜. HTTP, FTP, SMTP.
이 계층 구조의 아름다움은 각 층이 자신의 아래 층을 신뢰하고 세부 사항을 몰라도 된다는 점이다. 웹 브라우저를 만드는 개발자는 7층만 신경 쓰면 된다. 광케이블을 설계하는 엔지니어는 1층에 집중한다. 복잡한 시스템을 계층으로 추상화하는 이 방식은 현대 소프트웨어 공학 전체를 관통하는 원리다.
DIKW 피라미드: 데이터에서 지혜까지
데이터(Data), 정보(Information), 지식(Knowledge), 지혜(Wisdom)—DIKW 피라미드는 원자료가 어떻게 의미를 얻어가는지를 보여주는 개념적 틀이다.
데이터는 맥락 없는 원자료다. “37.2”라는 숫자는 데이터다. 정보는 맥락이 붙은 데이터다. “오늘 오전 9시 서울의 기온은 37.2도”가 정보다. 지식은 패턴과 관계를 파악한 정보다. “서울 여름 기온이 37도를 넘으면 열사병 환자가 급증한다”는 지식이다. 지혜는 지식을 언제, 어떻게 사용할지 아는 것이다. “이런 날씨에는 야외 행사를 취소해야 한다”고 판단하는 것이다.
AI는 데이터를 정보로, 정보를 지식으로 처리하는 속도와 규모에서 인간을 압도한다. 하지만 지혜의 영역—가치 판단, 윤리적 결정, 장기적 맥락—은 여전히 인간의 영역으로 남아 있다. 혹은 남아 있어야 한다.
DBMS와 빅데이터 파이프라인의 진화
데이터를 저장하고 조회하는 기술은 수십 년에 걸쳐 진화해왔다.
DBMS(Database Management System): 관계형 데이터베이스(RDBMS)는 1970년대 에드거 코드가 테이블과 SQL로 데이터를 구조화하는 방법을 제시한 이후, 기업 데이터 관리의 표준이 되었다. 정형화된 트랜잭션 데이터—주문, 고객, 재고—를 처리하는 데 최적화되어 있다.
Data Warehouse: 분석을 위한 별도의 저장소. 여러 운영 시스템의 데이터를 ETL(Extract, Transform, Load) 과정을 거쳐 한곳에 모은다. 빠른 조회와 복잡한 분석 쿼리에 특화되어 있다. 하지만 구조화된 데이터만 다룰 수 있다는 한계가 있다.
Data Lake: 원시 데이터를 그대로 저장한다. 정형, 반정형, 비정형 데이터 모두 가능하다. 로그 파일, 이미지, 동영상, JSON 등 무엇이든 넣을 수 있다. 저렴하고 유연하지만, 잘못 관리하면 “데이터 늪(Data Swamp)“이 되어 정작 필요할 때 찾기 어렵다는 단점이 있다.
Data Lakehouse: 웨어하우스의 신뢰성과 레이크의 유연성을 결합하려는 시도다. Delta Lake, Apache Iceberg 등의 기술로 레이크 위에서도 트랜잭션과 스키마 관리를 가능하게 한다. Databricks와 같은 플랫폼이 이 개념을 대중화했다.
Data Fabric: 가장 최신의 개념이다. 단일 통합 플랫폼이 아니라, 분산된 여러 데이터 시스템을 메타데이터와 자동화된 파이프라인으로 연결하는 아키텍처다. 클라우드와 온프레미스, 다양한 데이터 형식을 seamless하게 연결한다.
배치(Batch) vs 스트림(Stream) 처리: 데이터 처리 방식도 두 갈래가 있다. 배치 처리는 데이터를 모아서 한꺼번에 처리한다—하루 거래 내역을 자정에 정산하는 식이다. 스트림 처리는 데이터가 생성되는 즉시 실시간으로 처리한다—주식 거래, 신용카드 사기 탐지, 스마트폰 알림이 그 예다. Apache Kafka, Apache Flink 등이 스트림 처리의 표준 도구가 되었다.
AI 스택: 네 개의 층으로 쌓아 올린 생태계
데이터 파이프라인이 흐르는 곳 위에 AI 서비스가 작동한다. 오늘날의 AI 생태계는 네 개의 층(layer)이 쌓인 구조로 이해할 수 있다. 아래에서 위로:
- IT 인프라 — AI 반도체(가속기)와 메모리. 모든 연산이 실제로 일어나는 물리적 바닥.
- 데이터 플랫폼 — 거래·고객·행동 데이터를 모으고 정제해 모델 학습에 공급하는 층.
- AI/ML 모델 — LLM을 비롯한 학습된 신경망. 이 책 7장에서 다룬 어텐션과 트랜스포머가 여기 산다.
- 어플리케이션(서비스) — 사용자가 실제로 만지는 챗봇, 검색, 추천, 코딩 도구.
흥미롭게도 이 그림에서 AI 모델이 차지하는 비중은 점점 줄어든다. 구글 연구진의 「Hidden Technical Debt in Machine Learning Systems」(2015)는, 실제 ML 코드는 전체 시스템의 아주 작은 조각에 불과하고 그 둘레를 데이터 수집·검증·서빙·모니터링 같은 인프라가 훨씬 크게 둘러싸고 있다고 지적한다. 게다가 ML 시스템은 “데이터·모델·파라미터가 서로 얽혀(Entanglement) 하나만 바꿔도 전체 성능이 달라지는” 특성이 있어, 전통 소프트웨어의 캡슐화(encapsulation)가 통하지 않는다. 알고리즘이 화려해 보여도, 그것을 실제로 작동시키는 일의 대부분은 토대—데이터와 인프라—를 다루는 일이다.
이 책의 제목이 빌려온 ‘토대와 상부구조’라는 비유가 여기서 문자 그대로 들어맞는다. 우리가 화면에서 만지는 서비스(상부구조)는 가장 아래의 반도체와 전력(토대) 없이는 한 글자도 출력하지 못한다. 보고서의 표현을 빌리면, “AI 스택은 나무나 건물의 구조와 같이, 뿌리와 지반에 해당하는 아랫층부터 쌓아올리는 순서로 살펴봐야 한다.” 이 장에서 우리가 따라가는 것은 결국 하나의 운동이다 — 가장 추상적인 알고리즘(어텐션의 수식)이 한 층씩 아래로 내려앉아, 끝내 광물과 전력이라는 가장 구체적인 물질로 응결되는 과정이다. 7장의 추상이 8장에서 구체로 착지하는 셈이며, 이 구체↔추상의 변증법이 가장 노골적으로 드러나는 무대가 바로 AI 인프라다.
이 네 층이 추상적인 이야기가 아니라는 것은, 금융업의 실제 업무 지도 위에 얹어 보면 분명해진다. 가장 위 어플리케이션 층은 업무 영역에 따라 다시 셋으로 갈린다.
| 업무 영역 | 대상 | AI 활용 서비스 |
|---|---|---|
| 프런트 오피스(Front Office) | 고객·마케팅·상품 | 챗봇/콜봇(AICC), 초개인화 마케팅(추천), 리포트·기사 번역/요약, AI PB |
| 미들 오피스(Middle Office) | 리스크·컴플라이언스 | 이상거래탐지, 자금세탁방지, 불완전판매 모니터링, 신용 평가, 리스크 관리 |
| 백 오피스(Back Office) | 계약/심사·인사/리서치·IT | 언더라이팅, 인사·교육·재무·리서치 지원, 코딩 어시스턴트, IT 인프라 모니터링 |
그 아래 AI/ML 모델 층에서 실제로 쓰이는 LLM은 크게 둘로 나뉜다. 외부 API로 빌려 쓰는 상용 모델(구글 Gemini, OpenAI GPT, 앤트로픽 Claude, xAI Grok)과, 가중치를 받아 자체 인프라에 올릴 수 있는 오픈소스 모델(딥시크, 알리바바 Qwen, 메타 Llama)이다. 추론을 외부에 맡길지(상용 API), 안에서 직접 돌릴지(오픈소스 + 자체 GPU)는 곧 이 장에서 다룰 인프라 설계 전체를 가른다.
두 번째 층인 데이터 플랫폼에 대해 보고서는 한 문장으로 못 박는다. “AI에 있어서는 무엇보다 데이터의 양보다 데이터의 품질 관리가 매우 중요하다.” 정형·비정형 데이터를 수집·저장·분석·시각화하는 파이프라인 자체보다, 그 위에서 돌아가는 거버넌스—기초 데이터 관리와 품질 관리—가 모델의 운명을 좌우한다는 것이다. 거래 데이터, 고객 행동 데이터, 직원 활동 데이터는 모두 모델 재학습의 연료가 된다. 이 ‘양보다 질’ 명제는 뒤에서 학습 시간을 계산할 때 다시, 더 극적인 숫자로 돌아온다.
가장 중요한 변화는 1층에서 일어나고 있다. 프로세서 중심에서 메모리 중심으로의 이동이다. 과거에는 CPU·GPU 같은 ‘계산하는 칩’이 주인공이었다. 그러나 LLM이 대중화되면서 병목은 연산이 아니라 데이터를 칩에 얼마나 빨리, 얼마나 많이 실어 나르는가로 옮겨갔다. 그래서 더 넓은 대역폭 + 더 큰 용량 + 더 높은 전력 효율을 갖춘 메모리—특히 HBM(High Bandwidth Memory)—이 무대 중앙으로 올라왔다. HBM은 일반 D램(DRAM)을 수직으로 쌓아 올려 GPU 연산의 메모리 병목을 푸는 고대역폭·초고속·대용량 메모리다.
AI 반도체 자체도 두 갈래다. 범용 병렬 연산을 위한 GPU(엔비디아가 주도)와, 신경망 연산에만 회로를 최적화한 ASIC—NPU·TPU(구글이 주도)—이다. 효율적 추론의 중요성이 커지면서, 범용 GPU보다 저전력·저비용으로 빠른 연산이 가능한 ASIC의 비중이 점진적으로 커지는 흐름이다.
AI 라이프사이클: 학습과 추론
AI 모델의 일생은 크게 두 단계(Phase)로 나뉜다.
- 학습(Training, 모델 개발) — 대규모 데이터로 최적의 신경망 매개변수(가중치)를 산출하는 과정. 7장에서 종이 위에 한 사이클 돌려본 역전파가, 여기서는 수천 개의 GPU 위에서 수십 일 동안 돌아간다.
- 추론(Inference, 모델 활용) — 학습된 모델로 사용자 요청에 실시간으로 응답하는 과정. 우리가 ChatGPT에 질문을 던질 때마다 일어나는 일이다.
보고서는 이 둘을 학생에 비유한다. 학습은 공부·연습·훈련이고, 추론은 시험·시합·실전이다. 학습 단계에서 중요한 성능 지표는 연산량(throughput)과 정확도—“수십조 단위의 데이터로부터 얼마나 빠르고 정확하게 학습하는가”—이고, 가중치는 계속 업데이트되며 FP32·BF16 같은 고정밀 연산을 쓴다. 반면 추론 단계의 지표는 응답 속도(latency)와 운영 효율(전성비)—“얼마나 낮은 비용으로 쉽고 빠르게 서비스하는가”—이고, 가중치는 고정된 채 INT8·INT4 같은 저정밀(양자화된) 연산으로 충분하다. 비용 구조도 정반대다. 학습은 한 번에 크게 쏟는 초기 투자형, 추론은 쓰는 만큼 늘어나는 사용자 비례형이다. 그래서 보고서는 현장 조언을 덧붙인다—“증권이나 계열사가 클라우드 기반이 아닌 자체 인프라 환경에서 AI 서비스를 제공한다면, 학습이 아니라 추론에 적합한 AI 인프라를 갖추는 것이 필요하다.”
학습이 얼마나 걸리는지도 연필로 가늠할 수 있다. 보고서가 제시하는 공식은 단순하다.
학습 소요 시간 ≈ (상수 6–8) × 학습 데이터(토큰 수) × 매개변수 개수 ÷ (GPU 성능(Flops) × GPU 개수)
상수 6–8은 한 토큰을 한 번 학습하는 데 순전파·역전파를 합쳐 매개변수당 6–8회의 부동소수점 연산이 든다는 경험칙이다. GPT-3로 직접 넣어 보자. 매개변수 P=1,750억 개, 학습 토큰 T=3,000억 개, A100 GPU(약 140TFlops 유효 성능) 1,024개를 100% 효율로 돌린다고 하면:
연산량 C ≈ 8 × (3,000억 × 1,750억) = 약 4.2 × 10²³ 회 1초당 처리 = 140 × 10¹² × 1,024 ≈ 1.43 × 10¹⁷ 회/초 소요 시간 = 4.2 × 10²³ ÷ 1.43 × 10¹⁷ ≈ 2,929,687초 ÷ (60×60×24) ≈ 약 33.9일
이 숫자가 곧장 현실의 함정을 드러낸다. 보고서는 “실제로 GPU 클러스터를 구성하면, 메모리 병목이나 통신 오버헤드 등으로 GPU가 놀고 있는 IDLE 타임이 발생하여, 실제 GPU 활용도(MFU)는 40% 정도밖에 되지 않는다”고 지적한다. 위 33.9일은 100% 효율의 이상치일 뿐, 현실에서는 그 두 배 이상으로 늘어난다. 더 무서운 것은 최신 모델이다. 보고서가 같은 공식(C = 8 × T × P, GPU 10만 장, BF16 989TF, MFU 40%)을 다양한 모델에 적용해 만든 표를 옮기면 다음과 같다.
| 모델 | 매개변수 P | 토큰 T | H100×10만 | 블랙웰×10만 | 루빈×10만 |
|---|---|---|---|---|---|
| GPT-3 (2020) | 175B | 300B | 약 1.3시간 | 약 30분 | 약 11분 |
| GPT-4 (2023) | 1.8T | 15T | 약 55일 | 약 24일 | 약 10일 |
| GPT-5.2 (예정) | 5T | 25T | 약 293일 | 약 129일 | 약 52일 |
| Sora2 (영상) | 30B | 50T 패치 | 약 2.4년 | — | 약 155일 |
| 테슬라 FSD | 10B | — | — | — | 약 1.4년 |
| 아틀라스 (휴머노이드) | 70B | — | — | — | 약 14년 |
GPT-5.2 한 번 학습에 H100 10만 장으로 약 7조 원, 휴머노이드 로봇 학습은 최신 루빈 GPU 10만 개로도 2년 이상이 걸린다. 그래서 보고서는 “2020년 즈음 일부 국내 은행 지주 회사도 A100을 활용해 파운데이션 모델을 만들어보려 했지만, 인프라만 구축한다고 모델이 저절로 되는 게 아니라 대부분 매몰비용으로 사라졌다”고 회고한다. 빅테크가 이 ‘시간의 저주’를 깨는 비결은 세 가지다—(1) 처음부터 다시 배우지 않고 기존 가중치를 이어 쓰는 **워밍업(Warm Start)**으로 연산량의 70–80%를 아끼고, (2) 작은 축소판 모델로 스케일링 곡선을 먼저 그려본 뒤 큰 버튼을 누르며, (3) “데이터의 양보다 질”—쓰레기 데이터를 걷어내고 가장 교육적인 데이터만 정제하면 학습 시간이 그만큼 줄어든다. 보고서의 표현으로 “데이터를 1/10로 정제하면 학습 시간도 1/10로 줄어든다.”
두 단계는 병목이 다르다. 추론의 프리필(prefill)—질문을 읽고 이해하는 단계—은 연산이 병목인 **컴퓨트 바운드(compute-bound)**이고, 추론의 디코딩(decoding)—한 토큰씩 답을 내놓는 단계—은 메모리 대역폭이 병목인 **메모리 바운드(memory-bound)**다. 그래서 추론 효율은 메모리에 크게 좌우된다.
추론 지연 시간도 두 토막으로 나뉜다. **TTFT(Time To First Token, 질문을 읽고 첫 글자가 나오기까지)**는 프리필 연산량을 GPU 성능으로 나눈 값이고, **TPOT(Time Per Output Token, 그다음부터 한 글자씩 나오는 평균 시간)**는 한 토큰을 뱉을 때마다 읽어야 하는 메모리 양을 대역폭으로 나눈 값이다.
TTFT = 프리필 Flops ÷ GPU Flops TPOT = (모델 가중치 + KV 캐시) 메모리 접근량 ÷ 메모리 대역폭
메타의 Llama-3(70B, BF16)을 H100 2장(대역폭 합 약 6.7TB/s)으로 돌려 보면, 입력 3,584토큰의 프리필은 약 0.675초, 디코딩은 토큰당 약 22.5ms가 걸린다. 출력 512토큰이면 디코딩은 약 11.5초, 합쳐 추론 지연 ≈ 12.19초, 처리량 ≈ 512 ÷ 12.19 ≈ 42 t/s다. (참고로 같은 모델을 통째로 칩으로 구워 넣은 하드와이어드 사례는 1만 7천 t/s를 내기도 한다—메모리 병목을 아예 없앤 극단이다.)
메모리가 얼마나 필요한지는 연필로 가늠할 수 있다. 학습에 필요한 메모리는 대략 이렇게 잡는다:
학습 메모리 ≈ (4–6) × 매개변수의 정밀도(Byte) × 매개변수 개수
여기서 상수 4–6은 가중치 그 자체 말고도 순전파 활성화 값, 역전파 기울기(gradient), Adam 같은 옵티마이저 상태까지 메모리에 함께 들고 있어야 하기 때문에 붙는다. GPT-3(175B)를 FP32(4바이트)로 학습하면 가중치만 700GB, BF16(2바이트)로는 350GB다. 정밀도를 낮추는 **양자화(quantization)**가 왜 그렇게 중요한지가 숫자로 드러난다.
추론은 더 가볍다. 정밀도 × 매개변수 + KV 캐시 + 기타(활성화 값, CUDA 라이브러리)면 된다. 여기서 **KV 캐시(Key-Value Cache)**가 핵심이다. 7장에서 본 어텐션이 토큰마다 계산하는 Key·Value 결과를 메모리에 적어두고(포스트잇을 붙여두고) 같은 계산을 반복하지 않게 하는 기법으로, 응답 속도(TPOT, 토큰당 평균 생성 시간)를 획기적으로 끌어올린다. 대신 동시 접속자가 늘수록 KV 캐시가 메모리를 잡아먹어 동시 서비스 인원을 제한한다. 그래서 DeepSeek-R1은 MoE(Mixture of Experts)와 MLA(Multi-head Latent Attention)로 KV 캐시를 93.3% 절감하고 토큰 처리량을 576% 개선했다고 보고한다.
큰 그림에서 패러다임이 학습에서 추론으로 이동하고 있다. 더 큰 모델·더 많은 데이터·더 큰 연산을 쏟을수록 성능이 오른다는 스케일링 법칙(Scaling Law)이 한계에 부딪히면서, 같은 자원이라면 학습보다 추론에 집중하는 편이 가성비가 높아졌기 때문이다. 생각의 사슬(Chain of Thought), 다단계 추론, 에이전트, 멀티모달·피지컬 AI가 확산되면서 실시간 처리량이 폭증하고, 전성비와 응답 속도 같은 추론 효율이 인프라의 새 중심축이 되고 있다.
메모리 계층 — SRAM에서 HDD까지
학습과 추론을 가르는 진짜 무대는 GPU 안이 아니라 메모리 계층(memory hierarchy) 사이에서 데이터가 오가는 길목이다. 가장 빠른 쪽에서 가장 느린 쪽으로 다섯 계단이 있다.
| 계층 | 위치 | GPU 1장당 크기 | 대역폭 | GB당 원가 | 역할 |
|---|---|---|---|---|---|
| 레지스터 | 텐서 코어 옆 | KB 단위 | 1사이클 | — | 곱셈 직전 피연산자 |
| SRAM (L1·L2) | GPU 다이 위 | 약 100–300MB | 다이 내부 TB/s | 약 $10,000 | FlashAttention이 머무는 곳 |
| HBM | 인터포저 위 GPU 옆 | 80–288GB (B200 192GB, B300/루빈 288GB–1TB) | 3.4–15TB/s↑ | 약 $16.6 | 모델 가중치 + KV 캐시 |
| CPU DRAM (LPDDR5X) | 시스템 보드 | Grace 480GB, x86 호스트 128–2,048GB | –0.5TB/s | 약 $4–5 | 호스트 메모리, CXL 풀 |
| NVMe SSD (NAND) | 랙 안 PCIe | 트레이당 30TB↑, 센터당 EB | 약 14GB/s | 약 $0.15 | 체크포인트, 핫 학습 데이터 |
| HDD (오브젝트 스토리지) | 데이터 레이크 | EB↑ | 약 0.2GB/s | 약 $0.02 | 원본 코퍼스, 콜드 로그, 완료 모델 |
같은 1GB라도 가장 비싼 SRAM과 가장 싼 HDD 사이엔 약 50만 배의 가격 차가 있다. 위로 갈수록 빠르지만 비싸고 작고, 아래로 갈수록 싸지만 느리고 크다. 그래서 AI 추론은 사실상 이 계단을 얼마나 적게 오르내리느냐의 게임이다 — 위에서 일을 처리하면 빠르고, 아래로 자꾸 내려가면 GPU가 노는 시간이 늘어난다.
이 관점에서 FlashAttention(2022) 같은 알고리즘이 왜 혁명이었는지가 분명해진다. 어텐션 연산을 잘게 쪼개 SRAM 안에서 끝내고 HBM 왕복을 없애 버린 것이다. KV 캐시·MoE·MLA처럼 데이터 재사용을 늘리는 기법이 이 시대의 핵심 무기인 이유도 같다 — 비싼 SRAM과 HBM에 한 번 올린 데이터를 최대한 오래 우려먹는 것이다.
규모를 가늠해 보면 충격이 분명해진다. 1GW AIDC 한 곳을 GB200 NVL72로 채운다고 가정하면 SRAM 약 174TB, HBM 96–143PB, CPU DRAM 약 120PB, 로컬 NVMe 약 3.7EB가 들어간다. 이 메모리 계층 전체의 산업적·시장적 그림은 별도 개요 페이지 AI Chip and Memory에 정리해 두었다.
AI 데이터 센터의 경제학
종합 정리: AI Data Center: Building the AI Factory 개요 페이지
기존 데이터 센터(IDC)와 AI 데이터 센터(AIDC)는 목적이 다르다. IDC는 CPU와 DB 서버 중심으로 인터넷 서비스를 제공했다. AIDC는 AI 학습·추론을 위해 GPU와 메모리 기반의 고성능 컴퓨팅 자원을 제공한다. 수천억 개의 트랜지스터가 집적된 GPU를 수만–수십만 개 단위의 클러스터로 묶어 돌리기 때문에, 안정적인 전력 공급과 냉각이 사활을 가른다. 그래서 AIDC를 ‘AI 팩토리(AI Factory)‘라고도 부른다.
두 센터의 차이를 표로 놓으면 선명하다.
| 구분 | IDC (인터넷 데이터 센터) | AIDC (AI 데이터 센터) |
|---|---|---|
| 주 연산 장치 | CPU 서버 (DB·인터넷 서비스) | GPU·NPU 가속기 + 메모리 (학습·추론) |
| 전력 밀도 | 랙당 2–20kW (센터 10–100MW) | 랙당 20–120kW↑ (B200 1장 ≈ 1kW, 센터 100MW–1GW↑) |
| 냉각 | 공랭식 (랙당 20–30kW가 한계) | 수랭식 — 액체 열전도율이 공기의 약 24배 |
| 네트워크 | 일반 이더넷 | 초저지연 인피니밴드 + 최신 이더넷 |
| Capex 비중 | IT 장비 : 건물 ≈ 5 : 5 | IT 장비 : 건물 ≈ 6 : 4 – 7 : 3 |
랙 하나가 20–120kW를 먹는다는 건, 작은 사무실 수십 곳의 전기를 캐비닛 한 칸에 욱여넣는 셈이다. 전구에 불을 켜면 열이 나듯 트랜지스터를 빽빽이 모으면 엄청난 열이 나고, 그 열을 못 다스리면 사람처럼 시스템도 성능과 수명이 떨어진다. 공기로는 감당이 안 되어, 열을 훨씬 잘 나르는 액체로 식히는 수랭식이 표준이 된다. 세대가 바뀌며 효율도 빠르게 오른다 — 엔비디아 GB200 NVL72는 직전 H100 대비 연산 약 5배, 추론 속도 약 30배, 같은 일을 하는 전력은 25배 이상 절감되고 차지하는 바닥 면적도 10배 넘게 준다. 그럼에도 전체 수요가 더 빨리 커져, 절대 전력량은 계속 늘어난다. (참고로 한국에는 상업용 IDC가 약 100여 개, 공공·금융권 자체 데이터 센터가 60–70개 있고, 2029년까지 100여 개가 더 지어질 예정이다.)
비용 구조부터 다르다. 일반 IDC는 건축·전력·냉각이 50–60%, 서버가 30–35%를 차지했다. 반면 AIDC는 AI 서버·네트워크·스토리지 같은 IT 인프라 장비가 60–70%, 건설(Facility)이 30–40%다. 돈이 콘크리트가 아니라 칩으로 간다는 뜻이다. 그래서 AI 데이터 센터를 포함한 전체 AI 인프라 투자는 2026년 1조 달러를 돌파할 것으로 전망되고, 그 안에서 AI 반도체가 차지하는 비중은 2023년 27%대에서 2029년 78%대로 치솟을 것으로 예상된다.
규모를 가늠해보자. 1GW급 AIDC 하나를 짓는 데 약 350억 달러(50조 원) 이상이 든다. 이제 이 센터가 본전을 뽑으려면 GPU 시간을 얼마에 팔아야 하는지, 7장의 정신으로 손계산을 해보자.
총소유비용(TCO) 추정 — GPU 50만 개를 4년 운영한다고 가정
- 구축비(Capex): 약 50조 원
- 전력비: 1GW × 730시간/월 × 180원/kWh ≈ 1,314억 원/월 → 약 1.58조 원/년
- 운영비(유지보수·네트워크 등): 약 1조 원/년
- 4년 운영비 합계 ≈ (1.58조 + 1조) × 4 ≈ 10.3조 원
- TCO ≈ 50조 + 10.3조 ≈ 60.3조 원
이제 팔 수 있는 GPU 시간을 센다:
- 50만 개 × 24시간 × 365일 × 4년 ≈ 175억 시간
- 가동률 80% 적용 → 실제 판매 가능 약 140억 시간
손익분기점(BEP) = 60.3조 원 ÷ 140억 시간 ≈ 시간당 4,300원(약 $3)
이 약 9를 넘는다. 칩을 직접 깔 수만 있다면 마진이 어디서 나오는지가 한눈에 보인다—그리고 왜 모두가 GPU를 사들이려 달려드는지도.
왜 데이터 센터를 끝없이 지어야 하는가
수요가 왜 이렇게 폭발하는가? AI가 다루는 데이터의 ‘종류’가 바뀌고 있기 때문이다. 텍스트만 주고받던 LLM에서, 영상을 만들고(멀티모달), 물리 세계에서 움직이는(피지컬 AI) 단계로 가면 처리할 토큰의 양이 자릿수째 뛴다. 보고서가 정리한 어림값은 이렇다(LLM을 1로 둔 상대 비율):
| AI 유형 | 입력 | 출력 | 총 토큰(상대) |
|---|---|---|---|
| LLM (챗봇·에이전트) | 1× | 1× | 1× |
| 멀티모달 (비디오 생성) | 1× | 1,000× (디퓨전 반복) | 약 1,000× |
| 피지컬 AI (자율주행) | 1,000× | 10× | 약 10,000× |
| 피지컬 AI (휴머노이드) | 1,000× | 100× | 약 100,000× |
A4 300장이 약 20만 토큰인데, 자율주행차는 카메라·라이다·지도·예측을 매 순간 토큰으로 바꿔 삼킨다. 텍스트보다 1,000–100,000배 많은 데이터를 실시간으로 처리하려면, 결국 더 많은 GPU와 더 큰 메모리를 담을 데이터 센터를 계속 지을 수밖에 없다. 9장에서 볼 멀티모달·피지컬 AI의 야심은, 8장의 이 인프라 청구서 위에서만 실현된다.
반도체의 살림살이: GPU와 HBM
데이터 센터 비용의 60–70%가 칩이라면, 그 칩 한 장의 원가는 어떻게 짜일까. 엔비디아의 B200 GPU를 분해해보면 이렇다(BOM, Bill of Materials, 약 $6,400):
| 부품 | 원가 | 비중 |
|---|---|---|
| HBM3e (192GB) | $3,200 | 50% (≈ $16.6/GB) |
| CoWoS 패키징·테스트 (TSMC) | $1,600 | 25% |
| 실리콘 로직 다이 | $1,100 | 17% |
| PCB 기판·전압 모듈 등 기타 | $500 | 8% |
원가의 절반이 메모리(HBM)다. “프로세서 중심에서 메모리 중심으로”라는 말이 원가표에서 다시 확인된다. 그런데 이 B200의 판매가는 모듈 단품 기준 **약 6,400을 빼면 마진이 3M(약 43.5억 원)**에 팔린다. (참고로 직전 세대 H100/H200은 장당 $22,000–25,000 수준이었다.)
왜 HBM이 이렇게 비쌀까—여기도 연필로 답할 수 있다. 12인치 웨이퍼 한 장에서:
- 일반 DDR5: 칩 면적 약 60–65mm² → 약 1,000개 생산, 수율 90% → 양품 약 900개. 웨이퍼 원가 2.8**
- HBM3e: 칩 면적 약 80–85mm²(TSV 관통 전극과 방열 여백 때문에 더 큼) → 약 750개 생산, 수율 60% → 양품 약 450개. 웨이퍼 원가 8.9**
같은 웨이퍼에서 양품이 절반으로 줄고, 그 비싼 칩 8개를 다시 수직으로 쌓아(8-Hi 큐브) 하나의 HBM을 만든다. 적층 중 하나만 불량이어도 큐브 전체를 버려야 하니 수율이 또 깎인다. GPU와 HBM을 잇는 일도 일반 PCB로는 불가능해서, TSMC의 CoWoS 같은 첨단 패키징(실리콘 인터포저)이 필요하다—이것이 또 하나의 공급 병목이다.
규모로 환산하면 충격이 분명해진다. 1GW AIDC ≈ GPU 50만 개 ≈ HBM 큐브 약 400만 개 ≈ 12인치 웨이퍼 약 8.9만 장이 필요하다. 데이터 센터 하나가 반도체 산업 전체의 생산 능력을 빨아들이는 셈이다.
메모리 슈퍼사이클
이 수요는 메모리 시장 전체를 끌어올리고 있다. 총 메모리 매출은 2024년 약 626B로 성장할 전망이다. 2025–2029년 수요 기준 연평균 성장률(CAGR)은 DRAM 15%, NAND 21%로 추정된다.
과거 메모리 사이클은 ASP(평균 판매 가격)가 호황과 불황을 따라 크게 등락했다. 그런데 이번엔 양상이 다르다는 분석이 많다. 두 가지 이유 때문이다.
첫째, 공급이 쉽게 늘지 않는다. DRAM의 기술 난이도가 올라가면서 자본 집약도가 높아졌고, Capex를 쏟아도 생산 능력(Capa)이 예전만큼 빨리 늘지 않는다.
둘째, HBM이 범용 DRAM 생산 능력을 잠식한다. HBM은 같은 면적에서 양품이 절반밖에 안 나오므로(앞 절의 계산), HBM 수요가 늘수록 범용 DRAM에 쓸 수 있는 웨이퍼가 줄어든다. DRAM이 부족해지면 NAND 라인을 DRAM으로 돌리려는 압력이 생겨 NAND까지 함께 빠듯해진다. AI 인프라 수요가 메모리 시장 전체에 도미노를 일으키는 ‘나비 효과’다.
그 결과 ASP의 하방 위험이 줄어, 공급 제약과 HBM발(發) 평균 단가 상승이 맞물린 반도체 슈퍼사이클이 당분간 이어질 것이라는 전망이 나온다.
전력이라는 한계
칩을 다 사 모아도 마지막 벽이 남는다. 전기다.
1GW AIDC 한 곳의 전력비만 연 1.5조 원을 넘는다(앞의 TCO 계산). 전 세계로 넓히면, 데이터 센터의 전력 소비량은 2024년 약 415 TWh—시간으로 환산하면 약 47GW를 24시간 내내 쓰는 셈이고, 세계 전력 소비의 약 1.5%다. 이것이 2030년까지 두 배인 약 945 TWh로 늘 것으로 예상된다. 전력 소비의 약 60%는 서버가 차지하며, 냉각은 효율적인 하이퍼스케일에서는 7% 정도지만 일반 엔터프라이즈에서는 30%를 넘기도 한다.
증가 속도는 가파르다. AI 서버가 끌어 쓰는 전력은 2025년 약 10.8GW에서 2029년 약 55.9GW로, AI 데이터 센터의 전력 용량은 같은 기간 19.8GW에서 64.4GW로 늘 것으로 전망된다(2026년 기준 가동률 ≈ 17.9 / 29.1 ≈ 61%). 빅테크는 아예 기가와트급 단지를 짓는다 — 마이크로소프트 ‘스타게이트’(5GW), 메타 ‘프로메테우스’(1GW)와 ‘하이페리온’(5GW), xAI ‘콜로서스’(1GW), AWS ‘큐물러스’(1GW) 등. 1GW가 원전 한 기의 발전량임을 떠올리면, 데이터 센터 한 곳이 발전소 하나를 통째로 요구하는 시대다.
문제는 속도의 비대칭이다. 데이터 센터는 2–3년이면 짓지만, 그 센터를 먹일 발전 설비는 그렇지 않다. 원자력 발전(1.4GW 원자로 기준 약 7조 원, 건설 8–10년, 설계 수명 60년)은 시간이 너무 오래 걸리고, 대안으로 **SMR(소형모듈원전, 300MW 이하, 약 1조 원, 공장 제작 후 현장 조립)**과 신재생·연료전지를 결합한 온사이트 전력 공급이 거론된다. 참고로 한국의 2024년 발전 설비용량은 약 144GW, 순간 최대 전력 수요는 97GW였다—1GW짜리 AI 데이터 센터 몇 개가 국가 전력망에 얼마나 큰 부담인지 가늠이 된다.
게다가 부족한 것은 발전 용량만이 아니다. 지난 5년간 산업용 전기요금이 가파르게 오른 데다(보고서는 267% 상승을 든다), 데이터 센터가 수도권에 몰리면서 정작 더 큰 병목은 전기를 실어 나르는 송전망이 되고 있다. 그래서 전력을 안정적으로 싸게 확보할 수 있는 입지를 둘러싼 경쟁이 치열하다 — 한국은 비교적 저렴하고 안정적인 전력이 강점이지만, 글로벌 1차 시장 대비 데이터 수요와 통신 연결성에서는 열위다.
바로 이 지점에서, 추상적인 클릭 한 번 아래에 깔린 물질적 토대가 모습을 드러낸다.
미디어 지질학: AI는 돌과 광물로 만들어진다
유시 파리카의 『미디어의 지질학』은 디지털 미디어를 전혀 다른 각도에서 바라본다. 컴퓨터, 스마트폰, AI 서버—우리가 디지털이라고 부르는 것들은 정보 처리 장치이기 이전에 ‘돌’이고 ‘광물’이며 ‘지층’이다.
스마트폰 하나에는 구리, 금, 은, 팔라듐, 텅스텐, 코발트, 희토류 원소들이 들어 있다. 이 원소들은 수억 년에 걸쳐 지층 속에 축적된 것들이다. 그것을 채굴하기 위해 광산을 파고, 독성 화학물질로 정제하고, 엄청난 에너지를 소비한다. 콩고민주공화국의 코발트 광산, 볼리비아의 리튬 염호, 중국 내몽고의 희토류 채굴 현장—AI의 하드웨어는 여기서 시작된다.
파리카는 이것을 “심원한 시간(Deep Time)“의 문제라고 부른다. 우리가 클릭 한 번, 스크롤 한 번 할 때마다 지질학적 시간이 압축되어 소비된다. 수억 년에 걸쳐 만들어진 자원이, 3–5년 수명의 소비재로 전락한다. 그리고 전자 폐기물이 되어 땅과 물을 오염시킨다.
크로포드와 파리카의 관점을 함께 놓으면, AI의 물질적 기반이 선명하게 드러난다:
- 지하: 희토류, 리튬, 코발트 채굴—지질학적 자원의 소비
- 지상: 데이터 센터—전기와 냉각수의 소비
- 클라우드: 모델 훈련—막대한 에너지 소비
- 인간: 크라우드워커의 라벨링 노동—보이지 않는 노동
ChatGPT 한 번의 대화가 구글 검색보다 수십 배 많은 전력을 소비한다는 추정치들이 있다. GPT-4를 훈련시키는 데 사용된 에너지는 소규모 도시 수백 가구의 연간 소비량에 비견된다는 분석도 있다. AI 데이터 센터의 전력 수요는 세계 전력망에 새로운 부담이 되고 있다.
섀넌에서 데이터 센터까지: 연결의 역사
섀넌이 1948년 정보의 수학을 만들었을 때, 그는 전보와 라디오를 생각했다. 그로부터 75년 후, 그 이론은 광케이블과 5G와 데이터 센터를 흐르는 엑사바이트 규모의 데이터를 뒷받침한다.
현대의 AI 인프라는 이 모든 계층이 맞물려 작동한다: 섀넌의 정보 이론은 데이터 압축과 오류 정정의 기초다. OSI 7계층은 데이터가 네트워크를 통해 이동하는 구조다. DBMS와 데이터 파이프라인은 데이터를 저장하고 처리하는 체계다. 그리고 이 모든 것의 물리적 기반에 광물과 에너지가 있다.
추상화된 계층 위에서 클릭 한 번은 쉽고 가볍게 느껴진다. 하지만 파리카의 렌즈로 보면, 그 클릭 한 번 아래에 지구의 지질학이 있다. 크로포드의 렌즈로 보면, 그 아래에 누군가의 노동이 있다.
참고 논문
- shannon-1948-a-mathematical-theory-of-communication — 정보 엔트로피와 통신 채널 용량의 수학적 기초를 정립한 섀넌의 정보 이론
- vaswani-2017-attention-is-all-you-need — 어텐션의 Key·Value 연산은 추론 단계에서 KV 캐시로 메모리에 머무르며 HBM 수요의 근원이 된다
- kaplan-2020-scaling-laws-for-neural-language — 학습 규모와 성능의 관계를 정립한 스케일링 법칙. 그 한계가 추론 중심 패러다임으로의 이동을 촉발했다
- wei-2022-chain-of-thought-prompting-elicits-reasoning-in — 생각의 사슬은 추론 시 토큰 처리량을 폭증시켜 인프라 수요를 끌어올린다
개요 페이지 (Wiki overviews)
- ai-chip-and-memory — GPU·ASIC·HBM, 메모리 계층, CoWoS-L/CoPoS 패키징, 시장 구조까지 산업적 시각으로 종합
- ai-data-center — 1GW AI 팩토리의 경제학, 전력 궤적, 빅테크 GW급 계획, 한국 시장 포지션
더 읽을거리
- 마테오 파스퀴넬리, 『주인의 눈 — 인공지능의 사회사』(동녘) — 크로포드 『AI 지도책』의 동반 도서. AI를 인간 노동의 분업을 측정·기계화한 시스템으로 읽는다. 영리한 한스와 유령 노동의 문제의식을 노동사의 관점에서 이어받는다. (독후감: 주인의 눈)
논쟁거리
미디어 지질학(Media Geology)적 관점. 거대 데이터 센터와 AI가 유발하는 전력 소비, 탄소 배출, 희토류 채굴 문제는 지속 가능할까요?
2023년, 미국 국립해양대기관리국(NOAA)은 그해 평균 해수면 온도가 전년보다 0.25도 올라, 단 1년 만에 지난 20년간 상승한 수치를 초과했다고 발표했다. 같은 해, 마이크로소프트는 탄소 중립 목표를 발표한 지 3년 만에 탄소 배출이 오히려 30% 증가했다고 공개했다—AI 인프라 확장 때문이었다. 구글도 2024년, AI 수요로 인해 탄소 배출 감축 목표 달성이 어려워졌다고 인정했다.
단기 경제 논리와 장기 지속가능성 사이의 긴장은 명확하다. AI 기업들은 막대한 데이터 센터 투자로 전력 수요를 급격히 늘리고 있다. 이를 충당하기 위해 일부 지역에서는 이미 폐쇄된 석탄 발전소를 다시 가동하거나, 핵발전소의 수명을 연장하는 결정들이 내려지고 있다.
희토류와 리튬 채굴 문제는 더 복잡하다. 전기차와 배터리를 위한 채굴 수요가 AI 하드웨어 수요와 겹친다. 볼리비아, 칠레, 아르헨티나(리튬 삼각지대)와 콩고(코발트)는 글로벌 공급망의 핵심이지만, 환경 파괴와 노동 착취 문제가 끊이지 않는다. 지정학적 긴장도 심화된다—희토류 공급망을 장악한 중국의 전략적 활용, 이에 대응하는 미국과 EU의 공급망 다변화 시도.
크로포드와 파리카의 비판을 받아들이면, 이 질문은 기술 최적화의 문제만이 아니다. 어떤 종류의 AI를 만들 것인가, 누구를 위한 AI인가, 그 비용을 누가 부담하는가—이것은 윤리적이고 정치적인 선택이다.
낙관적 시나리오도 있다. 더 효율적인 알고리즘(DeepSeek의 사례처럼, 기존 모델 대비 극적으로 낮은 학습 비용), 재생에너지 기반 데이터 센터, 소형 모델과 엣지 컴퓨팅, 모델 공유와 오픈소스 생태계—이런 방향들이 에너지와 자원 소비를 줄일 수 있다. 파리카가 “좀비 미디어” 재활용에서 새로운 가능성을 찾듯, AI 분야에서도 오래된 규칙 기반 알고리즘과 신경망의 결합이 LLM의 비효율성을 보완할 수 있다.
결국 이것은 속도와 효율성만을 추구하는 디지털 자본주의의 논리에 대한 근본적인 질문이다. 더 빠르게 더 많이 소비하는 방식의 AI가 아니라, 더 느리고 더 책임감 있고 더 공정한 AI를 설계하는 것이 가능한가—그리고 그 선택을 누가, 어떤 방식으로 할 수 있는가.
이제 토대가 깔렸다. 광물에서 시작해 칩과 메모리, 데이터 센터와 전력으로 이어지는 물질적 지반 위에서, AI는 비로소 학습하고 추론할 수 있게 되었다. 그러나 토대를 마련했다는 것은 끝이 아니라 새로운 문턱이다. 두 갈래의 질문이 곧장 따라온다. 첫째, 이 토대 위에서 우리는 무엇을, 어떻게 직접 만들어 낼 것인가 — 텍스트를 넘어 영상과 물리 세계로 나아가는 멀티모달·피지컬 AI의 야심(9장)은 바로 이 인프라 청구서 위에서만 실현된다. 둘째, 그 모든 것을 우리는 어떻게 책임질 것인가 — 전력과 탄소, 희토류와 물, 보이지 않는 노동이 쌓아 올린 이 거대한 구성물을 누가, 어떤 원칙으로 통제하고 정렬할 것인가(10장). 토대를 본 사람만이 그 위에서 무엇을 짓고 무엇을 책임질지 물을 수 있다. 다음 장은 그 위에서 시작한다.