AI/ML with Pencil

“연필로 풀고, 손으로 만드는 AI/ML 101”

비전공자를 위한 10주 완성 AI/ML 기초 시리즈. 수식보다 직관과 비유 중심, 논쟁거리와 함께.

Agenda

Chap 1. 유사성과 거리 — 추천 시스템

문제제기

• 유튜브, 넷플릭스, 아마존, 인스타그램, 스포티파이 등 대부분의 플랫폼에서 사용하는 추천 알고리즘의 원리는 무엇일까요?
• 유사성을 어떻게 계산할 수 있을까요?
• 실제 추천 서비스를 제공하기 위해 어떤 과정이 필요할까요?

목표

영화 평점 데이터의 유사도를 직접 계산해 보고, 추천 알고리즘의 수학적 원리를 이해합니다.

Agenda

1. 유사도 알고리즘 : Euclidean(거리), Cosine(방향), Jaccard(집합), Pearson(통계/상관관계), …
2. MF(Matrix Factorization), SVD(Singular Value Decomposition), PCA(Principal Component Analysis), …
3. Association Analysis (Association Rule, Market Basket Analysis), …
4. Graph, …
5. Echo-Chamber Effect, Filter Bubble, …

토론

• 표상/재현(Representation)의 문제 : 세상의 모든 것을 숫자로 환원할 수 있을까요? 대리체(Proxy, SV, PC, Feature)가 전체를 대표할 수 있을까요?
• 상관관계(우생학)와 동종선호(Gated Community)의 문제제기 : 편향된 과거 데이터로 불확실한 미래를 예측할 수 있을까요?
• 에코 체임버(Echo-Chamber), 필터 버블(Filter Bubble) 현상 : 알고리즘이 낳는 확증편향(Confirmation Bias)과 선택적 인지(Selective Perception) 등의 문제는 어떻게 극복해야 할까요?

Chap 2. 튜링 머신과 사이버네틱스 — 컴퓨터 아키텍처의 원리 및 간략한 역사

문제제기

• 계산하는 기계(Computer)는 어떻게, 무엇으로 만들 수 있을까요?
• 컴퓨팅 아키텍처의 기본 원리와 한계는 무엇이고, 어떻게 개선할 수 있을까요?

목표

컴퓨터 아키텍처의 물리적/논리적 구조를 파악하고, 제어와 피드백, 커뮤니케이션 등의 개념에 대해 이해합니다.

Agenda

1. 튜링 머신(Turing Machine, 1936) : “모든 수학 문제에 대해 참과 거짓을 판단할 수 있는 기계는 없다.” — 자동결정 문제(Entscheidungsproblem), 정지 문제(Halting Problem)
2. 섀넌(Shannon)의 회로(1938), Boolean Logic(AND/OR/NOT, 1854)으로 가산기(Adder) 만들기
3. 폰 노이만 아키텍처(1945) : 프로그램 내장 방식 — 데이터와 명령어를 하나의 메인 메모리에 함께 저장
4. 컴퓨터 아키텍처의 핵심, 추상화(Abstraction) : CPU = ALU + Flip-flop(레지스터·메모리), I/O, OS, S/W(Compiler, Application …)
5. 컴퓨터 아키텍처의 간략한 역사 : 주판 → 기계식 계산기 → 전자 공학(진공관 → 트랜지스터), Mainframe, PC, Internet, GPU/ASIC, …
6. 컴퓨터 아키텍처의 한계 : 무어의 법칙, Quantum Computing, Probabilistic / Thermodynamic Computing, …
7. 위너의 사이버네틱스(1948) : 동물·기계·사회와 환경(시스템)의 제어와 피드백 루프, 커뮤니케이션과 자기 조직화. ‘무엇으로 만들어졌는가’보다 ‘어떻게 작동하는가’에 초점.

토론

• 자동결정 문제(Entscheidungsproblem)와 불완전성 정리(Incompleteness Theorem) : AI로 세상의 모든 문제를 해결할 수 있다는 AGI는 과연 기술적으로 가능할까요?
• 사이버네틱스 : 과거의 결과를 평가·측정하여 현재의 행동에 반영하고 미래의 목표를 수정해 나가는 피드백 루프는 어떻게 만들 수 있을까요?

Chap 3. 「계산하는 기계와 지능」 — 인공지능의 간략한 역사 및 AI/ML 알고리즘

문제제기

• 인공지능을 구현하기 위해 어떤 알고리즘을 사용할 수 있을까요?
• 생각의 논리를 추론(reasoning)하는 것과 뇌의 구조를 모델링하는 방법론은 어떻게 다를까요?
• 인공지능의 하이프와 겨울은 왜 반복되는 걸까요?

목표

AI의 역사를 되짚어보고, 기호 논리학을 이용한 추론과 신경망 등 주요 AI/ML 알고리즘에 대해 살펴봅니다.

Agenda

1. 튜링, 「계산하는 기계와 지능(Computing Machinery and Intelligence)」(1950) : “기계는 생각할 수 있는가?”, 튜링 테스트(Turing Test)
2. AI의 간략한 역사 : 기호 논리학(Symbolic Logic)으로 마음 만들기 vs 신경망/연결주의(Connectionism)로 뇌를 모델링하기
   • GPS(1957), Perceptron(1957), XOR problem, MLP(1969) / 1st AI-Winter(1974–1980)
   • Expert System, Back Propagation(1985), RNN(1982), CNN(1989) / 2nd AI-Winter(1987–1993)
   • Deep Blue(1997), AlexNet(2012), AlphaGo(2016), Attention/Transformer(2017), GPT(2018), ChatGPT(2022), …
3. 주요 AI/ML 알고리즘 : Supervised / Unsupervised / Reinforcement / Evolutionary Learning, Decision Tree, Ensemble(Random Forest, XGBoost), SVM, Naïve Bayesian, …
4. AI Stack

토론

• 기호주의의 실패와 연결주의의 승리로 단정지을 수 있을까요? LLM의 한계를 넘기 위해 기호주의적(온톨로지/그래프) 접근이 다시 필요한 이유는 무엇일까요?

Chap 4. 미분의 쓸모 — 신경망의 역전파(Back Propagation)

문제제기

• 컴퓨터의 논리 연산(AND, OR, NOT, XOR)을 신경망으로 어떻게 구현할 수 있을까요?
• 차이와 변화(미분)를 이용해서 신경망을 학습(가중치 업데이트)하는 원리는 무엇일까요?

목표

다층 퍼셉트론(MLP) 구조의 방법론과 미분과 연쇄 법칙을 이용한 역전파 알고리즘을 연필로 직접 계산해 봅니다.

Agenda

1. 가리비의 200개의 눈 : Perceptron(1957), XOR problem, MLP(Multi-Layer Perceptron, 1969)
2. Back Propagation(1985) : 미분(differentiation, chain rule), Activation Function, Softmax, Loss Function, Gradient Descent, Neural Networks Model, …
3. Local Minima : Optimizer, Weight Initialization, Drop Out, Skip Connection, …

토론

• 신경망의 파라미터가 증가할수록 기하급수적으로 늘어나는 연산 비용 문제. 신경망은 데이터를 ‘일반화’하는 걸까요? 아니면 그저 ‘단순 기억’하는 걸까요? 일반화와 기억력을 둘 다 향상시킬 수 있는 방법이 있을까요?

Chap 5. 시각과 언어의 확장 — 딥 러닝의 시대

문제제기

• 딥 러닝의 응용 분야와 한계는 무엇일까요?

목표

AI의 가장 큰 활용 분야인 이미지와 자연어 처리를 위한 딥러닝의 핵심 알고리즘들을 살펴봅니다.

Agenda

1. Vision (CNN, Auto Encoder, GAN(Generative Adversarial Network)), NLP (TF-iDF, BM25, Word2vec, RNN, LSTM, GRU, seq2seq, …)
2. 신경망의 한계 : Vanishing Gradient, Adversarial attack, …
3. AlexNet과 Diffusion Model

토론

• 기계가 감각을 인지하고, 언어와 세계를 이해하기 위해 필요한 것이 무엇일까요?

Chap 6. 진동과 안정 사이의 딜레마 — 강화학습과 인공생명

문제제기

• 오늘 점심은 무엇을 드셨나요? 평소 자주 먹는 메뉴였나요? 아니면 새로운 맛집을 찾으셨나요?
• 강화학습은 어떻게 보상(Reward)에 따라 정책(Policy)과 가치(Value)를 업데이트하는 걸까요?
• 진동과 안정 사이의 딜레마(Exploration-Exploitation Dilemma) 등을 해결하기 위해 어떤 방법을 사용하면 좋을까요?
• 정보 처리 관점에서 물질성과 Bottom-up 방식을 중요시하는 인공생명의 방법론은 무엇일까요?

목표

상태, 행동, 보상값을 설정하여 강화학습의 Q-Learning 방정식을 풀어보고, 인공생명 알고리즘을 이해합니다.

Agenda

1. 강화학습(Reinforcement Learning)
   1. 동적 프로그래밍(Dynamic Programming), 벨만의 최적화 원리(Bellman Optimality Principle), 마코프 결정 과정(MDP)
   2. Agent, Environment, State, Action, Reward
   3. Policy Iteration : Policy Gradient, … / Value Iteration : Sarsa, Q-Learning, … / Learning Rate, Discount Factor, Epsilon Greedy, …
   4. 진동과 안정 사이의 딜레마(Exploration-Exploitation Dilemma), …
   5. CIRL(Cooperative Inverse Reinforcement Learning), POET(Paired Open-Ended Trailblazer), …
2. 인공생명(Artificial Life)
   1. 인공생명의 간략한 역사 : 신화·고대의 디즈니랜드, 중세의 시계 태엽, 근대의 자동기계, 현대의 오토마타와 사이버네틱스
   2. 세포 자동자(Cellular Automata) : Self-reproduction Automaton, Game of Life, Rule 30, Langton’s Loop, Boids, L-systems, C. elegans, Fruit Fly, ASAL with Foundation Models, …
   3. OOO(Object-Oriented Ontology), …

토론

• 소프트웨어 시뮬레이션과 생명체의 차이는 무엇일까요?
• 코드와 물질로 구현된 예쁜꼬마선충을 생명(체)라고 할 수 있을까요?

Chap 7. “You’re All I Need?” — LLM과 Gen AI

문제제기

• 2010년대, 또 다시 인공지능의 붐이 시작된 계기는 무엇이었을까요?
• 대규모 언어 모델(LLM) 기반의 Gen AI(생성 AI)는 어떻게 학습(training)하고 추론(inference)하는 걸까요?
• LLM의 한계 및 대안은 무엇일까요?

목표

생성형 AI의 핵심인 어텐션과 트랜스포머의 구조를 이해하고, 스케일링 법칙 이후의 AI 추론의 최적화 기법 등에 대해 살펴봅니다.

Agenda

1. Attention / Transformer(2017), BERT(2018), GPT-3(2020), Transfer Learning (Pre-training, Fine-Tuning), Self-attention, Few-shot Learning / GPT-3.5 (RLHF = SFT + Reward Model + PPO), ChatGPT(2022.11)
2. 학습(Training)과 추론(Inference) : GPU Optimization, CUDA, NCCL, GPU Parallelism, 양자화(Quantization), NPU/TPU, Virtualization, …
3. Gen AI (Foundation Model + Customization) : PEFT(Parameter-Efficient Fine-Tuning), LoRA(Low Rank), RAG(Retrieval-Augmented Generation), MoE(Mixture of Experts), 오픈 소스 모델(Llama, Deepseek), …
4. LLM의 한계 : 이루다(AI Ethics), Hallucination, 불쾌한 골짜기, Slop, ROI, 스케일링 법칙의 한계, 학습 데이터 고갈, 모델 붕괴, 지속 가능성, …
5. 새로운 돌파구 : 합성 데이터, TTC(Test-Time Computation), 추론(Reasoning) 최적화, Agentic AI, MCP, A2A, 월드 모델(JEPA), 공간 지능, Physical AI, Clockbench, …
6. The Bitter Lesson, the Era of Experience, LLMs are a dead end (Sutton), the decade of agents (Karpathy), Back to the Age of Research (Sutskever), Nested Learning, Evolution Strategies, …

토론

• 리처드 서튼의 ‘The Bitter Lesson’과 LLM의 막다른 길(Dead end)에 대해 어떻게 생각하시나요?
• 수츠케버가 언급한 ‘Research의 시대’로 돌아가기 위해 가장 먼저 무엇을 해야 할까요?

Chap 8. 토대와 상부구조 — AI 생태계와 AI Lifecycle

문제제기

• 인공지능의 물질적 토대가 되는 인프라(서버, 네트워크, 스토리지)와 데이터 파이프라인은 어떻게 발전해 왔을까요?
• 실제 IT/AI 서비스를 개발하고 운영하기 위해 필요한 요소들은 무엇이 있을까요?

목표

알고리즘이 실제 작동하기 위해 필요한 프론트엔드/백엔드 시스템과 IT 인프라 구조를 분석합니다.

Agenda

1. 네트워크 : 통신의 기초, 엔트로피와 정보 이론(Information Theory), OSI 7 Layer, Internet, Mobile(6G), …
2. Data Pipeline : DIKW(Data, Information, Knowledge, Wisdom) / File System, Storage, DBMS, … / Data System Architecture : Big Data, Batch/Stream Processing, Lambda(λ) Architecture, Data Warehouse, Data Lake, Lakehouse, Data Fabric, Data Product Marketplace, …
3. AI Lifecycle, AI Stack : DevOps, CI/CD, MSA, Agile, ML/LLMOps (인프라, 데이터 플랫폼, 알고리즘(모델), 어플리케이션(서비스)), …
4. Data Center : ITSM, 클라우드, Edge Computing, …
5. Atlas of AI, …

토론

• 미디어 지질학(Media Geology), “좀비 미디어”의 재활용 관점에서, 지속 가능한 AI를 위하여 대규모 AI 데이터 센터가 유발하는 전력 소비, 탄소 배출, 희토류 채굴 등의 문제는 어떻게 해결할 수 있을까요?

Chap 9. 세계를 어떻게 구현할 것인가? – Agentic AI와 Physical AI

문제제기

• 언어모델의 한계는 무엇이고, 월드모델의 사례는 무엇이 있을까요?
• Gen AI와 Agentic AI의 차이는? 바이브 코딩의 예시는?
• Physical AI의 전망과 최신 트렌드는 무엇일까요?

목표

레거시 AI 개발 방식과 모던 AI 개발 방법론을 비교하고, 최신 도구를 이용하여 사례를 분석합니다.

Agenda

1. 기존 개발 방법론 : APM 스택(Apache-PHP-MySQL)
2. Agentic AI와 바이브 코딩
   1. 챗봇과 Agent의 차이
   2. 채팅과 CLI의 차이
   3. 몇 가지 사례
3. 언어모델에서 월드모델로 : 물리 세계의 이해(JEPA, 공간 지능), VLA, …
4. Physical AI / On-Device AI : 자율주행, 휴머노이드, AI 글래스, AI PC, 가전, …

토론

• 바이브 코딩과 Physical AI의 한계는 무엇일까요?

Chap 10. “사회적 관계의 앙상블” — 책임 있는(Responsible) AI

문제제기

• 더 효율적이고 지속가능한 AI 생태계를 위해 어떤 고민과 실천이 필요할까요?

목표

AI 생태계 전체를 종합하고, 인간과 기술적 대상들이 공존하기 위한 기술적·철학적·정치적 방향을 짚어봅니다.

Agenda

1. 디지털/AI 생태학(Digital Ecology) : 알고리즘/인프라의 논리적·물리적 토대와 커뮤니티의 철학적·정치적 이론들
   1. 계산, 학습, 불확정성, 엔트로피, 정보, 피드백, 시스템 : 튜링, 섀넌, “엔트로피에 맞서 조직을 유지하는 시스템”(위너), “차이가 차이를 낳고 그 차이가 시스템을 재조직한다”(베이트슨)
   2. 존재, 의미, 개체화, 커뮤니케이션 : “의미는 사용이다”(비트겐슈타인), “형태 이전의 준안정적 상태에서 정보가 개체를 빚어낸다”(시몽동)
2. AI 개발 방법론 : 더 효율적인 알고리즘, 설명가능한 모델 및 공정하고 편향되지 않은 데이터 공유, 더 지속가능한 오픈소스 생태계, 재생에너지 기반 데이터 센터, …
3. 더 투명하고 신뢰할 수 있고 책임질 수 있는 AI 윤리와 정책
   • 인간의 역할 : 기술과 함께 관계 속에서 존재를 형성해 나가는 것(시몽동), 인지 집합체(Cognitive Assemblages)로서 위기 발생 시 기술적·제도적으로 개입할 수 있는 차단기(Circuit Breaker)의 역할(캐서린 헤일스)
4. AI singularity or 3rd AI-Winter?

토론

• 어떤 종류의 AI를 만들 것인가, 누구를 위한 AI인가, 누가 비용을 부담하는가 등의 AI 윤리와 정치에 대한 기본 원칙은 무엇일까요?
• 인간과 자본주의가 과연 이 속도를 멈출 수 있을까요?
• 지속가능한 인간–기술–사회–환경을 아우르는 이론과 실천이 가능할까요?

세션 기록