Lumen 사이드 9편 – 측정-주도 의사결정, 직관 11번 중 8번이 틀린 이유
사이드 6주 동안 가설 11번 세웠는데 그중 8번이 측정으로 부정. 그 패턴이 어떤 모양이고 왜 그게 사이드의 본질인지. 50줄 마이크로벤치가 1주일 디버깅을 1시간으로 줄인 사례, prefill batching이 2.9배 회귀였던 충격까지.
Lumen 사이드 9편 – 측정-주도 의사결정, 직관 11번 중 8번이 틀린 이유 게시물 읽기"
Lumen 사이드 8편 – 8 코어인데 8배가 아닌 이유, 메모리 대역폭의 벽
8 코어 CPU에서 8 스레드 가속이 8배가 아닌 1.5배 정도밖에 안 나오는 이유. 메모리 대역폭이 코어 수와 무관한 하드웨어 한계라서. 한 우물에서 8명이 물 긷기 비유로 풀어봅니다. atomic counter 패턴이 mutex보다 빠른 이유까지.
Lumen 사이드 8편 – 8 코어인데 8배가 아닌 이유, 메모리 대역폭의 벽 게시물 읽기"
Lumen 사이드 7편 – Transformer 한 동(洞) 안에서 일어나는 일 8단계
1편에서 ‘도시 24개 동’으로 풀었던 그 한 동의 내부 동작. RMSNorm, Q/K/V, RoPE, Attention, FFN의 8단계가 어떻게 흐르는지. attention은 칵테일 파티에서 한 사람 말 듣기로 잠깐 풀고 다시 건축으로 돌아옵니다.
Lumen 사이드 7편 – Transformer 한 동(洞) 안에서 일어나는 일 8단계 게시물 읽기"
Lumen 사이드 6편 – 양자화, 32비트를 8비트로 줄여도 답이 같은 이유
모델 weight를 32비트 float에서 8비트 정수로 압축하면 메모리 4배 줄어드는데 답이 거의 똑같은 게 어떻게 가능한지. Q8과 Q4의 차이, fused matmul, VNNI 명령어까지. mm 단위 청사진을 cm 단위로 단순화해도 시공 결과는 같다는 비유로 풀어봅니다.
Lumen 사이드 6편 – 양자화, 32비트를 8비트로 줄여도 답이 같은 이유 게시물 읽기"
Lumen 사이드 5편 – SIMD, 1차선 도로를 8차선으로 바꾸는 기술
SIMD가 정확히 뭐고 매트멀이 빨라지는 진짜 원리. AVX2, AVX-512, FMA, 4-accumulator 패턴까지. 도시 자재 운송을 1차선 도로에서 8차선 도로로 바꾸는 비유로 풀어봅니다. AMD Zen 4에서 AVX-512가 -4.5% 회귀였던 일화도 본격적으로.
Lumen 사이드 5편 – SIMD, 1차선 도로를 8차선으로 바꾸는 기술 게시물 읽기"
Lumen 사이드 4편 – JIT, 컴퓨터가 자기 자신을 위한 코드를 짜는 마법
JIT(Just-In-Time) 컴파일이 정확히 어떤 일인지. 프로그램 실행 중에 어셈블리를 만들어 메모리에 쓰고 즉시 실행하는 게 어떻게 가능한지. LLM 추론에 JIT이 왜 잘 맞는지를 사전 계획 시공 vs 현장 시공 비유로 풀어봅니다.
Lumen 사이드 4편 – JIT, 컴퓨터가 자기 자신을 위한 코드를 짜는 마법 게시물 읽기"
Lumen 사이드 3편 – 컴파일러가 코드를 어셈블리로 바꾸는 4단계
DSL, AST, IR, 코드 생성 – 컴파일러 책 첫 장에 나오는 추상적인 용어들이 사실은 건축가가 청사진 만드는 4단계와 정확히 같아요. 손 스케치 → 평면도 → 시공 도면 → 작업 지시서의 흐름으로 풀어봅니다.
Lumen 사이드 3편 – 컴파일러가 코드를 어셈블리로 바꾸는 4단계 게시물 읽기"
Lumen 사이드 2편 – 표준 도구 두고 왜 컴파일러를 직접 짰나
llama.cpp(ggml)라는 5년+ 누적된 표준 LLM 추론 도구가 이미 있는데도 6주짜리 사이드로 처음부터 짠 이유. 책 100번 vs 직접 짜기 1번이 어떻게 다른지, 9개월 흐지부지 사이드들이 가르쳐 준 것까지.
Lumen 사이드 2편 – 표준 도구 두고 왜 컴파일러를 직접 짰나 게시물 읽기"
Lumen 사이드 1편 – LLM이 답 만든다는 게 컴퓨터 입장에서 뭔지
ChatGPT 같은 LLM이 답 만드는 게 컴퓨터 안에서 정확히 어떤 일인지, 모델 670MB가 왜 그렇게 큰지, 시간의 95%가 어디서 사라지는지를 도시 청사진 비유로 풀어봤어요. Lumen 사이드 프로젝트 6주 기록 시리즈 1편.
Lumen 사이드 1편 – LLM이 답 만든다는 게 컴퓨터 입장에서 뭔지 게시물 읽기"
사이드 프로젝트 6주 만에 v0.5 release하고 잠시 쉽니다
오늘 아침 출근길에 갑자기 그런 생각이 들었어요. “이거 슬슬 마무리할 때인가.” 6주 동안 매일 1~2시간씩 노트북 열어서 짠 사이드 프로젝트가
사이드 프로젝트 6주 만에 v0.5 release하고 잠시 쉽니다 게시물 읽기"