Lumen 사이드 5편 – SIMD, 1차선 도로를 8차선으로 바꾸는 기술
SIMD가 정확히 뭐고 매트멀이 빨라지는 진짜 원리. AVX2, AVX-512, FMA, 4-accumulator 패턴까지. 도시 자재 운송을 1차선 도로에서 8차선 도로로 바꾸는 비유로 풀어봅니다. AMD Zen 4에서 AVX-512가 -4.5% 회귀였던 일화도 본격적으로.
Lumen 사이드 4편 – JIT, 컴퓨터가 자기 자신을 위한 코드를 짜는 마법
JIT(Just-In-Time) 컴파일이 정확히 어떤 일인지. 프로그램 실행 중에 어셈블리를 만들어 메모리에 쓰고 즉시 실행하는 게 어떻게 가능한지. LLM 추론에 JIT이 왜 잘 맞는지를 사전 계획 시공 vs 현장 시공 비유로 풀어봅니다.
Lumen 사이드 3편 – 컴파일러가 코드를 어셈블리로 바꾸는 4단계
DSL, AST, IR, 코드 생성 – 컴파일러 책 첫 장에 나오는 추상적인 용어들이 사실은 건축가가 청사진 만드는 4단계와 정확히 같아요. 손 스케치 → 평면도 → 시공 도면 → 작업 지시서의 흐름으로 풀어봅니다.
Lumen 사이드 2편 – 표준 도구 두고 왜 컴파일러를 직접 짰나
llama.cpp(ggml)라는 5년+ 누적된 표준 LLM 추론 도구가 이미 있는데도 6주짜리 사이드로 처음부터 짠 이유. 책 100번 vs 직접 짜기 1번이 어떻게 다른지, 9개월 흐지부지 사이드들이 가르쳐 준 것까지.
Lumen 사이드 1편 – LLM이 답 만든다는 게 컴퓨터 입장에서 뭔지
ChatGPT 같은 LLM이 답 만드는 게 컴퓨터 안에서 정확히 어떤 일인지, 모델 670MB가 왜 그렇게 큰지, 시간의 95%가 어디서 사라지는지를 도시 청사진 비유로 풀어봤어요. Lumen 사이드 프로젝트 6주 기록 시리즈 1편.
사이드 프로젝트 6주 만에 v0.5 release하고 잠시 쉽니다
오늘 아침 출근길에 갑자기 그런 생각이 들었어요. “이거 슬슬 마무리할 때인가.” 6주 동안 매일 1~2시간씩 노트북 열어서 짠 사이드 프로젝트가
직접 만든 LLM 컴파일러 prefill 배칭 시도 후기
퇴근하고 아이들 재우고 노트북 열어보는 시간이 사실상 저의 휴식이에요. 와이프랑 TV 보는 시간을 빼면 하루에 겨우 1~2시간. 그 시간을 회사
자동차 보험료 견적 비교 후기 – 쏘렌토 1년 차
지난주 휴대폰에 자동차 보험 갱신 안내 문자가 떴어요. 보자마자 좀 짜증났거든요. 작년에 이미 한 번 비교해서 갈아탔는데, 1년 만에 또