Lumen 사이드 1편 – LLM이 답 만든다는 게 컴퓨터 입장에서 뭔지
ChatGPT 같은 LLM이 답 만드는 게 컴퓨터 안에서 정확히 어떤 일인지, 모델 670MB가 왜 그렇게 큰지, 시간의 95%가 어디서 사라지는지를 도시 청사진 비유로 풀어봤어요. Lumen 사이드 프로젝트 6주 기록 시리즈 1편.
Lumen 사이드 1편 – LLM이 답 만든다는 게 컴퓨터 입장에서 뭔지 게시물 읽기"
사이드 프로젝트 6주 만에 v0.5 release하고 잠시 쉽니다
오늘 아침 출근길에 갑자기 그런 생각이 들었어요. “이거 슬슬 마무리할 때인가.” 6주 동안 매일 1~2시간씩 노트북 열어서 짠 사이드 프로젝트가
사이드 프로젝트 6주 만에 v0.5 release하고 잠시 쉽니다 게시물 읽기"
직접 만든 LLM 컴파일러 prefill 배칭 시도 후기
퇴근하고 아이들 재우고 노트북 열어보는 시간이 사실상 저의 휴식이에요. 와이프랑 TV 보는 시간을 빼면 하루에 겨우 1~2시간. 그 시간을 회사
직접 만든 LLM 컴파일러 prefill 배칭 시도 후기 게시물 읽기"
AVX-512 ZMM 직접 짜본 후기 — 왜 Zen 4에서 안 빨라졌나
사이드 프로젝트로 LLM 추론 컴파일러를 만들면서 AVX-512 ZMM(512비트 SIMD)을 도입해 봤어요. 이론상 2배 빨라야 하는데 Zen 4에서 -4.5% 회귀. 왜 그런지 측정으로 알아낸 진짜 이유 정리.
AVX-512 ZMM 직접 짜본 후기 — 왜 Zen 4에서 안 빨라졌나 게시물 읽기"