(3 & 4 주차) 복기

애플 워치를 평소에 차던 사람이 아니다 보니 자꾸 벗어두기도 했고 핑계 아님

최근에 연구 성과가 좀 나와서 밤늦게 실험을 빡세게 하다 보니 평소 하던 루틴들을 자꾸 빼먹는날이 많아짐..

일단 운동 자체는 하려고 시간을 고정해두긴 했는데 오전에 늦잠 자고 새벽운동 놓치고 등원 하고 뭐하다 보니 대체로 오전 루틴이 깨져버린 2주였네요.

그러다 보니 자연스레 오전에 챙기던 리트코드 푸는 시간은 생략 되고, 오전일정이 조금씩 밀리게 되니 자연스레 오후에 몰아서 일을 하면서 블로그 글 정리하는 시간도 생략되면서.. 그렇게 됐습니다.

그래도 일단 기록은 해야하니 3, 4주는 한번에 몰아서 회고를 좀 해보면,

운동은 확실히 체력적으로 조금 버거운 느낌이 사라지고 수면 시간만 충분하면 코스를 좀 바꿔서 3km 이상 안쉬고 뛸 수 있을듯 한데, 원래 생각하던 동네 호수 한바퀴가 딱 5km인데, 데크길이 중간에 보수 공사 중이라 1km 구간에서 끊겨 버렸습니다.

그래서 대충 갔다가 돌아오면 얼추 2km 정도 구간이 되서 지루하지 않게 뛸 수 있었네요.

러닝을 시작했던 첫날이랑 비교하면 가장큰 차이라면, 아마 중간에 걷는 구간이 사라지면서 평균 페이스가 좀 빨라진것 같다는 점입니다.

---

오랜만에 시작한 연구지만, 이전 회사에서 2년전쯤 LLM 본격적으로 개발 하던때가 생각날 만큼, 머신이 놀지 않게 하려고 (밤새 실험/학습 돌려두는..) 자기 직전에 실험 세팅 하느라 자꾸 자는 시간이 늦어지고, 오전에 늦잠 자는 패턴으로 돌아가는 문제가 생겼습니다.
(지금도 11시가 넘은 시간인데... 자야하는데.. 이대로 자면 5주차에 4주차 복기 로그나 쓰고 있겠구나 싶어 일단 앉아서 쓰고 있는.. 😅)

일단 초기에 목표로 했던 stateless optimizer로 성능을 pretrain, finetune각각에서 AdamW 보다는 조금 못미치는 수준이나, stateless 계열에서 SoTA 보다 성능이 조금 개선된 알고리즘을 만드는데 성공했습니다.

분홍색이 SoTA, 하늘색이 내 알고리즘, Memory 사용량은 3배 이상 차이! (Green, Grey는 다른 stateless 알고리즘)

논문으로 만들려면 또 같은 실험을 온갖 데이터셋에, 다양한 모델 사이즈로, 시드 돌려가면서 실험 값을 뽑아봐야겠죠.
요새 트렌드를 보니, vision모델도 text모델과 거의 비슷한 아키텍쳐에 알고리즘으로 학습 하는걸 봐선, vision 데이터셋으로도 한번 테스트 해보면 좋겠네요.

결과가 모두 좋게 나오면 탑티어 학회도 한번 노려 봄직 하고,
부분적으로만 좋게 나온다면, MLsys 같은 응용분야 conference나 정 성능이 안나와 준다면 어디 메이저 학회 workshop 논문 정도로 만족 해야할 수 도 있겠네요.

이왕 시작한거 나혼자만 "아 재밌었다" 말고 성과물도 좀 나오면 좋겠네요.

그나저나 집에서 가볍게 애플 실리콘칩셋으로 테스트하는데에는 한계가 확실히 있는데, 회사에서 학회 출장 지원을 요즘도 하는지 알아봐야겠...