(1주차) 동네 산책? 시작 / Memory Wall 분석

사실 휴직은 2달 전부터 예정 되어있었다 보니, 운동은 일주일 전부터 시작했는데, 운이 좋게도 집근처에 뛰기 좋은 공간이 있어 다친 무릎에 무리가 가지 않는 선에서 가볍게 걷고 조깅을 시작했습니다. (근데 왜 여태 안나갔던거지?)

비록 아직 런린이라고도 부르기 민망할 정도로 저질 체력이지만, 일과 육아를 지속하기 위해서 생존형 운동으로 시작한 만큼 무리해서 다치는것 보다는 좋은 습관 형성에 목표를 두기로 했습니다.

아직은 땡볕인지라.. 해뜨기 전에 좀 더 일찍 일어나서 뛰어야겠다는 생각밖에 들지 않더군요..😅

---

연구는 역시 개인 연구이다 보니, 막대한 컴퓨팅 자원을 필요로 하지 않는 방향의 연구를 생각 중인데, 일단 석사때 전공을 살려서 알고리즘 쪽으로 서베이를 시작했습니다.
이쪽 방향으로 마지막으로 논문 전체를 사람/AI의 리포팅 없이 직접(?) 풀로 읽는 적이 아마.. Flash Attention2 논문이였던것 같은데, 그 사이에 많은 시도가 있었더군요.

그나마 가장 관심이 가는 주제는, 역시 Adam 계열의 optmizer를 벗어난 새로운 optimizer 알고리즘을 좀 연구 해보려고 하는데 이미 많은 시도가 이뤄진 상태더라고요?

• LION optimizer - sign momentum을 이용하여 second momentum 제거
• SinkGD - multi normalized gradient descent 를 이용하여 거의 state-free한, 즉 SGD에 가까운 수준의 gradient descent 방법
• COSMOS - SOAP의 정밀함과 MUON의 효율성을 결합해 메모리를 아끼면서도 LLM 학습 성능을 높인 하이브리드 최적화 방법
• GaLore, SOAP, MUON 등등..

역시 사람들 생각은 비슷한건지.. 실제 LLM 학습시 model 사이즈에 비례해서 커지는 optimizer state를 줄이는게 아무래도 중요하다고 생각 하는 관점의 연구들은 이미 상당히 많이 이루어져 있더군요.
(내가 할게 있긴 하겠ㅈ...)