(12주차) 복기

이제 정말 마지막 주차다. 다음주 월요일이면 다시 또 출근을 하겠지?

막판에 다다라서 좀 더 푸시하고 싶었는데 오른쪽 장경인대 통증이 올라와서 토요일 3.1 키로는 정말 힘들었다. 2km정도 뛰었을땐가? 오른쪽 허벅지 바깥쪽이 엄청 땡기는 느낌이 심해지더니 못 뛰겠어서 나머지 1km는 거의 걷는 수준으로 700 페이스로 뛰었다. (뛰었나? 걸었나..?) 일요일 하루는 그냥 무리 하지 않기로 하고 집에서 쉬면서 연구 하던것에 집중하기로 했는데, 스트레칭 좀 많이 해주고 마사지 받고 좀 풀었다. 다행히 가만히 있거나 걷는데에 통증이 발생하진 않아서 염증은 아닌것 같고, 날이 추워져서 스트레칭 충분히 안된상태로 뛰었던걸까? 

내 러닝의 방향성은 기록 보다도 "부상 없이, 꾸준히, 오래, 건강하게"가 주 목적인 만큼 요 근래 거리든 속도든 기록에 좀 관심이 생겼던것을 경계 해볼 필요가 있는것 같다. 아무래도 기록을 의식하기 시작하면 데이터를 향상 시키고자 하는 욕심이 생기기 마련이고, 욕심이 따르면 결국 무리를 하게 되면서 다칠 수 있으니까 말이다. 물론 그렇다고 700 페이스로 3km 뛰는걸 평생 할 생각은 없다. 무리 하지 않고 다치지 않는 선에서는 아직 젊을때, 몸이 따라 줄 수 있을때 체력을 더 높여 놓고는 싶거든.

다만 이번주는 무리 하지 않게 3-5km를 뛰지만, 이번주는 페이스, 케이던스, 혹은 거리보다는 자세에 더 신경을 쓰면서 뛰도록 해봐야겠다. 데이터니 뭐니 해도 가장 확실한 시그널은 몸의 신호니까 말이다.

---

마지막 주라서 새로운 실험을 진행해보기 보다는 기존의 실험 데이터, 논문의 전개 등 사소할 수 있는 디테일들을 한번 재검토 하고 정리하는 시간을 가지고 되도록 출근전에 더 휴식을 취할생각이였다.

근데 왠걸, 불행?이라고 해야하나 행운?이라고 해야하나.. 결과를 검토하고 실험 내용을 검토 하다 보니 문득 이상하다는 생각이 드는 지점이 있어 조금 더 깊게 파고 들다 보니 새로운 실험 거리가 늘어나 버렸다. 모르고 있었으면 이대로 끝낼 수 있었을 텐데, 알고난 이상, 그냥은 넘어 갈 수 없는 법. 확인을 해야겠다.

간단히 말하면, 기존의 optimizer 구조가 너무 복잡한 대비 grad norm이 좀 불안정하게 oscillation을 보였는데.. 이걸 잡고자 grad norm을 정규화 하고, 기존의 복잡한 1D, 2D tensor를 구분하는 로직을 하나의 로직으로 단일화 했더니 oscillation도 잡히고, 오히려 성능이 조금 더 좋아졌네...??
강원도에 가족 여행 계획 잡아뒀는데 출발 하기 전에 +1B 스케일 실험 돌려두고 다녀와야겠다. 아무래도 논문 마무리는 휴직 중에 끝내진 못할듯 하고 복직후에 조금씩 마무리를 지어야할성 싶다.