ML engineer/Papers & CS generals
-
IaaS / PaaS / SaaSML engineer/Papers & CS generals 2023. 9. 22. 01:07
🕓 2 mins read 업계에서 많이 쓰는 용어인데 잘 모르고 그냥 대충 알고 있기도 하고, 남용하기도 하는데 한번 확인 하면 좋을 것 같아 기록합니다. # 정의 IaaS : Infrastructure-as-a-Service PaaS: Platform-as-a-Service SaaS: Software-as-a-Service 이제.. 여기에서 좀 막나가는 경우도 종종 보입니다만.. 두루미-as-a-Service 식으로 아무거나 아무개-aaS 라고 이름 붙이기도 하는것 같습니다. # 비교 왼쪽 끝열을 보면 기존에 아무개-aaS 이전에는 그냥 다 직접 관리 했던 부분을 인프라 레벨에서부터 어플리케이션 레벨까지 클라우드화 해주는 서비스라고 보시면 됩니다. 클라우드 시대 이전 방식대로 직접 다 관리할 경우 장점..
-
[Python] Pickle에 대한 오해와 Can’t Pickle local object Error 해결ML engineer/Papers & CS generals 2023. 2. 16. 00:42
🕓 5 mins read # Pickle의 오해 파이썬 라이브러리들을 사용하다 보면, 직접 사용하지 않더라도, pickle은 어떻게든 만날 수밖에 없는데, 단순히 파일이나 오브젝트를 저장하고 불러올 때뿐만 아니라 어떤 객체를 프로세스 간에 공유하거나 전달할 때도 쓰입니다. 이때 pickle의 원리를 모를 경우 Attribute Error 혹은 PicklingError를 다음과 같은 형태로 만나면 당황스러울 수 있습니다. (문제없는 거 같은데 대체 왜!?) PicklingError: Can't pickle : it's not the same object as class.method.var AttributeError: Can't pickle local object 'class..some_var' 특히 파이썬..
-
[coding] Notes on space complexityML engineer/Papers & CS generals 2023. 2. 6. 00:19
🕓 4 mins read # Notes on SW developer recruiting Although we are not hiring at the moment, the last year was a year of heavy recruiting. I'm currently a senior ML engineer and I've been involved in quite a few technical(a.k.a. coding tests) interviews over the last 2 years. I was pretty surprise to see that many fresh grad candidates were well prepared for the most of the tree/graph traversal pr..
-
Domain Name System (DNS) 개요ML engineer/Papers & CS generals 2023. 1. 22. 11:46
🕓 5 mins read 사실, DNS 시스템에 대한 자세한 내용들은 책을 찾아봐도 되고, 위키를 검색해 보면 아주 상세하게 온갖 정보가 나올 텐데, 간단하게 우리가 시스템 디자인을 하는 데 있어 알아두면 좋을 내용들 위주로 간략하게 정리해 봤습니다. # 소개 도메인 네임 시스템(DNS)은 인터넷의 핵심 구성 요소로, 외우기 어려운 IP 주소 대신 쉽게 기억할 수 있는 도메인 이름을 사용하여 웹사이트에 액세스 할 수 있게 합니다. DNS는 도메인 이름을 IP 주소로 매핑하는 방법으로 소개되었으며, 사용자가 웹 사이트에 액세스 하고 서버가 서로 찾는 것을 쉽게 하기 위한 방법입니다. 과거에(?) 사람들이 전화번호 외우기 어려우니 전화번호부를 찾아보던 것과 같은 개념이라고 생각하시면 됩니다. (요즘? 사람들..
-
분산 시스템 디자인ML engineer/Papers & CS generals 2023. 1. 19. 01:17
🕓 3 mins read 작게든 크게든 소프트웨어 개발자라면 언젠가는 시스템 디자인의 각 요소들을 한번쯤은 접할 일이 생깁니다. 학생때 배우는 내용이거나, 채용 면접을 준비하면서 본 내용이거나, 직접 각 요소를 핸들링 해야하는 입장일 수 도 있겠죠. 어떤 경우든, 미리 다음의 큰 요소들은 머리속에 정리가 되어있다면, 제법 scalable한 시스템을 시스템을 디자인 하는데에 도움이 될것입니다. - 기본적으로 CS 배경 지식이 없다면, Karan Pratap Singh님의 시스템 디자인 프라이머도 한번 보시면 좋습니다. # 기본 요소 기본 요소라고 굳이 부르는 이유는, 향후에 시스템 디자인을 할때 다음 요소들을 한번 숙지 하고 나면, 시스템 각 요소의 구체적인 설계나 기능 명세를 모르더라도 전체 시스템의 기..
-
[Paper] One Embedder, Any Task: Instruction-Finetuned Text EmbeddingsML engineer/Papers & CS generals 2023. 1. 17. 00:04
🕓 4 mins read https://arxiv.org/abs/2212.09741 One Embedder, Any Task: Instruction-Finetuned Text Embeddings We introduce INSTRUCTOR, a new method for computing text embeddings given task instructions: every text input is embedded together with instructions explaining the use case (e.g., task and domain descriptions). Unlike encoders from prior work that are more arxiv.org 오늘은 간단한 engineering 논문..
-
[오류해결] osX + python3 + SSL certificate ErrorML engineer/Papers & CS generals 2023. 1. 7. 20:42
🕓 3 mins read # SSLCertVerificationError osX + python3.X 에서 일부 모듈 내에서 데이터를 다운로드 받거나 하는 경우에 가끔 볼 수 있는 오류입니다. SSL 인증서 오류문제인데, 다음과 같이 python3.X 에서, 파이썬 모듈로 데이터를 다운로드 받는 경우에 주로 발생합니다. (물론 SSL 인증서를 요구하는 통신이라면 꼭 데이터를 다운 받을때가 아닐수도 있겠죠?) Traceback (most recent call last): File "/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/urllib/request.py", line 1350, in do_open encode_chunked=req.ha..
-
[Paper] ELMER: A Non-Autoregressive Pre-trained Language Model for Efficient and Effective Text GenerationML engineer/Papers & CS generals 2023. 1. 5. 09:08
🕓 3 mins read https://arxiv.org/abs/2210.13304 ELMER: A Non-Autoregressive Pre-trained Language Model for Efficient and Effective Text Generation We study the text generation task under the approach of pre-trained language models (PLMs). Typically, an auto-regressive (AR) method is adopted for generating texts in a token-by-token manner. Despite many advantages of AR generation, it usually suffe..