View all
-
[Paper] One Embedder, Any Task: Instruction-Finetuned Text EmbeddingsML engineer/Papers & CS generals 2023. 1. 17. 00:04
🕓 4 mins read https://arxiv.org/abs/2212.09741 One Embedder, Any Task: Instruction-Finetuned Text Embeddings We introduce INSTRUCTOR, a new method for computing text embeddings given task instructions: every text input is embedded together with instructions explaining the use case (e.g., task and domain descriptions). Unlike encoders from prior work that are more arxiv.org 오늘은 간단한 engineering 논문..
-
매일 보는 같은 하늘 다른 느낌Images in life 2023. 1. 15. 15:00
같은 위치에서 같은 하늘을 매일 바라보지만 일출/일몰 시간이 바뀌면서, 기상 상태에 따라서, 계절에 따라서 눈에 비친 하늘의 모습은 매일 바뀝니다. 아등바등 하루 벌어 하루 힘겹게 살고 있는 사람도 있는가 하면, 적당히 조금씩 매일 정진하며 어제 보다 나은 삶을 사는 사람도 있고, 매일매일 같은 일상의 반복에 치이면서 한순간 삶이 변화하길 바라면서 사는 사람들도 있겠죠. 물론 이 모든 고민과 걱정 없이 그저 점심에 뭐 먹지 고민만 하시는 분들도 계실 테 고요. 반복되는 패턴에, 바뀌지 않는 것 같다 느끼는 삶에 지치고 무료해질 수 있지만, 모든 형태의 삶이 결국 매일 조금씩 달라지고, 결코 같은 하루는 다시는 오지 않는다고 믿습니다. 하다 못해 내가 길가면서 마주치는 사람들도 매일 바뀔 테고, 나의 건강..
-
개발자 터미널 세팅하기ML engineer 2023. 1. 14. 21:54
🕓 5 mins read 처음 개발을 시작했을 때 한 번쯤 터미널을 메인 작업 도구로 하는 것에 대한 로망이 다들 있(었)지 않을까요. 저도 약 2년에 한 번꼴로 개인이든 회사든 맥북을 새로 세팅할 일이 생기곤 하는데, 되도록 빠른 세팅을 위해 기존 맥에서 복원을 하거나 간단한 설정 스크립트를 몇 개 두고 설정을 합니다. 이번엔 매번 쓰던 iterms + vim 플러그인 몇 개로 간단히 설정하지 않고 핫하다는 starship을 세팅해보려고 합니다. 기록 차원 + 겸사겸사 터미널 홍보 ㅎㅎ # 터미널 왜 쓰나요? 터미널 쓰는 걸 그냥 겉멋으로 생각하시는 분들도 종종 있는데요. (작업 편의나 효율을 논하는) 설정 잘 되어있는 내 컴퓨터의 IDE에서만 개발하면 뭐 그럴 수 있습니다. 이해해요. 하지만 개발하다..
-
[오류해결] osX + python3 + SSL certificate ErrorML engineer/Papers & CS generals 2023. 1. 7. 20:42
🕓 3 mins read # SSLCertVerificationError osX + python3.X 에서 일부 모듈 내에서 데이터를 다운로드 받거나 하는 경우에 가끔 볼 수 있는 오류입니다. SSL 인증서 오류문제인데, 다음과 같이 python3.X 에서, 파이썬 모듈로 데이터를 다운로드 받는 경우에 주로 발생합니다. (물론 SSL 인증서를 요구하는 통신이라면 꼭 데이터를 다운 받을때가 아닐수도 있겠죠?) Traceback (most recent call last): File "/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/urllib/request.py", line 1350, in do_open encode_chunked=req.ha..
-
[Paper] ELMER: A Non-Autoregressive Pre-trained Language Model for Efficient and Effective Text GenerationML engineer/Papers & CS generals 2023. 1. 5. 09:08
🕓 3 mins read https://arxiv.org/abs/2210.13304 ELMER: A Non-Autoregressive Pre-trained Language Model for Efficient and Effective Text Generation We study the text generation task under the approach of pre-trained language models (PLMs). Typically, an auto-regressive (AR) method is adopted for generating texts in a token-by-token manner. Despite many advantages of AR generation, it usually suffe..
-
Consistency Model의 종류ML engineer/System designs 2023. 1. 2. 21:55
🕓 4 mins read # Consistency 분산 시스템 환경에서 consistency는 여러 가지 의미를 가질 수 있습니다. 한 가지는 각 레플리카 노드가 특정 시간에 항상 동일한 데이터 view를(동일한 read 결과를 내뱉는 것) 가지는 것을 의미하는걸 수 있죠. 또 다른 의미로는 여러 read request에 대해서 가장 최근에 write 된 값을 리턴하는 것을 의미할 수 있고요. Consistency를 보장하는 방법도 다양하기 때문에 이 두 가지 외에도 consistency에 대한 정의가 달라질 수 있습니다. 일반적으로 consistency model은 추상화된 개념으로 분산 시스템 내에서 read, write, modification등에 대해 어떤 동작이 적합한지 따져 볼 수 있도록 정의..
-
Transformer EncoderML engineer/NLP 2022. 12. 31. 01:00
🕓 6 mins read By the time anyone has reached this post, chances are you already know pretty much all about Transformer models. It's no wonder since the paper Attention is all you need is already an old paper from 2017, which means it's pretty ancient in this field. Well I take should take that back. It's not that ancient.. considering how not much has changed in the seq2seq model paradigm. (GPT3..
-
[01] Korean Language Model - 데이터 수집ML engineer/NLP 2022. 12. 31. 00:33
🕓 3 mins read # 언어 모델 만들기 사실 오래 전 부터 한번 해야지 하고는 직장일이 바빠서, 육아로 바빠서 핑계로 계속 미루던 내용인데, NLP 주제로 멘토링을 약 6개월 가량 하면서 자료나 예제가 좀 정리되어있으면 좋겠다 싶어서 결국 시작하게 된 프로젝트 입니다. ## 이미 많이 있지 않나? - github 에도 있고, huggingface hub에도 이미 다수의 한국어 BERT, BART, GPT, ... 많지 않나? - 학생 또는 개인이 집에서 언어 모델을 대규모로 학습 하기는 쉽지 않은게 현실적이고 - 새로 만든다 하더라도 기존의 성능도 더 좋고, 규모도 더 큰 모델이 있어 결과물 자체는 필요하지 않을 수 있습니다. ## 그럼에도 직접 하는 이유는? vocab이 결국 모델-토크나이저 간..