Log, Etc

✨ 처음 시작하는 자연어처리 논문 읽기의 첫 글입니다. 이번 글에서 다룰 논문은 2018년에 게재된 Deep Contextualized Word Representations입니다. ELMo라는 이름을 가진 모델입니다.1. Backgrounds사전학습된 word representations은 자연어 처리 작업에 사용되기 전 대규모 코퍼트에서 학습한 단어 임베딩의 일종이다. 이러한 표현은 많은 neural language 모델에서 중요한 구성 요소이다. 그러나 고품질의 representation을 학습하는데 2가지 어려움이 있다.구문 및 의미론과 같은 단어 사용의 복잡한 특성을 모델링하는 것다의어와 같이 문맥에 따라 의미가 변형하는 것하나씩 살펴보자면,구문 및 의미론이란 의미로는 시제를 예로 들 수 있다. ..

모델을 학습시키고 저장 시에 고민이 생겼다. 어떤 것을 기준으로 좋은 모델이라고 말할 수 있을까? 기존엔 loss를 중심으로 생각했지만 내가 보고 있는 데이터는 불균형이 심하기 때문에 단순히 loss가 기준이 되는 게 아닐거라는 생각을 했다. 그래서 다른 사람들은 어떻게 사용하고 있는지 찾아봤다. 제일 좋은 레퍼런스는 캐글이다. 코드도 많고 성능 중심이기 때문이다. 그 중에 봤던 코드는 Pytorch multi labels by cumulated level 🔗 였다. 여기서 best model을 저장하는 코드만 가져왔다.if auroc > best_metric: best_metric = auroc torch.save(model.state_dict(), f'dict_model_{j}_fold_..

딥러닝 모델을 공부하다보면 항상 막히는 확률..!!!🤦🏻‍♀️ 특히 딥러닝 기반의 생성 모델을 공부할 땐 수식에서 확률을 이해해야합니다. 그래서 이번 글에선 자주 나오는 확률 4개의 용어에 대해 정리하려해요. 내용은 주로 미술관에 GAN 딥러닝 실전 프로젝트를 참고했습니다.표본공간표본 공간은 샘플 x가 가질 수 있는 모든 값의 집합입니다. 아주 간단한 예시로 주사위를 던져 나온 눈의 수라고 할 때 샘플은 1, 2, 3, 4, 5, 6이 될 수 있고 표본 공간은 \(S=\{1,2,3,4,5,6\}\)으로 나타낼 수 있어요. 또다른 예로 이 세상 모든 성인들의 키가 100cm부터 300cm이고 몸무게가 30kg부터 200kg까지라면 아래와 같은 표본 공간을 만들 수 있습니다. 이 세상에 180cm에 몸무..

베이즈 정리란? 사전 확률(prior)이란 사건 A, B가 있을 때 사건 A를 기준으로 보면 사건 B가 발생하기 전에 가지고 있던 사건 A의 확률입니다. 만약 사건 B가 발생하면 이 정보를 반영하여 사건 A의 확률은 P(A|B)로 변하게 되고 이게 사후확률(posterior)입니다. 예를 들어보자면, 사건 B를 철수가 영희를 좋아한다로 정의하고 사건 A는 철수가 영희에게 초콜릿을 준다라고 할게요. 철수가 영희를 좋아할 확률을 0.5라고 하고 철수가 영희에게 초콜릿을 줄 확률은 0.4, 철수가 영희를 좋아할 때 초콜릿을 줄 확률을 확률은 0.2라고 정의해볼게요. 그러면 사전 확률은 P(B) = 0.5가 되고 사후 확률 P(A|B) = 0.2가 됩니다. 또 한가지 더 사전 확률 P(A)=0.4이 되죠. 철수..

이 내용은 팡요랩의 가장 쉬운 KL Divergence 완전정복!을 참고해서 작성했다. 엄청 친절하게 설명해주시니 더 자세하게 알고 싶다면 참고할 것! KL divergence를 공부하기 전에 알아야 할 통계이론 KL divergence에 대해 알아 보기 전에 미리 알아둬야 할 통계이론들을 살펴보자! x와 y가 독립일 때, 아래 식이 성립한다. $$p(x, y) = p(x) * p(y)$$ 기댓값: 전체 사건에 대해 사건이 벌어졌을 때의 이득과 그 사건이 벌어질 확률을 곱한 것을 합한 값이다. 이것은 어떤 확률적 사건에 대한 평균의 의미로 생각할 수 있다. 개념으로만 보면 이해하기 어렵지만 우리가 고등학생 때 이미 배웠던 개념이다. 주사위로 예로 들자면, 사건이 벌어졌을 때의 이득: 주사위의 값, 1, ..

Multivariable Fractional Polynomials(MFP)란? 희귀 모델에서 중요한 예측 변수를 선택하여 예측률을 높이는 전략을 사용한다. 모델 구축 시 선형 모델이 식을 잘 표현할 수 있지만 선형성 가정이 올바르지 않아 최종 모델이 잘못 지정될 수 있다. 그래서 비선형성이 특징인 MFP가 있다. MFP는 분수 다항식(fractional polynomials)과 후진 소거(backward elimination)의 조합으로 이루어져 있다. 여기서 분수 다항식이란 이름 그대로 분수로 이루어져 있는 다항식을 뜻하며, log, 정수가 아닌 지수(exponentiation), 지수 반복 허용의 3가지를 허용한다. 즉, 중요한 변수를 선택하고 연속 예측 변수에 적합한 기능적 형태를 결정하는 두가지 ..

캐글 필사 코드에서 RNN의 kernel initializer를 orthogonal로 사용하였는데 이 부분이 궁금해서 찾아보다가 흥미로운 글을 발견했는데 이해하기 쉽게 설명되어 있어 일부를 번역하였다. RNN의 문제점 딥러닝의 기초적인 동작은 matrix multiplication(행렬 곱셈)을 반복하는 것이다. 그 결과 계산할수록 행렬 값은 기하급수적으로 변하고 값이 빠르게 사라지거나 치솟아오를 수 있어(무한으로 감) 안정성에 문제가 생긴다. RNN은 weight를 반복해서 곱하기 때문에 기울기 소실(gradient vanishing)이 생길 수 있다. 이를 해결하기 위한 initializer가 orthogonal matrix(직교 행렬)이다. Eigenvalues eigenvalue를 설명하기 위해 ..

MIMIC3를 이용한 딥러닝 모델들의 벤치마킹 연구 논문을 리뷰하려 합니다. Abstract 딥러닝 모델은 다양한 분야에서 많이 사용되고 있다. 그러나 오픈소스 의료데이터를 이용한 머신러닝과 예후 scoring system SOTA 수준의 딥러닝 모델은 거의 없다. 본 논문에서는 딥러닝 모델 또는 머신러닝 모델의 앙상블, SAPS II와 SOFA 점수를 이용한 몇개의 의료 분야에서의 예측(사망, 입원기간, ICD-9 code 그룹) 벤치마킹 결과를 제시하려한다. 해당 연구에서는 ICU 데이터셋인 MIMIC III를 사용하였다. 본 논문의 결과는 딥러닝 모델은 raw clinical time series data를 input feature로 사용하는 모델들에게 지속적인 성능이 나온다는 결과를 보여준다. I..