[Machine Learning] 선형대수 - 행렬 미적분, PCA
들어가며 선형대수를 왜 알아야 하는가? DL(Deep Learning)을 이해하기 위해서는 선형대수 + 행렬미분 + 확률의 기초지식이 필요합니다. 최근에 사용되는 Transformer의 경우 attention matrix를 사용하는데 \[\operatorname{Att}_{\leftrightarrow}(Q, K, V)=D^{-1} A V, A=\exp \left(Q...
[PRML] 1장- 결정이론
들어가며 우리는 앞장에서 불확실성을 정량화시키고 일관된 수학적 프레임워크를 구성하는 과정을 살펴보았습니다. 이제 Decision 이론을 이용하여 확률 이론을 바탕으로 불확실성이 관여된 상황에서의 최적의 결정 과정을 살펴볼 것입니다. 목표 : 입력 x...
[PRML] 1장 - 확률이론
핵심 개념 학습단계 (training or learning phase): 함수 y(x)를 학습데이터에 기반해 결정하는 단계 Test set: 모델을 평가하기 위해서 사용하는 새로운 데이터 Generaliztoin: 모델에서 학습에 사용된 데이터가 아닌 이전에 접하지 못한...
[PRML] 1장 - 확률론
들어가며 패턴 인식 분야에 있어 불확실성(uncertainty)는 가장 중요한 개념 중 하나 입니다. 불확실성은 데이터를 측정할 때의 노이즈를 통해서도 발생하고, 데이터의 수가 적어서 발생하기도 합니다. 이때 확률론은 이러한 불확실성을 계량화 하고...
[베이즈 통계학] 베이즈 정리의 두가지 맥락
베이즈 정리 베이즈 정리(Bayes’ theorem). 어떤 사건이 서로 배반하는 원인 둘에 의해 일어난다고 할 때 실제 사건이 일어났을 때 이것이 두 원인 중 하나일 확률을 구하는 정리를 베이즈의 정리라고 한다....
[베이즈 통계학] 최대우도법(MLE)과 최대사후법(MAP) 이해하기
이항분포(Binomial Distribution) 이항 분포란 연속적(continuos)하지 않고 이산적(discrete)한 분포에 대해 이항분포라고 표현합니다. 여기서 이산적이란 표현은 동전 던지기를 할 때 처럼 앞/뒤 와 같이 정해진 케이스만 존재하는 경우를 말합니다. 또한, 동전 던지기와...
[Machine Learning] 기타 확률 정리
기댓값(Expectation) 기댓값: 확률분포 $p(x)$에서 함수 $f(x)$의 평균값 이산확률분포(discrete distirubution): $\mathbb{E}[f]=\sum_{x} p(x) f(x)$ 연속확률분포(continous distiribution): $\mathbb{E}[f]=\int p(x) f(x) \mathrm{d} x$ 모든 경우에 이러한 적분을 통해서 기댓값을 구하기 어려우므로, 확률 분포로 부터...
🐍 [Python] 객체(Object) 이해하기
들어가며 클래스와 객체의 개념 1. Class 라는 것은 새로운 데이터 타입이다 사용자가 정의한 데이터 타입으로 변수를 선헌 후, new 연산자, 생성자를 이용해 메모리를 만든다. (메모리의 생성: 데이터 타입에 해당하는 만큼의...
프로그래머스 1개월차 회고
좋아던 점 이호준 멘토 이번 프로그래머스 국비 교육을 진행 하면서 최고의 수혜는 이호준 멘토를 만난 부분 같다. 앞으로의 커리어의 방향을 설정하는데 많은 도움을 얻을 수 있었다. 그 중 가장 인상...
🐍 [Python] 콜러블(Callable) 객체 이해하기
객체의 정의 객체는 파이썬이 데이터를 추상화한 것입니다. 파이썬 프로그램의 모든 데이터는 객체나 객체 간의 관계로 표현됩니다. 폰 노이만(Von Neumann)의 “프로그램 내장식 컴퓨터(stored program computer)” 모델을 따르고, 또 그 관점에서 코드...