열심히 살아서 개같이 벌자

real-rock의 데이터 엔지니어 도전기

Data Science/Deep Learning 6

딥러닝: 다층 퍼셉트론(Multi-layer perceptron)

지난 포스트에서 퍼셉트론에 대한 이야기를 했다. 퍼셉트론은 아주 원시적인 형태의 신경망으로 학습이 가능한 형태의 선형 분리 모델이었다. 하지만 마지막에서 단순한 선형분리 가능(linearly separsable) 문제에 대해서만 적용이 가능하다는 치명적인 단점을 언급하며 다층 퍼셉트론에 등장 배경을 간략하게 설명하였다. 이번 포스트에서는 다층 퍼셉트론(multi-layer perceptron, MLP)에 대한 개념들을 소개하고자 한다. 소개할 내용들은 다음 아래와 같다. 퍼셉트론 vs MLP 특징 공간의 변환 MLP의 구조 MLP 동작 원리 를 이야기해보고자 한다. 이 포스트를 읽기 전 퍼셉트론과 오차역전파에 대한 간단한 개념을 안다면 더 좋을 것이다. 퍼셉트론 vs 다층 퍼셉트론 다층 퍼셉트론은 퍼셉트..

딥러닝 기초 수학: 경사하강법

머신러닝에서 경사하강법(gradient descent) 알고리즘은 빼놓을 수 없는 핵심 알고리즘 중 하나이다. 딥러닝을 한번쯤 공부해본 사람이라면 SGD, Adam 등 옵티마이저(optimizer)를 본 적이 있을 것이다. 이번 포스트의 주제는 바로 최적화 과정에서 사용되는 경사하강법 알고리즘이다. 앞서 머신러닝은 목적함수(loss function)를 최소화하는 최적화 과정이라고 설명하였다. 자세한 내용은 최적화 포스트에 다루었으니 목적함수가 뭔지 모른다면 보고 오도록 하자. 간단한 함수에서의 경사하강법 경사하강법의 목적은 목적함수를 최소화하는 매개변수(parameter)를 찾는 알고리즘이다. 다음 아래의 함수를 보자. 위의 함수는 $y=x^2-6x+12$로 아주 간단한 형태의 함수이다. 함수의 최솟값을..

딥러닝: 퍼셉트론

퍼셉트론은 현대 신경망의 가장 원시적인 형태의 모델이다. 우리가 흔히 이야기하는 딥러닝을 포함한 신경망은 퍼셉트론을 병렬 혹은 순차적으로 결합한 형태에 불과하다. 그렇기 때문에 퍼셉트론에 대한 특성을 공부해야할 필요가 있다. 총 두차례에 걸쳐 퍼셉트론에 대한 전반적인 내용을 다루고자 한다. 이번 포스트에서는 아래와 같은 내용을 다룬다. 퍼셉트론의 구조 퍼셉트론의 동작 퍼셉트론의 학습 퍼셉트론의 한계 이후 다음 포스트에는 퍼셉트론의 한계로 인해 등장한 다중 퍼셉트론에 대한 내용을 다루고자한다. 행렬의 내적과 코사인 유사도(Cosine similarity) 및 목적함수(Loss function)에 대한 개념을 알고 있다는 가정하에 진행되므로 잘 기억이 안난다면 리마인드하고 읽는 것을 추천한다. 이제 퍼셉트론..

딥러닝 기초 수학: 최적화

기계 학습에서는 수학을 많이 사용한다. 특히, 대용량의 벡터 연산을 사용하고 데이터의 불확실성을 다루며 오류를 최소화하는 매개변수를 찾는 일을 모두 수학으로 처리한다. 따라서, 딥러닝을 공부함에 있어서 수학은 필수적으로 공부해야하는 분야이며 딥러닝 기초 수학 포스트에서는 다음 아래의 3가지 내용을 다룬다. 선형대수 확률 및 통계 최적화 이번 포스트에서는 기계학습에서 학습의 과정에 속하는 최적화 파트를 소개하겠다. 앞서 선형대수를 통해 데이터간의 연산을, 확률 및 통계를 통해 데이터의 최대우도추정과 무질서도를 알아 보았다. 하지만 결국 인공지능 모델이 "어떻게" 학습되어가는지 명확하게 설명을 하지 않았다. 이제 최적화 이론을 통해 간단하게 이를 이해해보자(기초적인 개념만 알아보고 수학적으로 동작하는 부분은..

딥러닝 기초 수학: 정보이론

기계 학습에서는 수학을 많이 사용한다. 특히, 대용량의 벡터 연산을 사용하고 데이터의 불확실성을 다루며 오류를 최소화하는 매개변수를 찾는 일을 모두 수학으로 처리한다. 따라서, 딥러닝을 공부함에 있어서 수학은 필수적으로 공부해야하는 분야이며 딥러닝 기초 수학 포스트에서는 다음 아래의 3가지 내용을 다룬다. 선형대수 확률 및 통계 최적화 이번 포스트에서는 확률과 통계 파트의 정보이론을 간단하게 소개하도록 하겠다. 사실 전공분야가 아니기 때문에 딥한 내용까지 다루지 못하는점 미리 죄송하다. 확률과 통계 파트의 앞쪽 부분인 Likelihood(우도)와 Maximum Likelihood Estimation(최대우도추론)에 대한 내용을 여기에 작성하였으니 궁금하면 이쪽에서 보면 될 것 같다. 이제 정보이론에 대한..

딥러닝 기초 수학: 선형대수

기계 학습에서는 수학을 많이 사용한다. 특히, 대용량의 벡터 연산을 사용하고 데이터의 불확실성을 다루며 오류를 최소화하는 매개변수를 찾는 일을 모두 수학으로 처리한다. 따라서, 딥러닝을 공부함에 있어서 수학은 필수적으로 공부해야하는 분야이며 딥러닝 기초 수학 포스트에서는 다음 아래의 3가지 내용을 다룬다. 선형대수 확률 및 통계 최적화 이번 포스트에서는 선형대수에 대한 내용을 전반적으로 다룬다. 기계 학습에서는 다양한 연산이 사용된다. 인간이 할 수 없는 엄청난 양의 연산을 이용하는데 이때 필요한 것이 선형대수(Linear Algebra)이다. 어떻게 데이터를 처리하고 연산하는지에 대한 내용을 선형대수를 통해 공부한다. 벡터(Vector)와 행렬(Matrix) 그리고 텐서(Tensor) 기계 학습에서는 ..