Study

This is a summary of Lecture 3 of 11-785 Deep learning at CMU. '인공신경망은 universal function approximator이다' 라는 말의 뜻은, 만약 어떤 임의의 함수가 주어졌을 때, 인공신경망을 사용하여 주어진 함수를 임의의 정밀도로 근사하는 것(approximation with arbirary precision) 이 가능하다는 뜻이다. 음성인식이나 자동 캡션생성과 같은 문제는 입력이 주어졌을 때 입력에 대응되는 올바른 출력을 mapping해주어야 하는 문제이다. 따라서, 이 문제들은 입력과 출력을 mapping시키는 함수를 찾는 문제로 볼 수 있으며, 인공신경망은 어떤 함수든지 임의의 정밀도로 근사할 수 있기 때문에, 결과적으로 이 문제들..

This is a summary of 11-785 2022 Fall at CMU. MLP(multi-layer perceptron)로 복잡한 결정경계도 표현 가능하다. 좌측의 오각형을 MLP로 표현하기 위해서는, 퍼셉트론 한 개마다 오각형의 변 하나를 나타내도록 한 뒤 AND 연산을 담당하는 퍼셉트론을 하나 더 사용하면 된다. 모든 convex polygon은 polygon의 변의 개수만큼 퍼셉트론을 사용하여 변들을 표현한 뒤 AND 연산을 담당하는 퍼셉트론을 하나 더 사용하여 표현 가능하다. 그렇다면 여러개의 convex polygons들이 이루는 결정경계는 어떻게 표현할 수 있을까? 각각의 polygon들을 나타내는 퍼셉트론을 OR 연산을 수행하는 퍼셉트론으로 연결함으로써 표현 가능하다. 그렇다면 각..

This is a summary of 11-785 2022 Fall at CMU. 딥러닝은 입력을 받아서 출력을 만들어내는 함수(black box) 이다. 우리의 목표는 black box가 사람의 뇌를 흉내내도록 만들어서 원하는 task를 해결하는 것이다. 따라서, 딥러닝은 사람의 뇌의 네트워크 구조(a network of neurons)를 모방하도록 만들어진다. 뉴런은 서로 다른 가중치를 갖는 여러 신호가 입력으로 들어와서, 이 신호들의 가중합이 임계치를 넘어서면 활성화되고 그렇지 않으면 활성화되지 않는 뇌의 기본 단위(unit)이다. 각각의 뉴런들은 아주 단순한 기본 단위이지만, 이들이 어떻게 연결되는지에 따라 다양하고 복잡한 역할을 수행할 수 있다. 그리고 인공신경망은 인간 뇌의 뉴런에 대응되는 퍼..