Study

This is a summary of 11-785 2022 Fall at CMU. MLP(multi-layer perceptron)로 복잡한 결정경계도 표현 가능하다. 좌측의 오각형을 MLP로 표현하기 위해서는, 퍼셉트론 한 개마다 오각형의 변 하나를 나타내도록 한 뒤 AND 연산을 담당하는 퍼셉트론을 하나 더 사용하면 된다. 모든 convex polygon은 polygon의 변의 개수만큼 퍼셉트론을 사용하여 변들을 표현한 뒤 AND 연산을 담당하는 퍼셉트론을 하나 더 사용하여 표현 가능하다. 그렇다면 여러개의 convex polygons들이 이루는 결정경계는 어떻게 표현할 수 있을까? 각각의 polygon들을 나타내는 퍼셉트론을 OR 연산을 수행하는 퍼셉트론으로 연결함으로써 표현 가능하다. 그렇다면 각..

This is a summary of 11-785 2022 Fall at CMU. 딥러닝은 입력을 받아서 출력을 만들어내는 함수(black box) 이다. 우리의 목표는 black box가 사람의 뇌를 흉내내도록 만들어서 원하는 task를 해결하는 것이다. 따라서, 딥러닝은 사람의 뇌의 네트워크 구조(a network of neurons)를 모방하도록 만들어진다. 뉴런은 서로 다른 가중치를 갖는 여러 신호가 입력으로 들어와서, 이 신호들의 가중합이 임계치를 넘어서면 활성화되고 그렇지 않으면 활성화되지 않는 뇌의 기본 단위(unit)이다. 각각의 뉴런들은 아주 단순한 기본 단위이지만, 이들이 어떻게 연결되는지에 따라 다양하고 복잡한 역할을 수행할 수 있다. 그리고 인공신경망은 인간 뇌의 뉴런에 대응되는 퍼..