Introduction to Deep Learning

1. Introduction

Early AI

- 인간에게는 어렵고, 컴퓨터에게는 쉬움

- 하드코딩 된 지식, 인간이 공식적으로 지정한 지식을 바탕으로 학습

 

Modern AI

- 사람에게 쉽지만, 형식화하여 설명하기 어려움

- 직관적인 정보, 비공식적인 지식

- 경험을 바탕으로, 데이터의 패턴을 탐색하여 지식을 습득하는 능력, 머신러닝, 데이터 마이닝

 

 

Machine Learning

- Representation learning (좋은 표현을 자동으로 찾는것)

: 관계와 표현을 동시에 학습

 

-Deep learning (표현도 찾고, 문제도 해결하고)

: 보다 간단한 표현들을 여러층에 걸쳐서

 

---

2. Deep Learning

 

Deep Learning with Neural Networks (NN)

- Neural Networks는 딥러닝의 기본 모델

- started from the three-layer perceptron (3-MLP) : Input - Hidden - Output

 

---

3. History of Deep Learning

 

[이름의 변화]

Cybernetics: 1940s ~ 1960s

Connectionism or neural networks: 1980s ~ 1990s

Deep learning: After 2006

 

[테크닉의 변화]

Biological learning: 1940s

Perceptron: 1950s

Multi-layer perceptron (MLP): 1960s

Backpropagation: 1980s

Convolutional neural networks: 1990s

New wave of deep learning: 2006

 

---

4. Motivation of Deep Learning

 

왜 지금 딥러닝이 다시 주목 받는지?

 

- 데이터 양의 증가

: 데이터가 어디에나 있고, 그것을 처리할 수 있는 인간의 능력 또한 증가함

 

- 계산 자원 (Computational resources)

: 모델의 연결수

: 복잡한 모델에 대한 높은 정확도

: GPU, TPU, NPU, etc.

 

- Successful applications for complex real-world problems

- 더 나은 신경망의 구조 제안

- 수학 알고리즘이 향상

 

*성능이 점점 좋아짐(에러가 낮아짐)

이유는?

1. 데이터 (많은 양의 데이터) + 2. 하드웨어(좋은 기술력과 자원) + 3. 소프트웨어, 알고리즘**

 

---

5. Summary

 

* AI > ML > DL