### 작동하는 가설을 만들어라

‘가설’이라는 단어는 기업가정신, 이노베이션경영, 그리고 지금의 파괴적혁신에 이르기까지 가장 많이 접한 단어 중 하나 입니다. 그 만큼 많은 학자들이 기업을 경영하는데 있어 가설을 만들고 증명하는 일이 중요하다는 것에 공감대를 형성했다는 뜻일 것입니다.

이러한 가설에는 수많은 변수가 포함되어 있습니다. 이러한 변수에는 기술이 될 수도, 고객 수요가 될 수도, 경쟁업체가 될수도 있습니다. 그리고 불확실하기 때문에 ‘가설’이라는 이름으로 존재하게 됩니다. 변수 간의 상호작용은 가설을 더욱 복잡하게 만들며, 예측하기 어렵게 만듭니다. 그렇기 때문에 가설을 잘 공식화하고 구성해야할 필요가 있습니다.

1. 가설은 가변적이어야 한다. 가설은 어디까지나 가설이기 때문에 잠정적이고, 변화할 수 있음을 유념해야합니다. 그렇기 때문에 가설 설립에서는 융통성을 발휘할 필요가 있습니다. 회사를 이끌어갈 가설인 포트폴리오도 한 번쯤 변화를 거치는데 이는 자연스러운 일입니다. 가설이지만 이를 꼭 달성해야만 한다는 성공한다는 human bias를 경계할 필요가 있습니다.
2. 가설에 스스로 목소리를 낼 수 있어야 한다.가설을 테스트 하기전에, 가설에서 한발짝 물러나 의견을 제시할 수 있어야 합니다. 이러한 의견을 제시하는 것은 불확실성을 이해하는 것이며, 이를 위해서는 산업, 고객, 기술에 대한 심층적인 이해가 필요합니다. 이러한 지식이 부족하다면 가설에 대한 의견을 낼 수 없다는 것이고, 이는 가설을 대한 올바른 질문을 내리지 못하게 될 것입니다.
3. 가설을 망치거나 달성할 요소들을 선별해라. 기업가에게 기회란 극단적인 문제입니다. 엄청난 기회를 줄수도, 사업을 망쳐버릴 수도 있습니다. 그러나 다행히도, 이러한 극단적인 요소들은 사업 초기에 분별할 수 있습니다. 그리고 이러한 불확실성의 원천을 조기에 식별해야 합니다. 기업가들은 항상 ‘현재 기업을 망칠수 있는 무언가’에 대해 대답 할 수 있어야 합니다. 그리고 또한 사업을 성공시킬 핵심동력도 마찬가지로 파악해야 합니다. 이를 파악하기 위한 방법은 ‘우리가 여기에 무엇을 걸고 있는가’ 를 묻는 것입니다. 이렇게 가설을 망치거나 달성할 요소를 명확하게 파악한다면, 가설 테스트를 위한 초점을 맞추는데 도움을 줍니다.

### 자원을 모아라

가설을 테스트 하기 위해서는, 당연한 이야기 이지만 자원이 필요합니다. 여기에는 현금, 장비, 부동산 뿐만 아니라 지적자산, 네트워크, 파트너와의 관계, 유통능력 같은 무형자산도 포함됩니다. 자원을 만들어내는 것은 어렵습니다. 그렇기 때문에 이러한 자원을 잘 관리하고 통제하기 위하여 반복적으로 실험해야 합니다.

1. 다음 실험을 위한 자원을 모아라. 기업의 경영을 반복적인 실험으로 틀을 잡는 것은 얼마나 많은 돈을 모아야 하는 지에 대한 방법론을 제공합니다. 다음 번에 실행될 실험을 위하여 충분한 자금을 항상 구축해 두어야 하며, 우발상황 또한 대비해야 합니다. 가설 증명에 따른 실험에 실패하면 투자를 제한하고, 성공한다면 다음 라운드에서 더 높은 평가를 받기 위해 투자자들을 유혹할 수 있습니다. 이렇게 항상 다음 실험을 위한 자금을 확보하는 행동은 그 다음 실험이 성공을 하든 실패를 하든 지간에 기업이 생존할 수 있는 원동력을 제공할 것입니다.
2. 핵심인력을 고용하기 전에 비즈니스 모델을 안정화 시켜라. 인력을 고용한다는 것은 비즈니스 모델을 만드는데 기여하지 않았던 사람이 들어 온다는 것을 의미합니다. 때문에, 이러한 고용이 더 늦을 수록 안정된 사업모델을 만들 확률이 큽니다. 핵심인력을 너무 일찍 고용한다면 잘못된 비즈니스 모델에 인력을 끌어들이거나, 가설을 수정하지 못하는 위험에 빠질 수 있습니다. 따라서 초기 가설 실험 반복 과정에서 필요한 것은 핵심인력이 아닌 열정과 유연함 입니다.
3. 시험에 핵심적인 요소 이외의 것은 아웃소싱해라. 기업과 경영자는 그들의 제한적인 자원을 불확실성을 감소시키는 가설을 증명하는 실험에 집중해야 합니다. 그리고 이러한 실험외의 것은 가능하다면 아웃소싱해야 합니다. 그러나 많은 기업들이 가설외의 것들도 무모하게 관리하려하거나, 무모하게 수많은 기업들과 파트너를 맺으려 합니다. 핵심이 되는 실험에 집중하기 위해 나머지의 것에 파트너를 맺는다면, 기업가와 관리자 모두 균형을 잡을 수 있습니다.

### 실험을 디자인하고 실행하는 방법

앞서 가설을 만들고, 이를 테스트하기 위한 자원을 모았다면, 기업가들은 철저하게 이를 현실세계에서 실험해 보아야 합니다. 누차 강조하지만, 실험이란 것은 추가 자원을 투입하기 전에 새로운 모험의 성공에 있을 불확실성의 원천을 줄이기 위한 것입니다. 실험 결과에 기초하여 가설을 수정하거나, 다른 실험을 실행하거나, 만들어진 가치를 수확할 수 도 있습니다.

1. 부분실험. 부분실험은 불확실성의 불확실성의 단일 원천에 대한 중요한 정보를 제공합니다. 이 실험은 미지의 정보가 관련되어 있고, 정보를 얻는데 드는 가치와 비용을 정량화 할 수 있을 때 빛을 볼 수 있습니다. 또한 큰 베팅을 하기전에 테스트 하는 데도 부분적인 실험이 도움을 줍니다.
2. 전체실험. 부분실험과는 대조적으로, 전체 실험은 여러변수와 그들 사이의 상호작용을 작은 규모로 동시에 실험하는 것을 의미합니다. 본격적으로 광범위하게 적용하기 전에 프로토타입을 만들어 보는 것이 예가 될 수 있습니다. 이는 미지의 것을 밝히는데 효과를 발휘하고, 사업 운영을 확장하기전에 비즈니스 모델을 테스트하고 수정하는데 도움을 줍니다.
3. 단계별 실험. 값 비싼 전체적인 실험하기에 앞서, 비교적 저렴한 실험부터 단계적으로 시작해야 합니다. 이렇게 단계적으로 실험을 완료했다면, 전체적인 실험에서는 불확실성을 비롯하여 모든 중요한 요소들과 함께 실험하는 것이 중요합니다.
4. 실험이 더뎌지는 것을 경계해라. 실험이 더뎌진다는 것은, 실험이 너무 오래 지체되거나, 비용이 과하게 들거나, 실험하려는 것에 대한 불확실성이 명확하지 않을 때 발생합니다. 이는 사람들이 성공에 대한 기득권을 갖게 되거나,객관성을 잃거나, 유리한 조건으로 결과를 변경하려고 할 때 발생하는 문제입니다. 기업가들은 앞으로 겪게될 무수한 좌절을 극복하기 위해 열정, 낙관적인 사고, 지속성을 유지해야 하기 때문에 이러한 문제는 굉장히 까다롭습니다. 이를 방지하기 위해서는 실험을 설계할 때 신중함을 유지해야 합니다. 그리고 실험의 설계 부터 결과에 이르는 모든 과정에 외부 참여자를 적극 유도하는 것도 좋은 방법입니다.


### 작동하는 가설을 만들어라 ‘가설’이라는 단어는 기업가정신, 이노베이션경영, 그리고 지금의 파괴적혁신에 이르기까지 가장 많이 접한 단어 중 하나 입니다. 그 만큼 많은 학자들이 기업을 경영하는데 있어 가설을 만들고 증명하는 일이 중요하다는 것에 공감대를 형성했다는 뜻일 것입니다.  이러한 가설에는 수많은 변수가 포함되어 있습니다. 이러한 변수에는 기...

Disciplined entrepreneurship

## Image Representation & Classification

### Images as Grids of Pixels

```python
import numpy as np
from skimage import io
import matplotlib.image as mpimg

import matplotlib.pyplot as plt
import cv2

import urllib

%matplotlib inline
```

먼저 이미지를 불러온다.

```python
waymo_car_url = 'https://zdnet2.cbsistatic.com/hub/i/r/2018/01/22/e270d68c-c028-421a-bc5b-5d2a9a9458d1/resize/770xauto/50e9d2f0fc86841ba455489d50651291/google-waymo-self-driving-atlanta.png'
f = urllib.request.urlopen(waymo_car_url)
image = mpimg.imread(f)

print('Image dimensions:', image.shape)
```

```
Image dimensions: (410, 770, 4)
```

```python
# 이미지를 회색으로 바꾼다.
gray_image = cv2.cvtColor(image, cv2.COLOR_RGB2GRAY)
plt.imshow(gray_image, cmap='gray')
```

![waymo-gray](../images/01.png)

```python
# 특정 좌표의 grayscale
x = 400
y = 300

print(gray_image[y,x])
```

```
0.543404
```

```python
# 맥시멈 / 미니멈 grayscale

max_val = np.amax(gray_image)
min_val = np.amin(gray_image)

print('Max: ', max_val)
print('Min: ', min_val)
```

```
Max: 0.9646824
Min: 0.040556863
```

### RGB colorspace

```python
plt.imshow(image)
```

![waymo](../images/02.png)

```python
## 각각의 RGB영역 확보
r = image[:,:,0]
g = image[:,:,1]
b = image[:,:,2]
```

```python
fx, (ax1, ax2, ax3) = plt.subplots(1, 3, figsize=(20,10))
ax1.set_title('R channel')
ax1.imshow(r, cmap='gray')
ax2.set_title('G channel')
ax2.imshow(g, cmap='gray')
ax3.set_title('B channel')
ax3.imshow(b, cmap='gray')
```

![waymo-rgb](../images/03.png)

### Color Threshold, Bluescreen

파란색 크로마키에 있는 사진을 합성하는 과정이다.

![image](https://ak5.picdn.net/shutterstock/videos/548875/thumb/1.jpg)

```python
cromakey_blue = 'https://ak5.picdn.net/shutterstock/videos/548875/thumb/1.jpg'
f = urllib.request.urlopen(cromakey_blue)
image = mpimg.imread(f, 0)
print('This image is:', type(image), 'with dimensions:', image.shape)
```

```
This image is: <class 'numpy.ndarray'> with dimensions: (480, 852, 3)
```

```python
# 이미지 복사
image_copy = np.copy(image)

# BGR이미지를 RGB로 변환
image_copy = cv2.cvtColor(image_copy, cv2.COLOR_BGR2RGB)

# 복사된 이미지 보여주기
plt.imshow(image_copy)
```

![red](../images/04.png)

```python
lower_blue = np.array([0,0,200])
upper_blue = np.array([250,250,255])

# 마스킹될 영역을 선택한다.
mask = cv2.inRange(image, lower_blue, upper_blue)

# 마스킹 이미지 표시
plt.imshow(mask, cmap='gray')
```

![mask](../images/05.png)

```python
# 이미지를 카피한다음
masked_image = np.copy(image_copy)
# 마스킹 영역을 제외하고 모두 검정색으로 바꾼다면
masked_image[mask != 0] = [0, 0, 0]
plt.imshow(masked_image)
```

![mask](../images/06.png)

효과적으로 파란색 영역을 제거한 것을 알 수 있다. 여기에 배경을 합성해보자.

```python
space_url = 'https://images.unsplash.com/photo-1496715976403-7e36dc43f17b?ixlib=rb-1.2.1&w=1000&q=80'
sf = urllib.request.urlopen(space_url)
image = np.asarray(bytearray(sf.read()), dtype="uint8")
background_image = cv2.imdecode(image, cv2.IMREAD_COLOR)
background_image = cv2.cvtColor(background_image, cv2.COLOR_BGR2RGB)

crop_background = background_image[0:480, 0:852]
# 이번엔 반대로 마스킹 해야할 영역을 검정색으로 처리한다.
crop_background[mask == 0] = [0, 0, 0]
plt.imshow(crop_background)
```

![background](../images/07.png)

```python
# 두 이미지를 합치면
complete_image = masked_image + crop_background
plt.imshow(complete_image)
```

![complete](../images/08.png)

## Image Representation & Classification ### Images as Grids of Pixels  ```python import numpy as np from skimage import io import matplotlib.image as mpimg  import matplotlib.pyplot as plt import cv...

Computer Vision 01) - Image Representation

<h2 id="image-representation--classification">Image Representation &#x26; Classification</h2>
<h3 id="images-as-grids-of-pixels">Images as Grids of Pixels</h3>
<pre class="language-python"><code class="language-python">import numpy as np
from skimage import io
import matplotlib.image as mpimg

import matplotlib.pyplot as plt
import cv2

import urllib

%matplotlib inline
</code></pre>
먼저 이미지를 불러온다.
<pre class="language-python"><code class="language-python">waymo_car_url = 'https://zdnet2.cbsistatic.com/hub/i/r/2018/01/22/e270d68c-c028-421a-bc5b-5d2a9a9458d1/resize/770xauto/50e9d2f0fc86841ba455489d50651291/google-waymo-self-driving-atlanta.png'
f = urllib.request.urlopen(waymo_car_url)
image = mpimg.imread(f)

print('Image dimensions:', image.shape)
</code></pre>
<pre><code>Image dimensions: (410, 770, 4)
</code></pre>
<pre class="language-python"><code class="language-python"># 이미지를 회색으로 바꾼다.
gray_image = cv2.cvtColor(image, cv2.COLOR_RGB2GRAY)
plt.imshow(gray_image, cmap='gray')
</code></pre>
<img src="../images/01.png" alt="waymo-gray">
<pre class="language-python"><code class="language-python"># 특정 좌표의 grayscale
x = 400
y = 300

print(gray_image[y,x])
</code></pre>
<pre><code>0.543404
</code></pre>
<pre class="language-python"><code class="language-python"># 맥시멈 / 미니멈 grayscale

max_val = np.amax(gray_image)
min_val = np.amin(gray_image)

print('Max: ', max_val)
print('Min: ', min_val)
</code></pre>
<pre><code>Max: 0.9646824
Min: 0.040556863
</code></pre>
<h3 id="rgb-colorspace">RGB colorspace</h3>
<pre class="language-python"><code class="language-python">plt.imshow(image)
</code></pre>
<img src="../images/02.png" alt="waymo">
<pre class="language-python"><code class="language-python">## 각각의 RGB영역 확보
r = image[:,:,0]
g = image[:,:,1]
b = image[:,:,2]
</code></pre>
<pre class="language-python"><code class="language-python">fx, (ax1, ax2, ax3) = plt.subplots(1, 3, figsize=(20,10))
ax1.set_title('R channel')
ax1.imshow(r, cmap='gray')
ax2.set_title('G channel')
ax2.imshow(g, cmap='gray')
ax3.set_title('B channel')
ax3.imshow(b, cmap='gray')
</code></pre>
<img src="../images/03.png" alt="waymo-rgb">
<h3 id="color-threshold-bluescreen">Color Threshold, Bluescreen</h3>
파란색 크로마키에 있는 사진을 합성하는 과정이다.
<img src="https://ak5.picdn.net/shutterstock/videos/548875/thumb/1.jpg" alt="image">
<pre class="language-python"><code class="language-python">cromakey_blue = 'https://ak5.picdn.net/shutterstock/videos/548875/thumb/1.jpg'
f = urllib.request.urlopen(cromakey_blue)
image = mpimg.imread(f, 0)
print('This image is:', type(image), 'with dimensions:', image.shape)
</code></pre>
<pre><code>This image is: &#x3C;class 'numpy.ndarray'> with dimensions: (480, 852, 3)
</code></pre>
<pre class="language-python"><code class="language-python"># 이미지 복사
image_copy = np.copy(image)

# BGR이미지를 RGB로 변환
image_copy = cv2.cvtColor(image_copy, cv2.COLOR_BGR2RGB)

# 복사된 이미지 보여주기
plt.imshow(image_copy)
</code></pre>
<img src="../images/04.png" alt="red">
<pre class="language-python"><code class="language-python">lower_blue = np.array([0,0,200])
upper_blue = np.array([250,250,255])

# 마스킹될 영역을 선택한다.
mask = cv2.inRange(image, lower_blue, upper_blue)

# 마스킹 이미지 표시
plt.imshow(mask, cmap='gray')
</code></pre>
<img src="../images/05.png" alt="mask">
<pre class="language-python"><code class="language-python"># 이미지를 카피한다음
masked_image = np.copy(image_copy)
# 마스킹 영역을 제외하고 모두 검정색으로 바꾼다면
masked_image[mask != 0] = [0, 0, 0]
plt.imshow(masked_image)
</code></pre>
<img src="../images/06.png" alt="mask">
효과적으로 파란색 영역을 제거한 것을 알 수 있다. 여기에 배경을 합성해보자.
<pre class="language-python"><code class="language-python">space_url = 'https://images.unsplash.com/photo-1496715976403-7e36dc43f17b?ixlib=rb-1.2.1&#x26;w=1000&#x26;q=80'
sf = urllib.request.urlopen(space_url)
image = np.asarray(bytearray(sf.read()), dtype="uint8")
background_image = cv2.imdecode(image, cv2.IMREAD_COLOR)
background_image = cv2.cvtColor(background_image, cv2.COLOR_BGR2RGB)

crop_background = background_image[0:480, 0:852]
# 이번엔 반대로 마스킹 해야할 영역을 검정색으로 처리한다.
crop_background[mask == 0] = [0, 0, 0]
plt.imshow(crop_background)
</code></pre>
<img src="../images/07.png" alt="background">
<pre class="language-python"><code class="language-python"># 두 이미지를 합치면
complete_image = masked_image + crop_background
plt.imshow(complete_image)
</code></pre>
<img src="../images/08.png" alt="complete">

How do neural networks work/learn?

## 신경망은 어떻게 동작하는가?

다양한 정보를 바탕으로 부동산 가격을 예측하는 일을 해보도록 하자.

![03](../images/03.png)

가장 일반적으로 할 수 있는 접근은, 각각의 데이터에 적절한 가중치를 적용한 값을 바탕으로 가격을 예측하는 것이다. 여기에는 여러가지 방식이 적용될 수 있다. Regression이 될 수도 있고, 대부분의 머신러닝 알고리즘이 여기에 해당 될 것이다. 즉, 히든레이어가 없어도 어떻게서든 적절한 output을 찾아내는 것은 가능할 것이다. 
하지만 신경망은 Hidden layer를 활용한다는 것이 다르다. 그리고 이는 예측하는데 있어서 조금더 유연함을 제공해준다.

![04](../images/04.png)

위의 그림에서는 hidden layer들이 존재한다. 그리고 각각의 hidden layer들은 서로 다른 파라미터들을 input으로 받으면서, 각자 다른방식으로 추측을 한다. 그리고 이렇게 값을 내보낸 hidden layer들로 최종적으로 결과를 만들어 낸다. 결과적으로, 단 하나의 함수를 적용하는 것보다 다양한 input value와 다양한 가중치를 적용함으로써, deep learning은 학습하는데 있어 조금더 유연함을 가져갈 수 있다.

## 어떻게 신경망이 학습하는가?

![06](../images/06.png)

위와 같은 뉴런(이제 퍼셉트론이라고 칭하겠다.)이 있다고 가정하자. activation function을 통해 특정 값이 나왔을 것이고, 우리는 이를 $$\hat{y}$$라고 부른다. 실제값인 $$y$$와는 차이가 있을 것이다. 여기에서 이 차이를 계산하는 함수를 `cost function`이라고 부른다. 물론 이 cost function에도 여러종류가 있다. 아무튼, 이 cost function에서 나오는 값이 작을 수록 정확한 값을 예측했다고 할 수 있을 것이다. cost function을 통해서 전달 받은 값은 다시 퍼셉트론으로 돌아간다. 그리고 이 값을 바탕으로 weight를 업데이트 하게 된다. 

![07](../images/07.png)

위 그림에서 보이느 8개의 퍼셉트론은 하나의 같은 퍼셉트론이다. 첫 epoch에서 8개의 데이터로 학습을 한 뒤에 cost function으로 전체 error를 구해낸다.

![08](../images/08.png)

그리고 그 값을 바탕으로 w1, w2, w3를 업데이트 해나가면서 cost를 점차 줄여나간다. 이 과정을 정해진 epoch동안 반복해 나가면서 cost를 줄여나가게 된다. 그리고 이 과정을 backpropagation (역전파)이라고 한다. 

[참고자료](https://stats.stackexchange.com/questions/154879/a-list-of-cost-functions-used-in-neural-networks-alongside-applications)

### Gradient Descent 

그렇다면 정확히 어떻게 weight가 조정되는 것일까?

![09](../images/09.png)

weight값을 무작위로 마구잡이로 집어 넣어서 (brute force) 최소값을 찾아낸다고 가정해보자. 그렇게 한다면 위와 같은 형태가 될 것이다. 

$$ \frac{1}{m} \sum_{i=1}^{m}((\hat{y} - y))^2 $$

분명 어느지점에서는 cost가 최소화 될 것이고, 우리는 저 지점을 찾는 것을 목표로 한다. 그러나 신경망은 수많은 퍼셉트론을 가지고 있기 때문에, 이와 연결되는 weight도 엄청나게 많을 것이다. 따라서 이 모든 값들을 무작위로 때려 넣어서 맞춘다는 것은 사실상 불가능하다. 그래서 사용하는 것이 Gradient descent 다.

![gradient-descent](https://cdn-images-1.medium.com/max/1600/0*rBQI7uBhBKE8KT-X.png)

첫 weight로 위의 지점에서 cost를 구했다고 가정하자. 해당 지점에서 기울기를 구하고, 그 지점에서의 기울기가 양라면 (미분해서) 오른쪽은 오르막, 왼쪽은 내리막이라는 뜻이므로 왼쪽으로 간다. 반대로 기울기가 음이라면 오른쪽이 내리막, 왼쪽이 오르막이라는 뜻이므로 오른쪽으로 간다. 이 과정을 반복해서 점차 가장 낮은 곳을 찾아나가는 것이다.

이 과정에서, 움직이는 값이 너무 크다면, 영영 최소점을 찾지 못할 것이고, 반대로 너무 작다면 최소점을 찾는데 너무 오랜 시간이 걸릴 것이다.

### Stochastic Gradient Descent

위에서 본 예제에서는 cost function 이 convex한 모양을 가지고 있었기 때문에 가능했다. 최소점도 단 하나여서 찾기 쉽다.

![sgd](https://davidmatablog.files.wordpress.com/2017/08/multidmensional.png?w=1000)

만약 cost function 을 바꾸거나, 다차원의 형태를 띄고 있다면, 아마도 cost function의 모양은 저런 모양이 될 것이다. 이경우에는 최적의 최저점을 찾지 못하게 될 수도 있다. 그래서 사용하는 것이 Stocahstic Gradient desecent(이하 SGD)다. 

SGD는 모든 데이터를 바탕으로 weight를 조정하는 것이 아니라, 데이터를 나눠서 gradient desecent를 적용하는 것이다.

![sgd](https://t1.daumcdn.net/cfile/tistory/999EA83359D86B6B0B)

이렇게 함으로써 국소최저점에 빠지는 것을 방지할 수 있고, 더빠르게 연산해 낼 수 있다. 

요약하자면, batch형태로 하나의 데이터셋 전체로 Gradient Descent 하는 것이 아니고, mini-batch 형태로 데이터를 쪼개서 Gradient Descent하는 것이라 할 수 있다.

[참고1](http://iamtrask.github.io/2015/07/27/python-network-part2/)

[참고2](http://neuralnetworksanddeeplearning.com/chap2.html)

## 신경망이 작동하는 과정

1. 가중치를 0에 가까운 작은수로 랜덤하게 설정한다.
2. input layer 각각의 노드에 데이터를 집어 넣는다.
3. Foward Propagataion - 순전파: 각각의 퍼셉트론이 주어진 가중치에 따라서 activation여부를 결정한다. 이 과정은 output layer에서 결과가 나올때까지 지속된다.
4. 실제 결과와 신경망이 예측한 결과를 비교한다. 그리고 이 두값을 바탕으로 에러를 산출해낸다.
5. Back Progatation - 역전파: 3번의 과정을 반대로 진행한다. 4번에서 나온 에러값을 바탕으로 각각의 가중치가 얼마나 에러에 책임이 있는지를 계산한 후에, 각중치를 업데이트 한다. learning rate가 얾라나 가중치를 업데이트 할지 결정하게 된다.
6. 1번에서 5번과정을 각 observation마다 반복하거나 (Reinforcement Learning) batch크기만큼 반복 (Batch Learning)
7. 모든 training set에서 한번 거치는 이 과정을 epoch이라고 한다. epoch을 설정한 수치만큼 반복한다.


How do neural networks work/learn? ## 신경망은 어떻게 동작하는가?  다양한 정보를 바탕으로 부동산 가격을 예측하는 일을 해보도록 하자.  ![03](../images/03.png)  가장 일반적으로 할 수 있는 접근은, 각각의 데이터에 적절한 가중치를 적용한 값을 바탕으로 가격을 예측하는...

Deep Learning 03) - How do neural networks work/learn?

Deep Learning 02) Activation Function

## Activation Function

활성화 함수

![02](../images/02.png)

활성화 함수는 가중치가 더해진 input value를 어떻게 처리할 것인지 결정하는 함수다. 이러한 활성화 함수에는 몇가지 종류가 있다.

### 1. Threshold Function

![threshold-function](https://www.saedsayad.com../../../images/ANN_Unit_step.png)

$$ 1 f x \geq 0 $$

$$ 0 f x < 0 $$

매우매우 간단한 형태의 함수다. 

### 2. Sigmoid Function

![sigmoid](https://t1.daumcdn.net/cfile/tistory/275BAD4F577B669920)

$$ \frac{1}{1 + e^{-x}}$$

위 함수와 다르게 부드러운 형태를 띄고 있다. 0과 1을 구분하는 곳은 경사가 급하고, 나머지 부분에서는 경사가 매우 완만하다. 이 함수는 결과값으로 확률을 구해야할 때 굉장히 유용하게 사용되고 있다.

### 3. ReLU

![relu](https://cdn-images-1.medium.com/max/937/1*oePAhrm74RNnNEolprmTaQ.png)

$$ \text{max}(0, x) $$

딥러닝에서 가장 유명한 활성화 함수중 하나다. 0이하의 값에서는 0을, 0이상에서는 x의 값을 그대로 가져간다. 다른함수에 비해 속도가 빠르고, 구현도 쉽고 따라서 연산비용도 저렴해서 많이 애용하는 함수다. 그러난 x가 0보다 작아지면 그 값을 모두 무시해버리기 때문에 (0으로 처리하기 때문에) 뉴런이 죽어버릴수도 있다는 단점이 존재한다.

### 4. tanh

![tanh](https://www.medcalc.org/manual/_help/functions/tanh.png)

$$ \frac{1 - e^{-2x}}{1+e^{-2x}} $$

시그모이드와 비슷하게 생긴 쌍곡선 함수다. sigmoid가 중간값이 $$\frac{1}{2}$$인데 반에 이 함수는 중간값을 0으로 옮겨왔다. 따라서 값이 다른 함수와는 다르게 -1에서 1사이에서 형성된다.

- 참고논문: [Deep Sparse Rectifier Neural Networks](http://proceedings.mlr.press/v15/glorot11a/glorot11a.pdf)

Deep Learning 02) Activation Function ## Activation Function  활성화 함수  ![02](../images/02.png)  활성화 함수는 가중치가 더해진 input value를 어떻게 처리할 것인지 결정하는 함수다. 이러한 활성화 함수에는 몇가지 종류가 있다.  ### 1...

Deep Learning 02) - Activation Function

Deep Learning 01) Neuron

## Neron

뉴런은 딥러닝의 핵심이 되는 개념이다. 뉴론 하나 자체로는 별다른 기능을 할 수 없지만, 여러개의 뉴런이 모여야 진정하게 기능을 할 수 있다. 

일단 뉴런의 구조를 살펴보자.

![neuron](https://cdn-images-1.medium.com/max/1600/1*_Zy1C83cnmYUdETCeQrOgA.png)

뉴런은 보이는 것처럼 n개의 input signal을 받아서 output signal을 내보내는 구조를 가지고 있다. input value는 독립변수이며, 이를 받아서 어떻게 output을 내보낼 것인가가 핵심이다. 일단 이러한 input value들의 값은 특성에 따라 제각각 일 것이므로, 일반적으로 표준화하여 0과 1사이에서 존재하도록 처리한다. 이렇게 처리된 input value 에는 가중치 (weight)를 각각 적용한다. 이는 이 input value가 결과에 얼마나 영향을 미치는지 결정하게 되는데, 이 weight값은 값을 예측하는 과정에서 점차 보정이 이루어진다. 

output value는 연속적인 값이 될수도, binary한 값이 될수도, categorical한 값이 될 수 있다. 이는 우리가 무엇을 예측하려고 하느냐에 따라 다르다.

### Weight

weight은 neural network에서 굉장히 중요한 부분이다. neural network에서 weight을 조정하면서 뉴런은 이 값들을 어떻게 가중치를 가해서 결과 값을 냘지 결정한다. 그리고 이 weight 을 조정하는 과정을 학습하는 과정이라고 볼 수 있다. wiehgt을 조정하면서, 어떤 input이 중요한지, 덜 중요한지를 판단하게 된다.

![01](../images/01.png)

이 weight을 조정하는 과정이 전체 neural network에서 이뤄지게 되며, 이를 위해서 나중에 설명할 gradient descent나 backpropagation이 이뤄지게 된다.

### 뉴런안에서는 무슨일이 일어날까?

1. 모든 input value에 각각의 가중치를 곱한 값을 합한다.

$$ \sum_{i=1}^{m} WiXi $$

2. activation function을 적용한다.

$$ \text{Activation Function}(\sum_{i=1}^{m} WiXi) $$

activation function, 활성함수는 1번에서 처리된 값을 어떻게 내보낼지 결정하는 함수다. 이 함수들은 주로 비선형 함수이다. (선형함수는 아무리 여러 계층을 쌓아봐야 결국 선형함수일 뿐이므로, 즉 층을 깊게하는 의미가 없어지므로) 이 활성함수의 종류에 대해서는 나중에 다루도록 한다.

3. 다음 neuron으로 값을 전달한다.



Deep Learning 01) Neuron ## Neron  뉴런은 딥러닝의 핵심이 되는 개념이다. 뉴론 하나 자체로는 별다른 기능을 할 수 없지만, 여러개의 뉴런이 모여야 진정하게 기능을 할 수 있다.   일단 뉴런의 구조를 살펴보자.  ![neuron](https://cdn-images-1.medium.com/max/1600/1*_Zy1C83cnmY...

Deep Learning 01) - Neuron

Deep Learning 01) Neuron
<h2 id="neron">Neron</h2>
뉴런은 딥러닝의 핵심이 되는 개념이다. 뉴론 하나 자체로는 별다른 기능을 할 수 없지만, 여러개의 뉴런이 모여야 진정하게 기능을 할 수 있다.
일단 뉴런의 구조를 살펴보자.
<img src="https://cdn-images-1.medium.com/max/1600/1*_Zy1C83cnmYUdETCeQrOgA.png" alt="neuron">
뉴런은 보이는 것처럼 n개의 input signal을 받아서 output signal을 내보내는 구조를 가지고 있다. input value는 독립변수이며, 이를 받아서 어떻게 output을 내보낼 것인가가 핵심이다. 일단 이러한 input value들의 값은 특성에 따라 제각각 일 것이므로, 일반적으로 표준화하여 0과 1사이에서 존재하도록 처리한다. 이렇게 처리된 input value 에는 가중치 (weight)를 각각 적용한다. 이는 이 input value가 결과에 얼마나 영향을 미치는지 결정하게 되는데, 이 weight값은 값을 예측하는 과정에서 점차 보정이 이루어진다.
output value는 연속적인 값이 될수도, binary한 값이 될수도, categorical한 값이 될 수 있다. 이는 우리가 무엇을 예측하려고 하느냐에 따라 다르다.
<h3 id="weight">Weight</h3>
weight은 neural network에서 굉장히 중요한 부분이다. neural network에서 weight을 조정하면서 뉴런은 이 값들을 어떻게 가중치를 가해서 결과 값을 냘지 결정한다. 그리고 이 weight 을 조정하는 과정을 학습하는 과정이라고 볼 수 있다. wiehgt을 조정하면서, 어떤 input이 중요한지, 덜 중요한지를 판단하게 된다.
<img src="../images/01.png" alt="01">
이 weight을 조정하는 과정이 전체 neural network에서 이뤄지게 되며, 이를 위해서 나중에 설명할 gradient descent나 backpropagation이 이뤄지게 된다.
<h3 id="뉴런안에서는-무슨일이-일어날까">뉴런안에서는 무슨일이 일어날까?</h3>
<ol>
<li>모든 input value에 각각의 가중치를 곱한 값을 합한다.</li>
</ol>
<math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><msubsup><mo>∑</mo><mrow><mi>i</mi><mo>=</mo><mn>1</mn></mrow><mi>m</mi></msubsup><mi>W</mi><mi>i</mi><mi>X</mi><mi>i</mi></mrow><annotation encoding="application/x-tex">\sum_{i=1}^{m} WiXi</annotation></semantics></math>∑i=1m​WiXi
<ol start="2">
<li>activation function을 적용한다.</li>
</ol>
<math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mtext>Activation Function</mtext><mo stretchy="false">(</mo><msubsup><mo>∑</mo><mrow><mi>i</mi><mo>=</mo><mn>1</mn></mrow><mi>m</mi></msubsup><mi>W</mi><mi>i</mi><mi>X</mi><mi>i</mi><mo stretchy="false">)</mo></mrow><annotation encoding="application/x-tex">\text{Activation Function}(\sum_{i=1}^{m} WiXi)</annotation></semantics></math>Activation Function(∑i=1m​WiXi)
activation function, 활성함수는 1번에서 처리된 값을 어떻게 내보낼지 결정하는 함수다. 이 함수들은 주로 비선형 함수이다. (선형함수는 아무리 여러 계층을 쌓아봐야 결국 선형함수일 뿐이므로, 즉 층을 깊게하는 의미가 없어지므로) 이 활성함수의 종류에 대해서는 나중에 다루도록 한다.
<ol start="3">
<li>다음 neuron으로 값을 전달한다.</li>
</ol>

yceffort

Disciplined entrepreneurship

Computer Vision 01) - Image Representation

Deep Learning 03) - How do neural networks work/learn?

Deep Learning 02) - Activation Function

Deep Learning 01) - Neuron