Pytorch - 01) Tensor

## Tensor

이제는 더 이상 기초를 다루지 않겠다. (마지막 기초 공부)

```python
# 기초적인 배열 선언
v = torch.tensor([1, 2, 3])
v
```

```bash
tensor([1, 2, 3])
```

```python
# 타입 확인
v.dtype
```

```bash
torch.int64
```

```python
# pytohn 배열과 마찬가지로 슬라이싱이 가능하다
v = torch.tensor([1, 2, 3, 4, 5, 6])
v[1:]
v[1:4]
```

```python
# Float 형태로 선언
f = torch.FloatTensor([1, 2, 3, 4, 5, 6])
f
```

```bash
tensor([1., 2., 3., 4., 5., 6.])
```

```python
# 크기 확인
f.size()
```

```bash
torch.Size([6])
```

```python
# view를 써서 배열 형태를 조작할 수도 있다.
v.view(6, 1)
```

```bash
tensor([[1],
 [2],
 [3],
 [4],
 [5],
 [6]])
```

```python
# 3만 줄테니 알아서 사이즈를 조절해라
v.view(3, -1)
```

```bash
tensor([[1, 2],
 [3, 4],
 [5, 6]])
```

```python
# numpy array를 tensor array를 상호간에 변환하는 것이 가능하다.
a = np.array([1, 2, 3, 4, 5, ])
tensor_cnv = torch.from_numpy(a)
print(tensor_cnv, tensor_cnv.type())
```

```bash
tensor([1, 2, 3, 4, 5]) torch.LongTensor
```

```python
numpy_cnv = tensor_cnv.numpy()
numpy_cnv
```

```bash
array([1, 2, 3, 4, 5])
```

```python
# 0부터 10을 100개로 쪼갠다.
torch.linspace(0, 10)
# 0부터 10을 5개로 쪼갠다.
torch.linspace(0, 10, 5)
```

```python
# 이런 것도 가능하다.
x = torch.linspace(0, 10, 100)
y = torch.exp(x)
y
```

```bash
tensor([1.0000e+00, 1.1063e+00, 1.2239e+00, 1.3540e+00, 1.4979e+00, 1.6571e+00,
 1.8332e+00, 2.0280e+00, 2.2436e+00, 2.4821e+00, 2.7459e+00, 3.0377e+00,
 3.3606e+00, 3.7178e+00, 4.1130e+00, 4.5501e+00, 5.0337e+00, 5.5688e+00,
 6.1606e+00, 6.8154e+00, 7.5398e+00, 8.3412e+00, 9.2278e+00, 1.0209e+01,
 1.1294e+01, 1.2494e+01, 1.3822e+01, 1.5291e+01, 1.6916e+01, 1.8714e+01,
 2.0704e+01, 2.2904e+01, 2.5338e+01, 2.8032e+01, 3.1011e+01, 3.4307e+01,
 3.7954e+01, 4.1988e+01, 4.6450e+01, 5.1387e+01, 5.6849e+01, 6.2892e+01,
 6.9576e+01, 7.6971e+01, 8.5153e+01, 9.4203e+01, 1.0422e+02, 1.1529e+02,
 1.2755e+02, 1.4110e+02, 1.5610e+02, 1.7269e+02, 1.9105e+02, 2.1135e+02,
 2.3382e+02, 2.5867e+02, 2.8616e+02, 3.1658e+02, 3.5023e+02, 3.8745e+02,
 4.2864e+02, 4.7419e+02, 5.2459e+02, 5.8035e+02, 6.4204e+02, 7.1028e+02,
 7.8577e+02, 8.6929e+02, 9.6168e+02, 1.0639e+03, 1.1770e+03, 1.3021e+03,
 1.4405e+03, 1.5936e+03, 1.7630e+03, 1.9503e+03, 2.1576e+03, 2.3870e+03,
 2.6407e+03, 2.9213e+03, 3.2318e+03, 3.5753e+03, 3.9554e+03, 4.3758e+03,
 4.8409e+03, 5.3554e+03, 5.9246e+03, 6.5543e+03, 7.2510e+03, 8.0216e+03,
 8.8742e+03, 9.8175e+03, 1.0861e+04, 1.2015e+04, 1.3292e+04, 1.4705e+04,
 1.6268e+04, 1.7997e+04, 1.9910e+04, 2.2026e+04])
```

```python
plt.plot(x.numpy(), y.numpy())
```

![exp](../images/tensor1.png)

```python
x = torch.linspace(0, 10, 100)
y = torch.sin(x)
plt.plot(x.numpy(), y.numpy())
```

![sin](../images/tensor2.png)

## n차원 배열

```python
one_d = torch.arange(0, 9)
two_d = one_d.view(3, 3)
two_d
```

```bash
tensor([0, 1, 2, 3, 4, 5, 6, 7, 8])
tensor([[0, 1, 2],
 [3, 4, 5],
 [6, 7, 8]])
```

```python
# dim으로 차원을 확인할 수 있다.
two_d.dim()
```

```bash
2
```

```python
# 2개의 블록, 3로우, 3컬럼의 형태로 만들어진다.
x = torch.arange(18).view(2, 3, 3)
x
```

```bash
tensor([[[ 0, 1],
 [ 2, 3],
 [ 4, 5]],

 [[ 6, 7],
 [ 8, 9],
 [10, 11]],

 [[12, 13],
 [14, 15],
 [16, 17]]])
```

```python
mat_a = torch.tensor([0, 3, 5, 5, 5, 2]).view(2, 3)
mat_b = torch.tensor([3, 4, 3, -2, 4, -2]).view(3, 2)
torch.matmul(mat_a, mat_b)
mat_a @ mat_b
```

matmul 과 @ 은 서로 곱할 수 있는 크기의 매트릭스를 곱하는 식이다. 고등학교때 행렬 열심히 하기를 잘했다.

## autograd

pytorch의 장점은 자동미분(autograd)을 지원한다는 점이다.

$$x=2$$

$$y = 9x^4 + 2x^3 + 3x^2 + 6x+1$$

이식을 미분해보자.

```python
x = torch.tensor(2.0, requires_grad=True)
y = 9*x**4 + 2*x**3 + 3*x**2 + 6*x + 1
```

```bash
tensor(2., requires_grad=True)
tensor(185., grad_fn=<AddBackward0>)
```

자동미분을 True로 세팅하여, 모든 연산에 대해 추적을 할 수 있게 해둔 것이다. 계산작업이 모두 수행 되었으므로 (y) .backward를 수행하여, 모든 그라디어트를 자동으로 계산하게 할 수 있다. 그리고 그 그라디언트는 .grad에 누적되어 저장된다.

```python
y.backward()
x.grad
```

$$ 4 \times 9x^3 + 3 \times 2x^2 + 2 \times 3 x + 6$$

여기에 2를 대입하면

```bash
tensor(330.)
```

```python
x = torch.tensor(1.0, requires_grad=True)
z = torch.tensor(2.0, requires_grad=True)
y = x**2 + z**3
y.backward()
```

```python
x.grad
z.grad
```

각각 2와 12가 나올 것이다.

Pytorch 01) - Tensor

구글 스프레드 시트를 파이썬에서 조작해보자. 내가 할일은 1. 스프레드시트를 읽고 2. 스프레드시트에 쓰는 두가지 작업이다.

```python
import pickle
import os.path
from googleapiclient.discovery import build
from google_auth_oauthlib.flow import InstalledAppFlow
from google.auth.transport.requests import Request

SCOPES = ['https://www.googleapis.com/auth/spreadsheets']

class GoogleSheetInit():

    def __init__(self):
        self.creds = None

    def initialize(self):
        creds = None

        if os.path.exists('token.pickle'):
            with open('token.pickle', 'rb') as token:
                creds = pickle.load(token)
        if not creds or not creds.valid:
            if creds and creds.expired and creds.refresh_token:
                creds.refresh(Request())
            else:
                flow = InstalledAppFlow.from_client_secrets_file('../credentials.json', SCOPES)
                creds = flow.run_local_server()
            with open('token.pickle', 'wb') as token:
                pickle.dump(creds, token)

        self.creds = creds
```

구글 docs에 접근하는 방법은 두가지인데, 한가지는 oauth2기반 인증과, 다른 한가지는 api_key방식 인증이다. api_key 인증 방식은 요청시에 parameter로 api key를 보내는 방식인데, 안타깝게도 보안상의 문제로 인해 전체 공개된 문서에만 접근할 수 있다.

따라서 제한적으로 공개되어 있는 문서에 접근하기 위해서는 oauth2 방식을 활용해야 한다.

```python
google_sheet = GoogleSheetInit()
google_sheet.initialize()
```

실행하게 되면 브라우저에서 구글 계정 인증을 받게 된다. 계정인증을 거친 뒤에는 인증 정보가 `token.pickle`에 남아서 이 후부터는 별도의 인증없이 접근할 수 있다. 그리고 해당 인증정보를 파이썬 코드에서 사용할 수 있도록 creds가 반환된다.

자세한 api 스펙은 [여기](https://developers.google.com/sheets/api/guides/values)에서 참조하면 된다.

### 스프레드시트 읽기

```python
service = build('sheets', 'v4', credentials=self.creds)
sheet = service.spreadsheets()
result = sheet.values().get(spreadsheetId=self.sheet_id, range=self.sheet_range).execute()
values = result.get('values', )
```

sheet_id는 해당 스프레드 시트의 id인데, url에 나와있다. 그리고 sheet_range는 `시트이름!A1:Z1` 이런식으로 접근하면 된다.

```python
enumerate(values)
```

으로 접근할 수 있다.

### 스프레드시트 쓰기

```python
request = sheet.values().update(spreadsheetId=self.sheet_id, range=range, valueInputOption='RAW', body={ "values": [[value]]})
response = request.execute()
```

body영역은 실제 스프레드시트에 쓰려고 하는 영역의 크기만큼 설정하면 된다. 위의 예제에서는 단순히 셀 1개에만 쓰는 케이스다.


구글 스프레드 시트를 파이썬에서 조작해보자. 내가 할일은 1. 스프레드시트를 읽고 2. 스프레드시트에 쓰는 두가지 작업이다. ```python import pickle import os.path from googleapiclient.discovery import build from google_auth_oauthlib.flow import Installe...

업무 자동화 (1) - 구글 스프레드 시트 API 활용하기

구글 스프레드 시트를 파이썬에서 조작해보자. 내가 할일은 1. 스프레드시트를 읽고 2. 스프레드시트에 쓰는 두가지 작업이다.
<pre class="language-python"><code class="language-python">import pickle
import os.path
from googleapiclient.discovery import build
from google_auth_oauthlib.flow import InstalledAppFlow
from google.auth.transport.requests import Request

SCOPES = ['https://www.googleapis.com/auth/spreadsheets']

class GoogleSheetInit():

 def __init__(self):
 self.creds = None

 def initialize(self):
 creds = None

 if os.path.exists('token.pickle'):
 with open('token.pickle', 'rb') as token:
 creds = pickle.load(token)
 if not creds or not creds.valid:
 if creds and creds.expired and creds.refresh_token:
 creds.refresh(Request())
 else:
 flow = InstalledAppFlow.from_client_secrets_file('../credentials.json', SCOPES)
 creds = flow.run_local_server()
 with open('token.pickle', 'wb') as token:
 pickle.dump(creds, token)

 self.creds = creds
</code></pre>
구글 docs에 접근하는 방법은 두가지인데, 한가지는 oauth2기반 인증과, 다른 한가지는 api_key방식 인증이다. api_key 인증 방식은 요청시에 parameter로 api key를 보내는 방식인데, 안타깝게도 보안상의 문제로 인해 전체 공개된 문서에만 접근할 수 있다.
따라서 제한적으로 공개되어 있는 문서에 접근하기 위해서는 oauth2 방식을 활용해야 한다.
<pre class="language-python"><code class="language-python">google_sheet = GoogleSheetInit()
google_sheet.initialize()
</code></pre>
실행하게 되면 브라우저에서 구글 계정 인증을 받게 된다. 계정인증을 거친 뒤에는 인증 정보가 <code>token.pickle</code>에 남아서 이 후부터는 별도의 인증없이 접근할 수 있다. 그리고 해당 인증정보를 파이썬 코드에서 사용할 수 있도록 creds가 반환된다.
자세한 api 스펙은 <a href="https://developers.google.com/sheets/api/guides/values">여기</a>에서 참조하면 된다.
<h3 id="스프레드시트-읽기">스프레드시트 읽기</h3>
<pre class="language-python"><code class="language-python">service = build('sheets', 'v4', credentials=self.creds)
sheet = service.spreadsheets()
result = sheet.values().get(spreadsheetId=self.sheet_id, range=self.sheet_range).execute()
values = result.get('values', )
</code></pre>
sheet_id는 해당 스프레드 시트의 id인데, url에 나와있다. 그리고 sheet_range는 <code>시트이름!A1:Z1</code> 이런식으로 접근하면 된다.
<pre class="language-python"><code class="language-python">enumerate(values)
</code></pre>
으로 접근할 수 있다.
<h3 id="스프레드시트-쓰기">스프레드시트 쓰기</h3>
<pre class="language-python"><code class="language-python">request = sheet.values().update(spreadsheetId=self.sheet_id, range=range, valueInputOption='RAW', body={ "values": [[value]]})
response = request.execute()
</code></pre>
body영역은 실제 스프레드시트에 쓰려고 하는 영역의 크기만큼 설정하면 된다. 위의 예제에서는 단순히 셀 1개에만 쓰는 케이스다.

e
파이썬과 파이썬 라이브러리 (beatifulSoup)를 활용하여 네이버 영화 댓글 크롤링 해보기

## 1. 크롤링하려는 웹페이지의 구조를 살펴보기

인크레더블 평점 댓글 페이지를 먼저 살펴보겠습니다. [여기](https://movie.naver.com/movie/bi/mi/point.nhn?code=136990&onlyActualPointYn=Y#pointAfterTab)

![naver-crawling-1](../images/naver-crawling-1.png)

우리가 할일은 저 페이징 (1, 2, 3, 4...)을 전부다 조회하면서, 댓글을 가져오는 일입니다. 한번 페이지를 눌러보면서 웹페이지 주소의 변화가 일어나는지 살펴봅니다.

별다른 변화가 일어나지 않습니다. 웹페이지 주소에 변화는 없지만 어디선가 다른 방식으로 데이터를 가져오고 있다는 것을 의미합니다.

어디에서 데이터를 가져오는지 살펴보기 위해, 페이지 아무곳에서 오른쪽단추를 누르고 검사를 누릅니다. 그리고 네트워크 탭을 누릅니다. 그다음, 페이지를 새로고침하고, 다시한번 페이지 버튼 (1, 2, 3)을 눌러봅니다.

간단하게 네트워크 탭을 설명해보면, 웹페이지를 로딩하면서 발생하는 모든 네트워크 이벤트 (이미지, 정보 등)가 기록되는 곳입니다.

![naver-crawling-2](../images/naver-crawling-2.png)

위 이미지에서 주목해야 할 부분이 있습니다. 바로 페이지 번호에 따라서 변화가 있는 요소 인데요. 이미지 두번째 줄의 [주소](https://movie.naver.com/movie/bi/mi/pointWriteFormList.nhn?code=136990&type=after&onlyActualPointYn=Y&isActualPointWriteExecute=false&isMileageSubscriptionAlready=false&isMileageSubscriptionReject=false&page=4) URL을 보면, 마지막에 `page=4` 같은 형식으로 요청을 보내고 있다는 것을 알수 있습니다. 이링크를 들어가볼까요? 오른쪽 단추로 누르고, open in a new tab을 클릭합니다.

![naver-crawling-3](../images/naver-crawling-3.png)

댓글 영역을 html로 불러오고 있었네요. 우리는 이제 저 page=1에 적절한 페이지 번호만 입력하면, 모든 댓글을 기계적으로 가져올 수 있다는 것을 깨닫게 되었습니다.

## 2. requests, beautifulSoup 라이브러리 활용하기

댓글 구조가 어떻게 되어 있는지는 확인했습니다. 이제 우리가 할일은 파이썬으로 정보를 가져오는 일만 남았습니다. 이를 위해서 우리는 두가지 라이브러리를 사용하고자 합니다.

```python
import requests
from bs4 import BeautifulSoup
```

`requests`는 파이썬에서 http 요청을 보낼 때 쓸 라이브러리고, `BeautifulSoup`는 html에서 정보를 간단하게 빼오기 위해 사용할 라이브러리 입니다.

```python
test_url = "https://movie.naver.com/movie/bi/mi/pointWriteFormList.nhn?code=136990&type=after&page=1"
resp = requests.get(test_url)
html = BeautifulSoup(resp.content, 'html.parser')
html
```

```html
<!DOCTYPE html>

<html lang="ko">
<head>
<meta charset="utf-8"/>
<meta content="IE=edge" http-equiv="X-UA-Compatible"/>
<title>네이버 영화</title>
<link href="https://ssl.pstatic.net/static/m/movie/icons/naver_movie_favicon.ico" rel="shortcut icon" type="image/x-icon"/>
<link href="/css/common.css?20181031144347" rel="stylesheet" type="text/css">
<link href="/css/movie_tablet.css?20181031144347" rel="stylesheet" type="text/css"/>
<link href="/css/movie_end.css?20181031144347" rel="stylesheet" type="text/css"/>
<script src="/js/deploy/movie.all.js?20181031144347" type="text/javascript"></script>
</link></head>
<body>

<input id="movieCode" name="movieCode" type="hidden" value="160487"/>
<input id="onlyActualPointYn" name="onlyActualPointYn" type="hidden" value="N"/>
<input id="order" name="order" type="hidden" value="sympathyScore"/>
<input id="page" name="page" type="hidden" value="622"/>
<input id="point" name="point" type="hidden" value="0"/>
<div class="ifr_area basic_ifr">
<div class="input_netizen ">
<form id="pointWriteArea">
<fieldset>
<legend>네티즌 평점 입력란</legend>

<ul class="t_layer_view">
<li class="drag_star">
<div class="lft">
<div class="star_score">
평점선택
<!-- [D] st_off 영역에 마우스 오버시 : 클래스 st_over 추가
...
```

길어서 생략했지만, 암튼 가져왔습니다. 이제 저기에서 어디가 댓글 영역인지 찾아야 합니다.

![naver-crawling-4](../images/naver-crawling-4.png)

바로 이 영역이요. 여기는 이제 우리가 눈에 불을 켜고 찾아야할 곳입니다. 찾아보니, 한가지 사실을 알 수 있었습니다. `<div class="score_result>` 라는 곳 아래에, ul, 그리고 그 아래에 li가 우리가 찾던 댓글 영역이었습니다. 그리고 그 li가 10개 반복되어 있네요.

`<div class="score_result>` 이 구조에 대해 간단하게 설명드리면, `div`는 태그명입니다. `class="score_result"`는 `class`라는 속성으로 `score_result`값을 가지고 있는 거지요.

```python
score_result = html.find('div', {'class': 'score_result'})
lis = score_result.findAll('li')
lis[0]
```

결과

```html
<li>
 <div class="star_score">
 10
 </div>
 <div class="score_reple">
 처음에 만두 같은게 나와서 상영관 잘못 들어온줄
 <dl>
 <dt>
 
 <a
 href="#"
 onclick="javascript:showPointListByNid(14315731, 'after');parent.clickcr(this, 'ara.uid', '', '', event); return false;"
 target="_top"
 >
 크리스탈(a8d5****)
 </a>
 
 2018.07.18 09:07
 </dt>
 <dd>
 <a
 class="go_report2"
 href="#"
 onclick="parent.clickcr(this, 'ara.report', '', '', event); common.report('false','a8d5****', 'mwNBVSIMqNRoWDHCxeN1YFkIC/JtxnOSpwYTkFE2Qos=', '처음에 만두 같은게 나와서 상영관 잘못 들어온줄 ', '14315731', 'point_after', false);return false;"
 >신고</a
 >
 </dd>
 </dl>
 </div>
 <div class="btn_area">
 <a
 class="_sympathyButton"
 href="#"
 onclick="parent.clickcr(this, 'ara.sym', '', '', event);"
 >공감</a
 >2406
 <a
 class="_notSympathyButton"
 href="#"
 onclick="parent.clickcr(this, 'ara.opp', '', '', event);"
 >비공감</a
 >141
 </div>
</li>
```

사용법은 간단합니다. 굳이 설명이 필요 없을 정도로요. 이제 찾고 싶은 요소를 하나씩 검색해봅시다.

#### 댓글 내용

```python
review_text = lis[0].find('p').getText()
review_text
```

```python
'처음에 만두 같은게 나와서 상영관 잘못 들어온줄 '
```

#### 평점

```python
score = lis[0].find('em').getText()
score
```

```python
'1'
```

#### 댓글 좋아요, 싫어요

```python
like = lis[0].find('div', {'class': 'btn_area'}).findAll('span')[1].getText()
dislike = lis[0].find('div', {'class': 'btn_area'}).findAll('span')[3].getText()
like, dislike
```

```
('7', '12')
```

#### 닉네임

```python
nickname = lis[0].findAll('a')[0].find('span').getText()
nickname
```

```python
'크리스탈(a8d5****)'
```

#### 작성일

```python
from datetime import datetime
created_at = datetime.strptime(li.find('dt').findAll('em')[-1].getText(), "%Y.%m.%d %H:%M")
created_at
```

```python
datetime.datetime(2018, 7, 18, 9, 7)
```

필요한 정보를 다 가져온 것 같습니다. 이제 이것을 method로 만들어봅시다.

```python
def get_data(url):
 resp = requests.get(url)
 html = BeautifulSoup(resp.content, 'html.parser')
 score_result = html.find('div', {'class': 'score_result'})
 lis = score_result.findAll('li')
 for li in lis:
 nickname = li.findAll('a')[0].find('span').getText()
 created_at = datetime.strptime(li.find('dt').findAll('em')[-1].getText(), "%Y.%m.%d %H:%M")

 review_text = li.find('p').getText()
 score = li.find('em').getText()
 btn_likes = li.find('div', {'class': 'btn_area'}).findAll('span')
 like = btn_likes[1].getText()
 dislike = btn_likes[3].getText()

 watch_movie = li.find('span', {'class':'ico_viewer'})

 # 간단하게 프린트만 했습니다.
 print(nickname, review_text, score, like, dislike, created_at, watch_movie and True or False)
```

데이터를 가져오는 방법은, 보시면 아시겠지만 특별한 노하우가 없습니다. 이요소 저요소 찾아보면서, 다양한 방법을 시도하는 것이 좋습니다. 제가 쓴 코드가 결코 좋은 코드라고 말할 수는 없습니다만, 편하신 방법으로 찾으면 될 것 같습니다.

## 3. 전체 댓글 수 가져오기

한 가지 놓친게 있다면, 전체 댓글수를 가져오는 것입니다. 전체 댓글 수를 가져오고, 그 숫자 만큼 나누기 10을 하여 페이지 조회를 해야할 것입니다.

```python
result = html.find('div', {'class':'score_total'}).find('strong').findChildren('em')[1].getText()
int(result.replace(',', ''))
```

```python
9926
```

## 4. 완성

```python
test_url = 'https://movie.naver.com/movie/bi/mi/pointWriteFormList.nhn?code=136990&type=after'
resp = requests.get(test_url)
html = BeautifulSoup(resp.content, 'html.parser')
result = html.find('div', {'class':'score_total'}).find('strong').findChildren('em')[1].getText()
total_count = int(result.replace(',', ''))

for i in range(1, int(total_count / 10) + 1):
 url = test_url + '&page=' + str(i)
 print('url: "' + url + '" is parsing....')
 get_data(url)
```

```bash
일산빵셔틀(rnra****) 평론가 임수연씨의 마블보다 재밌다는 평을보고 코웃음치고 보러갔는데 마블빠인 내가봐도 마블보다 재밌었다 히어로물은 언제까지나 마블의 독주일꺼라는 착각을 씻어내준 가족액션 히어로물 진짜 너무재밌다 10 488 32 2018-07-18 23:49:00 False
url: "https://movie.naver.com/movie/bi/mi/pointWriteFormList.nhn?code=136990&type=after&page=1&page=4" is parsing....
크리스탈(a8d5****) 처음에 만두 같은게 나와서 상영관 잘못 들어온줄 10 2406 141 2018-07-18 09:07:00 False
gksq**** 14년동안 기다린 보람이있다.인크레더블 3도 해주세요 ㅠㅠ 제발 ㅠㅠ 10 1539 66 2018-07-18 10:39:00 False
yski**** 잭잭이랑 에드나 케미 미쳤닼ㅋㅋㅋ 10 1309 36 2018-07-18 10:07:00 False
배센도(bbtj****) 어릴 때 1편을 보고 성인이 된 올해 2편을 봤다. 또 보고 싶다. 3편도 나오면 좋겠다. 10 1013 34 2018-07-18 12:28:00 False
space(tmd5****) 속편도 이리 완벽할 수 있구나..! 10 898 40 2018-07-18 09:27:00 False
황진이의두번째팬티(sion****) 중심히어로와 빌런이 여성이라는 점, 그 둘의 대화 내용, 아내에게 열등감을 느끼던 남편이 육아를 도맡고 아내의 바깥일을 내조하며 그녀를 진짜 히어로로 인정하는 과정이 인상 깊었다. 꿈이 많은 내게 선물같은 영화였다. 또 보러 가겠다. 10 1230 382 2018-07-18 20:40:00 False
불(catc****) 이런 게 최고의 애니매이션이 아니면 뭐란 말인가?? 미취학아동 때 1을 보고 대학생이 되어서 2를 보는 기분이란...ㅠㅠㅠ헬렌의 활약과 잭잭의 귀여움, 그리고 개인적으로는 에드나의 매력까지 올해 본 영화 중 최고!! 10 758 33 2018-07-18 12:39:00 False
쿠앤크(zhfl****) 잭잭 납치하러 갈 파티원 구합니다(1/10000) 8 639 105 2018-07-18 09:21:00 False
아머두어라두(dkqj****) 관람객내 어릴적 베스트 영화의 속편이 너무 잘만들어져서 울컥했습니다. 10 499 24 2018-07-18 18:05:00 True
일산빵셔틀(rnra****) 평론가 임수연씨의 마블보다 재밌다는 평을보고 코웃음치고 보러갔는데 마블빠인 내가봐도 마블보다 재밌었다 히어로물은 언제까지나 마블의 독주일꺼라는 착각을 씻어내준 가족액션 히어로물 진짜 너무재밌다 10 488 32 2018-07-18 23:49:00 False
url: "https://movie.naver.com/movie/bi/mi/pointWriteFormList.nhn?code=136990&type=after&page=1&page=5" is parsing....
크리스탈(a8d5****) 처음에 만두 같은게 나와서 상영관 잘못 들어온줄 10 2406 141 2018-07-18 09:07:00 False
gksq**** 14년동안 기다린 보람이있다.인크레더블 3도 해주세요 ㅠㅠ 제발 ㅠㅠ 10 1539 66 2018-07-18 10:39:00 False
yski**** 잭잭이랑 에드나 케미 미쳤닼ㅋㅋㅋ 10 1309 36 2018-07-18 10:07:00 False
배센도(bbtj****) 어릴 때 1편을 보고 성인이 된 올해 2편을 봤다. 또 보고 싶다. 3편도 나오면 좋겠다. 10 1013 34 2018-07-18 12:28:00 False
space(tmd5****) 속편도 이리 완벽할 수 있구나..! 10 898 40 2018-07-18 09:27:00 False
황진이의두번째팬티(sion****) 중심히어로와 빌런이 여성이라는 점, 그 둘의 대화 내용, 아내에게 열등감을 느끼던 남편이 육아를 도맡고 아내의 바깥일을 내조하며 그녀를 진짜 히어로로 인정하는 과정이 인상 깊었다. 꿈이 많은 내게 선물같은 영화였다. 또 보러 가겠다. 10 1230 382 2018-07-18 20:40:00 False
불(catc****) 이런 게 최고의 애니매이션이 아니면 뭐란 말인가?? 미취학아동 때 1을 보고 대학생이 되어서 2를 보는 기분이란...ㅠㅠㅠ헬렌의 활약과 잭잭의 귀여움, 그리고 개인적으로는 에드나의 매력까지 올해 본 영화 중 최고!! 10 758 33 2018-07-18 12:39:00 False
쿠앤크(zhfl****) 잭잭 납치하러 갈 파티원 구합니다(1/10000) 8 639 105 2018-07-18 09:21:00 False
아머두어라두(dkqj****) 관람객내 어릴적 베스트 영화의 속편이 너무 잘만들어져서 울컥했습니다. 10 499 24 2018-07-18 18:05:00 True
일산빵셔틀(rnra****) 평론가 임수연씨의 마블보다 재밌다는 평을보고 코웃음치고 보러갔는데 마블빠인 내가봐도 마블보다 재밌었다 히어로물은 언제까지나 마블의 독주일꺼라는 착각을 씻어내준 가족액션 히어로물 진짜 너무재밌다 10 488 32 2018-07-18 23:49:00 False
url: "https://movie.naver.com/movie/bi/mi/pointWriteFormList.nhn?code=136990&type=after&page=1&page=6" is parsing....
크리스탈(a8d5****) 처음에 만두 같은게 나와서 상영관 잘못 들어온줄 10 2406 141 2018-07-18 09:07:00 False
gksq**** 14년동안 기다린 보람이있다.인크레더블 3도 해주세요 ㅠㅠ 제발 ㅠㅠ 10 1539 66 2018-07-18 10:39:00 False
yski**** 잭잭이랑 에드나 케미 미쳤닼ㅋㅋㅋ 10 1309 36 2018-07-18 10:07:00 False
배센도(bbtj****) 어릴 때 1편을 보고 성인이 된 올해 2편을 봤다. 또 보고 싶다. 3편도 나오면 좋겠다. 10 1013 34 2018-07-18 12:28:00 False
space(tmd5****) 속편도 이리 완벽할 수 있구나..! 10 898 40 2018-07-18 09:27:00 False
황진이의두번째팬티(sion****) 중심히어로와 빌런이 여성이라는 점, 그 둘의 대화 내용, 아내에게 열등감을 느끼던 남편이 육아를 도맡고 아내의 바깥일을 내조하며 그녀를 진짜 히어로로 인정하는 과정이 인상 깊었다. 꿈이 많은 내게 선물같은 영화였다. 또 보러 가겠다. 10 1230 382 2018-07-18 20:40:00 False
불(catc****) 이런 게 최고의 애니매이션이 아니면 뭐란 말인가?? 미취학아동 때 1을 보고 대학생이 되어서 2를 보는 기분이란...ㅠㅠㅠ헬렌의 활약과 잭잭의 귀여움, 그리고 개인적으로는 에드나의 매력까지 올해 본 영화 중 최고!! 10 758 33 2018-07-18 12:39:00 False
쿠앤크(zhfl****) 잭잭 납치하러 갈 파티원 구합니다(1/10000) 8 639 105 2018-07-18 09:21:00 False
아머두어라두(dkqj****) 관람객내 어릴적 베스트 영화의 속편이 너무 잘만들어져서 울컥했습니다. 10 499 24 2018-07-18 18:05:00 True
일산빵셔틀(rnra****) 평론가 임수연씨의 마블보다 재밌다는 평을보고 코웃음치고 보러갔는데 마블빠인 내가봐도 마블보다 재밌었다 히어로물은 언제까지나 마블의 독주일꺼라는 착각을 씻어내준 가족액션 히어로물 진짜 너무재밌다 10 488 32 2018-07-18 23:49:00 False
url: "https://movie.naver.com/movie/bi/mi/pointWriteFormList.nhn?code=136990&type=after&page=1&page=7" is parsing....
크리스탈(a8d5****) 처음에 만두 같은게 나와서 상영관 잘못 들어온줄 10 2406 141 2018-07-18 09:07:00 False
gksq**** 14년동안 기다린 보람이있다.인크레더블 3도 해주세요 ㅠㅠ 제발 ㅠㅠ 10 1539 66 2018-07-18 10:39:00 False
yski**** 잭잭이랑 에드나 케미 미쳤닼ㅋㅋㅋ 10 1309 36 2018-07-18 10:07:00 False
배센도(bbtj****) 어릴 때 1편을 보고 성인이 된 올해 2편을 봤다. 또 보고 싶다. 3편도 나오면 좋겠다. 10 1013 34 2018-07-18 12:28:00 False
```

단순히 제 예제에서는 print만 했지만, 이를 데이터 베이스로 저장한다던지, csv로 저장한다던지 하는 방법이 있습니다.

csv작성을 위해서는 [여기](https://realpython.com/python-csv/)를, mysql같은 db에 저장하기 위해서는, 적절한 파이썬 라이브러리 (pymysql 등)를 찾으시면 되겠네요.

e 파이썬과 파이썬 라이브러리 (beatifulSoup)를 활용하여 네이버 영화 댓글 크롤링 해보기 ## 1. 크롤링하려는 웹페이지의 구조를 살펴보기  인크레더블 평점 댓글 페이지를 먼저 살펴보겠습니다. [여기](https://movie.naver.com/movie/bi/mi/point.nhn?code=136990&onlyActualPointYn=Y#po...

yceffort

python

Pytorch 01) - Tensor

업무 자동화 (1) - 구글 스프레드 시트 API 활용하기

초보를 위한 웹크롤링: 네이버 영화 댓글 크롤링하기