본문 바로가기

분류 전체보기138

9. LSTM과 GRU 1. LSTM(Long Short-Term Memory)바닐라 RNN은 시퀀스 데이터를 처리할 때 시간이 지남에 따라 정보가 소실되거나 기울기 소실 문제를 해결하기 위해 설계순환 신경망(RNN)의 한 종류로, 긴 시퀀스 데이터를 효과적으로 학습할 수 있도록 고안된 구조1-1.  LSTM의 구조입력 게이트: 현재 입력값과 이전의 은닉 상택를 사용하여 어떤 정보를 새롭게 저장할지 결정망각 게이트: 현재 입력값과 이전의 은닉 상태를 사용하여 어떤 정보를 잊을지 결정출력 게이트: 현재 입력값과 이전의 은닉 상태를 사용하여 다음 은닉 상태를 결정셀 상태: 정보가 직접 흐르는 경로로, 정보가 소실되지 않도록 함import torchimport torch.nn as nnimport torch.optim as opti.. 2024. 6. 21.
8. CNN text classification 1. 문장 임베딩import urllib.requestimport pandas as pdimport numpy as npimport matplotlib.pyplot as pltimport torchimport torch.nn as nnfrom torch.utils.data import Dataset, DataLoaderimport torch.optim as optimimport torch.nn.functional as Ffrom copy import deepcopyfrom tqdm.auto import tqdmurllib.request.urlretrieve("https://raw.githubusercontent.com/e9t/nsmc/master/ratings_train.txt", filename="ra.. 2024. 6. 21.
7. cbow text classification 1. 문장 임베딩import urllib.requestimport pandas as pdimport numpy as npimport matplotlib.pyplot as pltimport torchimport torch.nn as nnfrom torch.utils.data import Dataset, DataLoaderimport torch.optim as optimfrom copy import deepcopy from tqdm.auto import tqdmurllib.request.urlretrieve("https://raw.githubusercontent.com/e9t/nsmc/master/ratings_train.txt", filename="ratings_train.txt")urllib.reque.. 2024. 6. 21.
6. Rnn 기초 1. 순환 신경망(Recurrent Neurl Network, RNN)시계열 또는 자연어와 같은 Sequence 데이터를 모델링하는 데 강력한 신경망. 시계열 데이터나 시퀀스 데이터를 잘 처리예) 주식 가격, 텍스트 데이터, 오디오 데이터SeQuence: 단어의 문장. 연결되어 있는 정보1-1. RNN 동작방식은닉층의 노드에서 활성화 함수를 통해 나온 결과값을 다시 출력층 방향으로 보내면서 은닉층 노드의 다음 계산의 입력으로 보내는 것이 특징셀(Cell): 은닉층에서 활성화 함수를 통해 나온 결과를 내보내는 역할을 하는것. 이전의 값을 기억하려고 하는 일종의 메모리 역할을 수행은닉 상태(hidden state): 셀이 출력층 방향 또는 다음 시점으로 자신에게 보내는 값runn = torch.nn.RNN(.. 2024. 6. 21.

티스토리툴바