Just Fighting

https://wikidocs.net/22889 3) 게이트 순환 유닛(Gated Recurrent Unit, GRU) GRU(Gated Recurrent Unit)는 2014년 뉴욕대학교 조경현 교수님이 집필한 논문에서 제안되었습니다. GRU는 LSTM의 장기 의존성 문제에 대한 해결책을 ... wikidocs.net 게이트 순환 유닛(Gated Recurrent Unit, GRU) - GRU는 LSTM의 장기 의존성 문제에 대한 해결책을 유지하면서, 은닉상태를 업데이트 하는 계산을 줄임 >> LSTM과 유사하면서 복잡한 구조를 단순화시킴. - GRU는 두 개의 게이트만 가짐 (LSTM은 3개) - LSTM보다 학습 속도가 빠르면서 비슷한 성능을 가짐 케라스에서의 GRU 사용방법은 SimpleRNN과 ..

https://wikidocs.net/22888 2) 장단기 메모리(Long Short-Term Memory, LSTM) 바닐라 아이스크림이 가장 기본적인 맛을 가진 아이스크림인 것처럼, 앞서 배운 RNN을 가장 단순한 형태의 RNN이라고 하여 바닐라 RNN(Vanilla RNN)이라고 합니다 ... wikidocs.net LSTM (Long Short Term Memory) - 바닐라 RNN(가장 단순한 형태의 RNN)은 출력 결과가 이전의 계산 결과에 의존하지만 짧은 시퀀스에만 효과를 보임 - 바닐라 RNN의 시점이 길어질수록 앞의 정보가 뒤로 충분히 전달되지 못하는 현상 발생 >> "장기 의존성 문제" - LSTM은 은닉층의 메모리 셀에 입력게이트, 망각게이트, 출력게이트를 추가해 불필요한 기억을 ..

https://wikidocs.net/106473 4) 케라스의 SimpleRNN과 LSTM 이해하기 케라스의 SimpleRNN과 LSTM을 이해해봅니다. #1. 임의의 입력 생성하기 ``` import numpy as np import tensorflow as tf fr ... wikidocs.net 먼저 입력값을 임의로 정해준다. 이때, RNN은 3D 텐서를 입력으로 받기 때문에 2차원 입력을 3차원으로 바꾸어주어야 한다. import numpy as np import tensorflow as tf from tensorflow.keras.layers import SimpleRNN, LSTM, Bidirectional # 임의의 입력. 문장의 길이가 4이고, 차원이 5인 2D 텐서 # RNN은 3D 텐..

https://wikidocs.net/22886 1) 순환 신경망(Recurrent Neural Network, RNN) RNN(Recurrent Neural Network)은 입력과 출력을 시퀀스 단위로 처리하는 시퀀스(Sequence) 모델입니다. 번역기를 생각해보면 입력은 번역하고자 하는 ... wikidocs.net - 입력과 출력을 시퀀스 단위로 처리하는 시퀀스 모델 ( 시퀀스 : 단어가 나열된 모델) - 가장 기본적인 인공 신경망 시퀀스 모델 - 은닉층의 노드에서 활성화 함수를 통해 나온 결과값을 출력층 방향으로도 보내고, 다시 은닉층 노드의 다음 계산의 입력으로도 보냄 - 은닉층에서 활성화 함수를 통해 결과를 내보내는 노드를 셀(cell)이라고 함. - 셀은 이전의 값을 기억하..