Just Fighting

XGBoost란?XGBoost(Extreme Gradient Boosting)는 트리 앙상블 방식의 머신러닝 모델좀 더 정확히는 그래디언트 부스팅 방식의 트리 기반 앙상블 모델이다. XGBoost에서는 부스팅을 구성하는 개별 트리로 분류 및 회귀 트리(CART, classification and regression tree)* 사용한다.예: 100개의 CART 트리를 더한 게 XGBoost의 최종 모델 * CART : 이진트리이며, 조건에 따라 데이터를 분기한다. 예측값을 트리 말단에 저장한다. 그래디언트 부스팅 방식이란?부스팅 : 약한 모델을 순차적으로 학습시켜서 이전 모델의 오차를 다음 모델이 보완하게 만드는 방식 첫 번째 트리가 틀린 부분을 두 번째 트리가 보완 → 반복 그래디..

https://wikidocs.net/22889 3) 게이트 순환 유닛(Gated Recurrent Unit, GRU) GRU(Gated Recurrent Unit)는 2014년 뉴욕대학교 조경현 교수님이 집필한 논문에서 제안되었습니다. GRU는 LSTM의 장기 의존성 문제에 대한 해결책을 ... wikidocs.net 게이트 순환 유닛(Gated Recurrent Unit, GRU) - GRU는 LSTM의 장기 의존성 문제에 대한 해결책을 유지하면서, 은닉상태를 업데이트 하는 계산을 줄임 >> LSTM과 유사하면서 복잡한 구조를 단순화시킴. - GRU는 두 개의 게이트만 가짐 (LSTM은 3개) - LSTM보다 학습 속도가 빠르면서 비슷한 성능을 가짐 케라스에서의 GRU 사용방법은 SimpleRNN과 ..

https://wikidocs.net/22888 2) 장단기 메모리(Long Short-Term Memory, LSTM) 바닐라 아이스크림이 가장 기본적인 맛을 가진 아이스크림인 것처럼, 앞서 배운 RNN을 가장 단순한 형태의 RNN이라고 하여 바닐라 RNN(Vanilla RNN)이라고 합니다 ... wikidocs.net LSTM (Long Short Term Memory) - 바닐라 RNN(가장 단순한 형태의 RNN)은 출력 결과가 이전의 계산 결과에 의존하지만 짧은 시퀀스에만 효과를 보임 - 바닐라 RNN의 시점이 길어질수록 앞의 정보가 뒤로 충분히 전달되지 못하는 현상 발생 >> "장기 의존성 문제" - LSTM은 은닉층의 메모리 셀에 입력게이트, 망각게이트, 출력게이트를 추가해 불필요한 기억을 ..

https://wikidocs.net/106473 4) 케라스의 SimpleRNN과 LSTM 이해하기 케라스의 SimpleRNN과 LSTM을 이해해봅니다. #1. 임의의 입력 생성하기 ``` import numpy as np import tensorflow as tf fr ... wikidocs.net 먼저 입력값을 임의로 정해준다. 이때, RNN은 3D 텐서를 입력으로 받기 때문에 2차원 입력을 3차원으로 바꾸어주어야 한다. import numpy as np import tensorflow as tf from tensorflow.keras.layers import SimpleRNN, LSTM, Bidirectional # 임의의 입력. 문장의 길이가 4이고, 차원이 5인 2D 텐서 # RNN은 3D 텐..