Just Fighting

LightGBM이란?lightGBM(Light Gradient Boosting machine)은마이크로소프트에서 개발한 빠르고 효율적인 그래디언트 부스팅(Gradient Boosting)기반 트리 모델 프레임워크이다. 대용량 데이터와 고차원 feature 환경에서 XGBoost 보다 훨씬 빠른 학습속도와 낮은 메모리 사용량을 가지는 모델이다. 그래디언트 부스팅(Gradient Boosting) 이란?부스팅은 약한 트리(depth가 얕은 결정트리)들을 순차적으로 하나씩 학습시키되,앞선 트리들이 틀린 부분(잔차, residual)을 다음 트리가 집중적으로 보완하도록 이어 붙이는 방식을 의미한다. 이 부스팅의 잔차 보완과정을 손실함수의 그래디언트(gradient, 기울기)를 이용해서 수학적으로 일반화한 ..

Cross-Validation 교차검증이란?머신러닝 모델이 새로운 데이터에서도 작 작동하는지 일반화 성능을 평가하기 위한 통계적 방법 > 데이터 분할전체 데이터를 여러 개의 부분(Fold)으로 나눈다. > 반복 학습과 평가 일부는 검증용으로, 나머지는 훈련용으로 번갈아 사용하며 모델을 여러 번 학습하고 평가한다. > 성능 평균 각 평가들의 점수를 평균내어 최종 모델 성능으로 삼는다. > 교차검증 후 최종 모델 결정 ① 전체 데이터로 다시 학습 K개의 모델은 모델의 성능과 하이퍼파라미터를 검증하기 위한 수단이다.이 알고리즘과 이 설정이 좋다는 것이 확인되면 전체 데이터 셋을 모아 하나의 최종 모델 학습한다. ② 앙상블 형태로 활용 k개의 모델이 모두 성능이 좋다면, 모두 사용한다.새로운 데이터가 들어왔을..

온톨로지(Ontology)란?특정 분야의 정보와 지식을 컴퓨터가 이해할 수 있는 형태로서 상호간 구조화한 지식 지도를 의미한다.본래 철학에서 존재의 본질을 연구하는 ‘존재론’에서 유래했으며,IT 분야에서는 단어와 개념 간의 관계를 정밀하게 정의하는 기술로 사용되고 있다. 온톨로지의 구성요소온톨로지를 구축할 때 세상을 표현하고 지식을 구조화하기 위해 사용하는5가지의 핵심 구성요소가 있다. 클래스(Classes / Concepts)특정 도메인 내에 존재하는 사물, 개념, 집합의 범주를 의미한다.보통 상위-하위 계층 구조(Is-a 관계)를 형성한다.예) 사람, 건물, 음식, 과일 인스턴스(Instances)클래스에 속하는 실제 개체나 데이터 하나하나를 의미한다.실세계에 존재하는 구체적인 대상이며, 온톨로..

Box-Jenkins 방법론이란? 시계열 데이터를 분석하고 미래 값을 예측하기 위해George Box와 Gwilym Jenkins가 제안한 통계적 접근 방식이다. 주로 ARIMA(Autoregressive Intergrated Moving Average) 모델을 기반으로 시계열 데이터를 모델링한다. ARIMA 살짝 짚고 넘어가기ARIMA는 대표적인 시계열 예측모델이며, 다음 3가지 개념이 결합되어 만들어졌다. AR (Autoregressive, 자귀 회귀, p)이전 시점의 자기 자신 값(과거 데이터)을 이용해 현재 값을 설명한다.과거 데이터들의 가중합$Y_t = c + \phi_1 Y_{t-1} + \phi_2 Y_{t-2} + \dots + \phi_p Y_{t-p} + \epsilon_t$ I ..

Backbone - Head 구조란?딥러닝 모델을 ‘특징을 뽑는 부분’과 ‘그 특징으로 답을 내는 부분’으로 분리한 설계 패턴이다.컴퓨터 비전에서 표준이 되었고, 지금은 NLP, 멀티모달까지 거의 대부분의 대형모델이 이 구조를 가진다. 입력 → backbone → Neck → Head → 출력 + LossBackbone : 특징 추출 (재사용 가능)Neck : 특징 가공 및 융합 (선택적)Head : 과제별 예측 (과제마다 교체) Backbone(백본)이란?원본 입력(이미지 픽셀, 토큰 시퀀스)을 의미있는 추상 표현으로 변환하는 메인 네트워크이다.백본에서 채널 확장과 공간 차원 축소(spatial downsampling), 계층적 특징 추출이 일어난다. 입력 이미지가 컨볼루션(Convolution)..

EA-LSTM이란?수문학 및 시계열 예측에서 쓰이는 LSTM 기반 모델이다.표준 LSTM과 달리 정적 특성(static features)을 이용해 입력 게이트를 별도로 조절해 지역별 유역 특성을 학습한다. 동적 입력값(강수량, 기온 등)은 모델 전체에 쓰이지만,고정된 입력값(토양 종류, 지형, 유역 면적 등 정적특성)은 입력 게이트를 조절하는데 따로 사용한다. => 유역마다 다른 고유의 지형적, 환경적 특성을 반영해 미계측 유역에서도 정확한 유출 예측 수행 가능 수식을 정리해보자변수 설명$Wx+Uh_{t-1}+b$의 형태$W$는 입력에 곱하는 가중치, $U$는 이전 은닉상태 $h_{t-1}$에 곱하는 재귀 가중치, $b$는 편향( 은닉 차원 $n$, 정적 입력 차원 $m_s$, 동적 입력 차원 $m_..

Cramér's V란?범주형 변수 간의 연관성 강도를 0~1 사이의 값으로 측정하는 통계적 지표를 의미한다. 카이제곱 검정의 한계보통 범주형 데이터의 연관성을 파악할 때는 카이제곱 독립성 검정을 진행한다.그러나 계산되는 통계량 $\chi^2$에 한계가 존재한다.데이터의 개수가 많아질수록 $\chi^2$값이 함께 커진다.범주의 개수가 많아질수록 $\chi^2$값이 함께 커진다.따라서, 큰 카이제곱 통계량의 값이 큰 값이 나왔을 때,그것이 두 변수가 관련이 있어서 그런 것인지, 단순히 데이터가 많아서 그런 것인지 파악하기 어렵다. 카이제곱의 한계를 극복하기 위해서 Cramér's V가 나타났다! 수식$n$:전체 데이터 수$r$ : 데이터의 행 수$k$ :데이터의 열 수$min(k-1, r-1)$ : 행과..

[kaggle] MLB 야구 타석 예측하기 - (1) 변수생성https://www.kaggle.com/competitions/reds-hackathon-2025 Cincinnati Reds Hackathon 2025The Reds Hackathon is a chance for college students to work with baseball data and design solutions to problems faced by MLB front officeswww.kaggle.com 꽤나 오래전yensr.tistory.com 사실 변수 생성을 마친 뒤, 모델링에 들어가기까지 아주 긴 공백이 존재한다.아주 단순한 모델링을 진행했지만, 마무리를 지은 것에 큰 의의를 둔다! 학습 데이터 생성 1편에서 ..

CatBoost란?CatBoost(Categorical Boosting)란 Order Boosting 기법을 사용해 과적합을 방지하는그래디언트 부스팅(Gradient Boosting)알고리즘이다. 범주형 데이터에 특화된 별도의 인코딩(원-핫 인코딩, 라벨 인코딩 등) 없이원본 그대로 처리할 수 있다는 특징을 가진다. encoding 방식은?target encoding 방식을 사용한다.예측하고 싶은 target과 관련성을 가진 숫자로 변환하는 방식이다.예) 의사 - 연봉 1억 8천 -> 1.8억(타켓인코딩) 이 방식을 사용하면 컬럼을 여러 개 만들 필요없이 1개의 컬럼이 유지된다.또한, 단순한 숫자가 아닌 정답(target)과 직결된 정량적 수치를 가지게 되어모델 입장에서 target을 직관적으로 이해..

https://www.kaggle.com/competitions/reds-hackathon-2025 Cincinnati Reds Hackathon 2025The Reds Hackathon is a chance for college students to work with baseball data and design solutions to problems faced by MLB front officeswww.kaggle.com 꽤나 오래전에 시작했으나, 최근에 끝을 맺어서 작성하는 데이터 모델링 연습!우선 데이터 탐색과 변수 생성부터 진행했다. 데이터는 3년간의 야구 경기의 매 타석에 대한 개별 데이터와 선수들의 정보에 대한 데이터이며,목적은 선수들의 다음해 타석 수를 예측하는 것이다. *재미로 한 데이터..