Just Fighting

알고리즘 개발을 하던 도중에 and와 or연산의 새로운 사용법을 깨달았다.그래서 정리! 보통 bool값과 and, or 연산은 다음과 같이 한다. 기본적으로 파이썬에서는 숫자 0, 비어있는 문자열을 False로 여긴다.그러나, 0이나 ''의 값으로 위와 같은 연산을 진행했을 때랑은 결과가 조금 다르다. 앞의 값으로 연산의 결과가 확정되면 앞의 값을 리턴하고,앞의 값이 아닌 뒤의 값으로 연산의 결과가 확정나면 뒤의 값을 리턴한다. 이 내용을 정리하게 된 상황도 함께 정리한다. 두 개의 변수가 있고, 문자열 혹은 빈 문자열을 값으로 가진다.그 두개의 값이 모두 존재하면 'A / B'로 리턴하고,둘 중 하나의 값만 있을 땐, 'A' 혹은 'B'를 리턴둘 다 빈 문자열을 가지면, 'C'를 리턴하게끔 만들..

[논문] Are Transformers Effective for Time Series Forecasting? (2022) - 3[논문] Are Transformers Effective for Time Series Forecasting? (2022) - 2https://yensr.tistory.com/162 [논문] Are Transformers Effective for Time Series Forecasting? (2022) - 1Abstract장기 시계열 예측(Long-term Time Series Forecasting)에서yensr.tistory.com   바닐라 트랜스포머 디코더는 자기회귀 방식으로 시퀀스를 생성=> 하나씩 순차적으로 출력을 생성하기 때문에 느리고, 오차가 누적될 수 있음 그래서 여..

[논문] Are Transformers Effective for Time Series Forecasting? (2022) - 2https://yensr.tistory.com/162 [논문] Are Transformers Effective for Time Series Forecasting? (2022) - 1Abstract장기 시계열 예측(Long-term Time Series Forecasting)에서 트랜스포머 기반의 솔루션이 급증하고 있다.트랜스포머는yensr.tistory.com   트랜스포머는 셀프어텐션을 이용해 입력 요소 간의 관계를 추출한다.기존 모델에서는 시간복잡도와 메모리복잡도가 $O(L^2)$으로 매우 높다.그래서 최근 연구에선 2가지의 방법을 제안한다. 희소성 기반 (self-atten..

https://yensr.tistory.com/162 [논문] Are Transformers Effective for Time Series Forecasting? (2022) - 1Abstract장기 시계열 예측(Long-term Time Series Forecasting)에서 트랜스포머 기반의 솔루션이 급증하고 있다.트랜스포머는 긴 시퀀스 내 요소 간의 의미적인 상관관계를 추출하는 데 가장 성공적인 솔루yensr.tistory.com     2. Preliminaries: TSF Problem Formulation 시계열 예측 문제는 미래의 $T$개의 시점에서의 값을 예측하는 것.$T >1$인 경우, 예측 방식이 2가지 존재한다. Iterated Multi-Step (IMS) Forecasting단일 ..

Abstract장기 시계열 예측(Long-term Time Series Forecasting)에서 트랜스포머 기반의 솔루션이 급증하고 있다.트랜스포머는 긴 시퀀스 내 요소 간의 의미적인 상관관계를 추출하는 데 가장 성공적인 솔루션 그러나 시계열 모델링에서는 순서가 있는 연속된 점들의 시간적관계(temporal relations)을 추출하는 것이 핵심이다. 트랜스포머가 positional encoding과 임베딩된 서브시리즈를 토큰으로 사용하는 것이어떤 순서 정보를 보존하는 것에 용이하나, self-attention의 특성상 시간 정보 손실은 불가피하다. 그래서 LSTF-Linear라는 단층 선형 모델을 제안한다.9개의 데이터 셋에 대해 실험한 결과, 이는 복잡한 트랜스포머 기반 LTSF 모델보다 좋은 성..

자바를 처음 공부하면서 getter, setter의 개념을 알고는 있었으나,파이썬에서 getter, setter를 사용하는 방식은 매우 달랐다.바로 @property를 사용하면 된다.  @property@property는 외부에서 호출하지 못하는 클래스의 속성(변수)을메서드처럼 호출할 수 있도록 하며, 이게 바로 getter의 역할을 한다. setter는 @변수명.setter와 같이 선언해주면 된다.setter를 안 쓸 경우에는 읽기전용 변수가 된다고 생각하면 된다.  코드를 함께 살펴보자! class Person: def __init__(self, name): self._name = name # 내부적으로 _name을 사용 (직접 접근 방지) @property def na..

데이터 프레임의 attrs속성은 데이터프레임의 정보를 저장할 수 있는 속성이다. 데이터의 출처, 설명, 단위 등의 부가 정보를 저장해서 사용하면 된다. 딕셔너리의 형태이기 때문에, 딕셔너리를 사용하듯이 저장하고 조회하면 된다.import pandas as pdtest = {'a':[2,3,4], 'b':[5,4,3]}df = pd.DataFrame(test)print('df.attrs의 결과 :', df.attrs)df.attrs['name'] = 'TEST' # 저장print('df.attrs의 결과 :', df.attrs)print("df.attrs['name']의 결과 :", df.attrs['name'])   순서대로 실행한 예시도 함께!  https://pandas.pydata.org/docs..

1. LLM이란?대규모 언어 모델(Large Language Model, LLM)은 자연어 처리(NLP) 분야에서 중요한 발전을 이룬 기술.대규모의 데이터를 학습해 수십억 개의 파라미터를 가지며,인간과 유사한 텍스트 이해 및 생성능력을 보유한 모델. 문맥을 이해하고 자연스러운 문장을 만드는 데 뛰어난 성능을 가진다.   2. LLM의 환각(Hallucination)이 발생하는 이유는? LLM은 학습된 데이터에 의존한다.따라서 최신 정보에 대한 정확한 답변이 어렵다. 명령과 확률에 의해 돌아가는 시스템이기 때문에 답변이 될 확률이 낮다고 해도,답을 만들어내기 위해 엉뚱한 답을 내놓기도 한다.    2-1. LLM의 성능을 향상시킬 수 있는 기술 Prompt Engineering 많은 정보를 제공(상세하..

앞서 논문 리뷰를 했으나, 제대로 이해하지 못한 것 같아서 추가적인 공부를 진행했다.그런데 이제 ChatGPT와 함께한,,ㅎㅎ   1. 트랜스포머의 목적은?트랜스포머는 말을 얼마나 잘 만드느냐가 중요한 것이다.번역에 대한 값은 이미 다 있다. rose가 장미라는 사실을 알고 있다.'rose is flower'라는 말을 번역하기 위해 '장미', '는', '꽃', '이다'를 어떻게 배열할 것인지에 대한 문제. 잘 배열하기 위해서 단어 간의 관계를 학습하는 것이다.단어 간의 관계를 학습하기 위해 어텐션을 사용하는 것이고,하나에서 답을 얻는 것보단 여러 개에서 답을 얻어 사용하는 것이 좋으니까 멀티헤드 어텐션을 사용하는 것.   2. 어텐션의 쿼리, 키, 밸류의 행렬은 어떻게 계산하는가?입력값을 임베딩하고, 쿼..

https://convex-optimization-for-all.github.io/contents/chapter03/ Convex Functions · 모두를 위한 컨벡스 최적화03. Convex Functions 이 장에서는 Convex function의 정의, 예시, 주요 속성 및 Convexity를 유지하는 연산에 대해 살펴볼 것이다.convex-optimization-for-all.github.io   convex function$f : \mathbb{R}^n \rightarrow \mathbb{R}$의 정의역이 convex set이고,임의의 두점 $x, y \in dom f$ 를 잇는 선분 위의 모든 점들이 함수 f 위 점들보다 위에 있다면 그 함수는 convex $f(\theta x+(1-\t..