Just Fighting

1. LLM이란?대규모 언어 모델(Large Language Model, LLM)은 자연어 처리(NLP) 분야에서 중요한 발전을 이룬 기술.대규모의 데이터를 학습해 수십억 개의 파라미터를 가지며,인간과 유사한 텍스트 이해 및 생성능력을 보유한 모델. 문맥을 이해하고 자연스러운 문장을 만드는 데 뛰어난 성능을 가진다.   2. LLM의 환각(Hallucination)이 발생하는 이유는? LLM은 학습된 데이터에 의존한다.따라서 최신 정보에 대한 정확한 답변이 어렵다. 명령과 확률에 의해 돌아가는 시스템이기 때문에 답변이 될 확률이 낮다고 해도,답을 만들어내기 위해 엉뚱한 답을 내놓기도 한다.    2-1. LLM의 성능을 향상시킬 수 있는 기술 Prompt Engineering 많은 정보를 제공(상세하..

앞서 논문 리뷰를 했으나, 제대로 이해하지 못한 것 같아서 추가적인 공부를 진행했다.그런데 이제 ChatGPT와 함께한,,ㅎㅎ   1. 트랜스포머의 목적은?트랜스포머는 말을 얼마나 잘 만드느냐가 중요한 것이다.번역에 대한 값은 이미 다 있다. rose가 장미라는 사실을 알고 있다.'rose is flower'라는 말을 번역하기 위해 '장미', '는', '꽃', '이다'를 어떻게 배열할 것인지에 대한 문제. 잘 배열하기 위해서 단어 간의 관계를 학습하는 것이다.단어 간의 관계를 학습하기 위해 어텐션을 사용하는 것이고,하나에서 답을 얻는 것보단 여러 개에서 답을 얻어 사용하는 것이 좋으니까 멀티헤드 어텐션을 사용하는 것.   2. 어텐션의 쿼리, 키, 밸류의 행렬은 어떻게 계산하는가?입력값을 임베딩하고, 쿼..