개인 프로젝트52 [논문리뷰] 기계 번역 모델의 발전방향 및 비교 Transformer는 GPT나 BERT보다도 더 먼저 등장했고, 사실 이 두 모델의 출발점이자 핵심 구조야.GPT와 BERT는 Transformer를 기반으로 각각 다른 목적에 맞게 커스터마이징된 후속 모델 Transformer의 탄생과 핵심발표 시기2017년, Google의 논문→ "Attention Is All You Need" (Vaswani et al.)목표기존의 RNN, LSTM 기반 번역 모델보다 빠르고 더 정확한 기계 번역 모델을 만들기 위해 Transformer의 핵심 아이디어핵심 요소설명Self-Attention문장 내 단어들이 서로 어떤 관계를 맺고 있는지를 학습하여 문맥을 반영병렬 처리RNN은 순차적으로 학습해야 하지만, Transformer는 동시에 학습 가능Position Enc.. 2025. 4. 6. [논문리뷰] BERT-RoBERTa - BERT-RoBERTa https://chanmuzi.tistory.com/163 BERT와 BERT 파생모델 비교(BERT, ALBERT, RoBERTa, ELECTRA, SpanBERT)자연어처리 분야에서 아주 큰 입지를 차지하고 있는 모델인 BERT와 BERT 기반의 파생모델들에 대해 공부한 내용을 정리해봤습니다. 구글 BERT의 정석(한빛미디어)라는 책과 각 모델 관련 논문, 그리chanmuzi.tistory.comhttps://hryang06.github.io/nlp/BERT/ https://www.youtube.com/watch?v=30SvdoA6ApE* Bert : 문맥을 양방향으로 이해해서, 숫자의 형태로 바꿔주는 딥러닝 모델 / 양방향 인코더 형태 https://www.youtube... 2025. 4. 1. [논문] BERT : Bidirectional Encoder Representations from Transformers (과거)RNN, LSTM, GRU 등기존의 자연어 처리 모들 : 순환 신경망 기반 (Recursive)LSTM, GRU 같은 접근이 있었지만 한계가 존재함.순차처리 -> 병렬처리 어려움. Word2Vec : 비슷한 문맥에서 등장하는 단어들은 비슷한 의미를 가진다.biLMs - biELMo - biLSTM : Language Model (ElMo representation + Embedding vector) : 정방향, 역방향 분리, 약하게 연결 Bert = Encoder only transformers : 전체적인 양방향성을 갖기 위해서- WordPiece embeddings > 3만개의 토큰 vocabulary 사용- 스페셜 토큰 사용 : [CLS][EOS][MASK][PAD] 등 Bert 중요 개념 .. 2025. 3. 31. [논문] RNN_2014_Sequence to Sequence Learning with Neural Networks CNN : 합성곱 신경RNN : 시계열 데이터를 처리하기에 좋은 뉴럴 네트워크 구조 First Order System : 현재 시간의 상태가 이전 시간의 상태와 관련이 있따고 가정X0 - X1 - X2 - X3 ...외부 입력 없이 자기 혼자 돌아가는 시스템입력 있을 경우 : 현재 시간의 상태가 이전 시간의 상태와, 현재의 입력에 관계가 있는 경우 State-Space Model관측 가능한 상태의 모음 : 출력어떤 시스템을 해석하기 위한 3요소 : 입력, 상태, 출력ANN : 입력 - 히든 레이어 - 출력RNN : 입력 - 히든 레이어 - 한번 더 재귀(R) - 출력 X(t) : 앞에서 표현한 것의 압축본First-order Mark (한번만 건너감) Sequencet - to - sequence (s.. 2025. 3. 24. 이전 1 2 3 4 ··· 13 다음
