aiffel 대전 1기 nlp 반 fast paper
fast paper 는 논문의 abstract, introduction 만 읽는 읽는 모임
2일차 3편 중 1편
원문 논문 링크 :
특징
- 논문이 공개된 2015년도에는 attention 이라는 용어가 등장하기 전이라, align 으로 표현되고있음.
- 조경현 교수님!
1.abstract
- 기존의 전통방식의 통계적 기계번역과는 다르게, 신경망 기계번역에서는 single neural network 를 사용해서 기계번역의 성능을 높이는 것이 목표
2.introduction
- 이전 방식 : input/source sentence(번역하려는 문장, 영어) >> encoder/read >> fixed-length vector >> decoder/translate >> output/target sentence(번역된 문장, 프랑스어)
- 이전방식의 문제점 1 : source sentence 의 necessary information (문장의 내용)을 압축/요약하여 fixed-length vector 에 compression하여 담다보니, bottleneck 이 발생함.
- 문제점 2 : corpus(train dataset) 의 문장길이 분포보다 긴 문장이 source 로 들어오게되면, 성능저하 발생.
- 해결방법 1 : align and translate jointly 를 적용하여 encoder-decoder 모델을 확장함(attention 개념 도입했다는 소리)
- 해결방법 2 : soft-search 를 적용하여 입력 문장의 단어 중 가장 관련있는 단어의 위치를 찾는(search) 알고리즘 도입(attention score 도입했다는 소리)
# keywords
jointly
hard segment explicitly
qualitative analysis
soft-search
soft-alignment
