전체 글 검색 결과

해당 글 54건

aiffel_fastpaper_6_All you need is attention

aiffel 대전 1기 nlp 반 fast paper fast paper 는 논문의 abstract, introduction 만 읽는 읽는 모임 2일차 3편 중 3편 원문 논문 링크 : 1.abstract - 기존의 CNN, RNN 구조들을 다 뺐다. 2.introduction - 기존 RNN 의 문제점 : 1)입력 문장의 길이가 길어지면 성능이 저하된다. 2)재귀/순환구조는 병렬화가 불가능하다. 3)receptive field 가 작다(hidden state of t-1, input vector of t) - Tranformer 구조에서는 어떻게 위 문제들을 해결하나? - 1)global receptive field : 문장을 통째로 보기 때문에, (1~T) 모든 vector 보고 결정한다. - 2)m..
카테고리 없음 2021. 4. 10. 20:59

aiffel_fastpaper_5_Effective Approaches to Attention-based Neural Machine Translation

aiffel 대전 1기 nlp 반 fast paper fast paper 는 논문의 abstract, introduction 만 읽는 읽는 모임 2일차 3편 중 2편 원문 논문 링크 : 1.abstract - 기존 attention 적용 알고리즘들이 sota 먹고있다. 잘 작동되는듯하다. - 나는 global-approach, local-attention 두 가지를 추가하였다. 2.introduction - global approach : 항상 모든 단어(입력 vectors)와의 attention 을 적용한다. Baudanau attention 과 차이? - local attention : 한번에 일부 단어(입력단어 vectors 의 subset, 부분집합)와의 attention 을 본다.
카테고리 없음 2021. 4. 10. 20:58

aiffel_fastpaper_4_Neural Machine Translation by jointly learning to align and translate

aiffel 대전 1기 nlp 반 fast paper fast paper 는 논문의 abstract, introduction 만 읽는 읽는 모임 2일차 3편 중 1편 원문 논문 링크 : 특징 - 논문이 공개된 2015년도에는 attention 이라는 용어가 등장하기 전이라, align 으로 표현되고있음. - 조경현 교수님! 1.abstract - 기존의 전통방식의 통계적 기계번역과는 다르게, 신경망 기계번역에서는 single neural network 를 사용해서 기계번역의 성능을 높이는 것이 목표 2.introduction - 이전 방식 : input/source sentence(번역하려는 문장, 영어) >> encoder/read >> fixed-length vector >> decoder/trans..
카테고리 없음 2021. 4. 10. 20:57

aiffel 교육 전반기를 마치며 회고

6개월의 교육 중 3개월이 지나갔다. 잘 했나? 글쎄.. 하나하나 봅시다. 1.전반기 평가 1)f 노드 6점. - 딥러닝 관련된 건 잘 보았으나, 기타 분산처리, db 관련된 건 잘 안한듯. 2)e 노드 3점. - 코드 제대로 안봄. 제출 제대로 안함. 개념 제대로 공부안함. 오후 3시 넘어서 집중력 떨어져서 딴짓함. 3)cs231n 풀잎 8점. - 예습 잘 못해감. 수업시간에는 집중적으로 학습, 질문함. 치킨 받음, 질문점수 2등, 중간고사 풀이 반타작 4)자료구조 풀잎 5점 - 후반기부터는 문제풀이 예습 수업시간 제대로 공부 안함. 5)글쓰기 2점 - 글 몇개 쓰다가 놀았다 6)스터디 6점 - 추노 6점. 출석률 , 지각률, 내용이해도, 적극적 참여도 - 아이효 7점. 이해도, 적극적 참여도 - 금요..
카테고리 없음 2021. 4. 4. 04:20

dacon_해빙예측대회 baseline 정리

1.대회 개요 1)링크 - dacon.io/competitions/official/235706/overview/description/ 2)목적 - 1978년부터 2018년까지 40년간 매달 북극 빙하 사진(40*12, 482장)으로, 2019, 2020년 북극 빙하사진을 예측해보기 3)데이터 - 1달마다 주어진 데이터 파일은 해빙농도(0~250), 북극점, 해안선마스크, 육지 마스크, 결측값 5개 채널로 구성됨. - 데이터 형식 : .npy 형식, 1채널 이미지(448*304)가 1d array(136,192*1) 형태로 되어있음. 변형해서 써야함. - 평가는 f1 score 는 5~50% 사이 픽셀만 이용하여 계산함. 2.baseline 정리 1)링크 - dacon.io/competitions/offi..
카테고리 없음 2021. 4. 4. 03:03

aiffel_dacon_해빙예측대회 배운것들

결과적으로 해커톤 1에서의 실수를 다시 한번 저지름. 처음에 input data 를 불러오고, 표시하고, 가공하는 것부터 스스로 해야한다. baseline 에서 한 방식은 사실 나에게 복잡하고 어려워서 눈에 들어오지 않는다. 이 과정을 통해 데이터를 밀고 당겨서 내가 핸들링하고 있다는 강한 확신을 가진 후, 모델을 분석, 교체 해야한다. 이게 안되면 baseline의 틀 안에 갇혀버리고, 의존성에서 벗어나지 못하고 코딩의 폭이 줄어든다. 데이터 경진대회를 시작하면, 처음에는 무조건 EDA 부터 시작하자. 1.EDA - 데이터 불러오기, 환경설정(코랩), 띄워보기, 분포확인, 전처리 2.baseline 학습 : 모델/데이터흐름/파이프라인/데이터shape/작성자의 목적, 철학 3.나만의 직관/전략/방향성/철..
카테고리 없음 2021. 4. 4. 02:58

aiffel_fastpaper_sentencepiece

aiffel 대전 1기 nlp 반 fast paper fast paper 는 논문의 abstract, introduction 만 읽는 읽는 모임 2021년 4월 3일 토요일 1일차 오후 1시 3편 중 3편 SentencePiece: A simple and language independent subword tokenizer and detokenizer for Neural Text Processing 원문 논문 링크 : arxiv.org/pdf/1808.06226.pdf keyword : language independent, segmentor, tokenizer, 형태소 분석기 참고 : https://wikidocs.net/22592 2편의 bpe 가 근본 개념이라면, 3편의 sentencepiece 는..
카테고리 없음 2021. 4. 4. 02:44

aiffel_fastpaper_Neural Machine Translation of Rare Words with Subword Units

aiffel 대전 1기 nlp 반 fast paper fast paper 는 논문의 abstract, introduction 만 읽는 읽는 모임 2021년 4월 3일 토요일 1일차 오후 1시 3편 중 2편 Neural Machine Translation of Rare Words with Subword Units 원문 논문 링크 : arxiv.org/pdf/1508.07909.pdf keyword : subword, bpe(byte pair encoding), tokenize 참고 : https://wikidocs.net/22592 1.abstract NMT(Neural Machine Translation, 신경망 기계번역) 모델들은 고정된 vocab 을 사용함. 하지만 실제 서비스에서는 새로운 단어, 오..
카테고리 없음 2021. 4. 4. 02:28