데이터분석가, 동동

FFNN(Feed Forward Neural Net) 배경 **트랜스포머(transformer)**를 이해하려면 Attention을 이해해야한다. Attention을 이해하려면 RNN을 이해해야하고 RNN을 이해하기 위해선 FFNN을 이해해야한다. FFNN은 아래 목차 수준으로 이해하고 있으면 된다. 퍼셉트론이란 AND분류 OR분류 XOR분류 직선 두 개를 이용한다. Multi-layer Perceptron MLP학습을 위해 해야할 일 Input Layer의 Node 수 결정 output Layer의 Node 수 결정 hidden Layer의 Node 수 결정 학습 Algorithm을 이용한 weight 추정 Forward propagation Back-propagation알고리즘 이용 Activatio..

음성인식 문제 정의 음성인식이란? 마이크를 통해 입력 받은 음성(Speech)이 주어졌을 때, 확률이 가장 높은 문장(단어의 열)을 출력 ArgMaxP(W|X) W = {W1, W2, … , Wu} : U개의 단어 시퀀스 X = {x1, x2, …, xt} : 음성시퀀스 ArgMaxP(W|X)의 문제점 X가 고정되어 있다고 가정. 실제는 고정되어 있지 않음. 출력의 확률 분포를 고려하지 않음. 단어의 의존성을 고려하지 않음. E2E의 장점과 단점 장점 SOTA를 보임 음성파일과 이에 대응되는 Transcription만으로 학습 전혀 모르는 언어에 대해서도 음성인식기 제장 가능 단점 외부지식을 실시간 반영할 수 없음 대용량 텍스트 코퍼스를 음성인식기에 직접 반영할 수 없음 구조 복잡. 파라미터 많음. Co..