PAPER 음성 처리 · 음성 인식
HuBERT: 나쁜 클러스터라도, 마스킹 예측이면 배운다
MFCC의 k-means 클러스터를 의사 라벨로 삼아 마스킹된 프레임의 클러스터를 맞히는 BERT식 masked prediction으로 음성 표현을 사전학습하고, 배운 표현을 다시 클러스터링해 타깃을 반복 개선한다. 손실을 마스킹 영역에만 걸면 타깃 품질이 나빠도 학습이 성립하며, wav2vec 2.0을 전 구간에서 앞선다.
#HuBERT
0 articles · 1 analyses (1 au total)
PAPER