bagging Emsemble, semi-supervised

단일 모델로는 성능을 높이기는 많은 시간과 노력이 필요함

쉽게 올릴 수 있는 방법은 emsemble 기법을 사용

 

bagging emsemble

 : 동일한 데이터와 동일한 딥러닝 모델을 서로 다른 random_seed를 기반으로 학습을 수행하여,

 미세하게 다른 결과를 얻어냄. 

 

이는 소량의 데이터를 배치 형태로 학습하는 딥러닝 모델들의 특징을 이용한 것으로, 배치로 들어오는 데이터의

순서를 random_seed로 바꿔, 모델의 학습 과정에 변화를 주는 방법

 

Semi-supervised

준지도 학습은 지도학습과 비지도학습을 합친 방법

기존 학습데이터 x, 라벨 y를 통해 학습시킨 모델이 있다고 하자.

 

레이블이 존재하는 데이터 (x, y)를 기반으로 모델 M을 학습 시킨 후에,

레이블이 없는 변수 z의 레이블 y'을 모델 M을 기반으로 예측

 

이렇게 생성된 새로운 데이터 (z, y')를 다시 모델M을 추가학습 또는 재학습을 통해

데이터 (x, y)가 부족할 때 상대적으로 손쉽게 데이터를 늘릴 수 있는 방법

 

단점은 모델 M의 성능에 따라 데이터의 품질이 달라진다는 점

 

Data-augmentation

부족한 데이터의 양을 보완하기 위하여 원본 데이터의 정체성을 해치지 않는 수준의 변형을 가하여,

모델이 학습할 수 있는 데이터를 증가시킬 수 있는 방법

 

기존 데이터에 노이즈를 추가하여 음성 데이터의 경우 기존 데이터에 소음데이터를 추가하여

새로운 데이터를 만들 수 있음