AI-Hub

데이터 변경이력

데이터 히스토리

소개

인공지능 외국어 발음 교육 및 평가와 말하기 교육 및 평가를 위한 한국인의 외국어 발화 음성 데이터 및 학습자별 수준 분류·평가, 언어학적 분석이 포함된 메타데이터의 구축

구축목적

- 외국어 음성 인식, 통·번역, 교육용 AI 모델 등 연구·개발에 활용
- 외국어 교육을 위한 AI 기반 발음/말하기 평가 시스템 개발 등 산업분야 활용

 데이터 구축 규모

 데이터 분포
  ○ 말하기 평가 문항 주제 분포 (맥락범주)
  *주제 분포는 말하기 평가 문항에서만 확인 가능함

저작도구 설명서 및 저작도구 다운로드

AI 모델 상세 설명서 다운로드

1.  음성인식 모델 
  
 ○ 학습모델 연구

   - 음성인식 모델은 음향모델(AM) 과 언어모델( LM) 을 독립적으로 학습하여 인식에 활용하는 hybrid 모델과 하나의 딥러닝 모델로 인식을 수행하는 E2E 모델이 있음

   - hybrid 모델은 개발자가 언어에 인식대상 언어에 대해 일정 정도의 지식이 필요하나 E2E 모델은 음성데이터와 그 음성에 대한 스크립트 정보만 있으면 모델 학습이 가능함

   - 위와 같은 이유로 짧은 시간에 여러 언어에 대한 모델을 학습해야 하는 경우 E2E 방식이 유리함

   - E2E 모델은 크게 CTC( Connectionist temporal Classificaiton), AED( attention-based encoder decoder ), RNN-Transcuder 방식이 있음- 이 세가지 방식중 인식 성능이 높고 실시간 streaming 인식이 쉬운 구조인 RNN-Transducer 방식을 학습 모델로 선정하였음

 ○ 모델 구조

   - RNN-Transcuder 모델은 Encoder Network, Prediction Network, Joint Network로 이루어짐

    * Encoder network : 음성데이터를 encoding 하는 부분으로 conformer 모델을 사용하여 학습

     ** conformer 모델을 하나의 층으로 해서 12개층을 쌓아올린 구조

    * Prediction network : 현재까지 인식된 결과를 encoding 하는 부분으로  LSTM 모델을 사용하여 학습

     ** LSTM Layer 1개층

    * Joint network :  encoder network의 출력값과prediction network의 출력값을 합치는 역할을 하면 feed forward network 을 사용하여 학습

     ** Feed Forward Layer 2개층

 ○ 모델 학습

   - 음성인식은 음성정보를 text 정보로 변환하는 것으로 매 frame 마다 N개의 BPE중 가장 가능성이 높은 BPE를 찾는 문제임

   - espnet 프레임워크를 이용하여 RNN-T Conformer 모델을 학습- 입력 데이터

    * 16khz sampled wav 에서 추출한 특징벡터* 83차 벡터 :  80차 FilterBank + 3차 Pitch

    * 40ms 간격으로 입력- 출력 데이터

    * STT 모델링 Unit으로 음성에 대한 Script를 N개의 BPE(Byte Pair Encoding)를 사용하여 표현하도록 변형

    * 매 frame 마다 softmax 확률값이 가장 높은 BPE가 해당 프레임의 결과로 출력

2. 발음평가 모델 
 ○ 학습모델 연구

   - 발음평가 모델은 입력 음성에 대한 발음평가 점수를 자동으로 추정하기 위한 모델로 전문평가자가 평가한 점수와 모델이 추정한 점수의 correlation이 최대가 되도록 모델을 학습한다.

    * 음성에서 발음평가 모델링에 사용되는 특징을 추출하는 방법은 음성인식의 결과를 이용하는 방법, GOP feature, End-To-End 딥러닝 모델, SSL( Self Supervised Learning ) 방법 등이 있음

    * 이중 개발자가 언어에 대한 전문 지식이 필요 없고 여러 언어에 동일한 방식으로 사용할 수 있는 SSL 방법의 일종인 wav2vec2.0을 통해 음성을 일정한 크기의 벡터로 변환하는 방법을 사용  

 ○ 모델 구조

   - 크게 pre-trained wav2vec2.0, Average pooling, MLP 세 부분으로 나눔

   - wav2vec2.0

    * 음성데이터를 매 20ms 간격으로 1024차 벡터로 변환- Average Pooling

    * wav2vec2.0에서 출력된 1024차 벡터를 frame 단위로 averaging 하여 1024차 벡터로 변환

   - MLP
    * input layer, hidden layer, output layer를 갖는 feed forward network

   - 본 과제에서는 hidden layer 개수 1개 

 ○ 모델 학습

   - 발음평가 모델은 target score를 추정하는 회귀 모델링 task

   - wav2vec2.0으로 변환하고 averaging 한 feature를 입력으로 하여 target score를 추정하는 MLP를 학습 

데이터 성능 점수

설명서 및 활용가이드 다운로드

데이터 포맷  

대표도면

JSON 형식

데이터 구성

※ 화행평가의 경우, 전체 데이터 중 약 5% 미만에 대해 제공됨.
※ Feature 태깅은 모든 언어에 대해 제공되지 않으며, 영어와 일본어에 한하여 제공됨.

어노테이션 포맷
  ○ 발음 데이터

○ 말하기 데이터

실제 예시                                                              

데이터셋 구축 담당자

수행기관(주관) : 한국외국어대학교

수행기관(참여)

데이터 관련 문의처