AI-Hub

데이터 변경이력

데이터 히스토리

소개

다양한 환경에서 복잡한 음성인식 기반 서비스 제공을 위해 음향 외 시각 정보를 활용하여 입모양 인식을 위한 다양한 각도 및 소음환경에서 녹화된 오디오 및 비주얼 데이터로 구성된 융합 데이터

구축목적

영상 및 음성에 대한 노이즈가 심한 환경에서 음성인식 성능을 보완할 수 있는 립리딩(입모양) 인식이 가능한 형태의 오디오 및 비주얼 데이터로 구성된 융합 데이터 구축

1. 데이터 구축 규모

•  

  1. 데이터 구축 규모

  데이터 종류	데이터 형태	데이터 규모
  원천데이터 – 영상	mp4	5,750 시간
  원천데이터 - 음성	wav	1,150 시간
  라벨링데이터 – 텍스트	json	66,420 건

  
   

2. 데이터 분포

• 소음환경별 분포
  

  소음환경별 분포

  소음환경	구축량 (시간)	비율
  소음없음	1,648	29%
  생활소음	828	14%
  교통소음	801	14%
  산업소음	804	14%
  자연소음	834	14%
  기타소음	833	14%

  * 시간 단위 이하 반올림
  
   
• 성별 분포
  

  성별 분포

  성별	인원 (명)	비율
  여성	552	50%
  남성	555	50%

  
   
• 발화자 특성별 분포
  

  발화자 특성별 분포

  특성	인원 (명)	비율
  일반인	831	75%
  전문가	276	25%

  
   
• 연령대별 분포
  

  연령대별 분포

  연령대	인원 (명)	비율
  10대	109	10%
  20대	286	26%
  30대	280	25%
  40대	259	23%
  50대	94	8%
  60대	79	7%

  
   
• 주제별 분포
  

  주제별 분포

  발화 주제	구축량 (시간)	비율
  휴가	384	6.70%
  교통수단	379	6.60%
  사회/시사	357	6.20%
  건강/다이어트	497	8.70%
  문화/예술	388	6.70%
  스포츠/레저	406	7.10%
  음식	399	6.90%
  인간관계	413	7.20%
  경제/재테크	445	7.70%
  진학/학교	394	6.80%
  반려동물	409	7.10%
  일/직장/직업	480	8.40%
  일상생활	484	8.50%
  관혼상제	307	5.30%

  * 시간 단위 이하 반올림
  
   
• 각도별 분포
  

  각도별 분포

  각도	구축량 (시간)	비율
  A(정면)	1,150	20%
  B(좌상)	576	10%
  C(좌)	574	10%
  D(좌하)	576	10%
  E(하)	574	10%
  F(우하)	576	10%
  G(우)	574	10%
  H(우상)	576	10%
  I(상)	574	10%

저작도구 설명서 및 저작도구 다운로드

AI 모델 상세 설명서 다운로드

1. 모델 학습

• 학습 모델 연구
  • 검증 과정에서 사용한 모델은 Transformer이고, 2017년 Google이 발표한 논문인 “Attention is all you need”에서 소개된 모델로 기존의 seq2seq의 구조인 인코더-디코더를 따르면서도, 논문의 이름처럼 어텐션(Attention)만으로 구현한 모델
  • 해당 모델은 RNN을 사용하지 않고, 인코더-디코더 구조를 설계하였음에도 성능이 RNN보다 우수하다는 특징
  • 학습 모델의 코드 검증을 위해 Github에 공개된 Transformer 기반의 AIHub 한국어 음성인식 코드를 기반으로 하여 Audio-Visual 학습 모델 코드를 구현

• 학습 모델 설계
  • Audio-Visual Encoder Layer
    • 오디오와 비디오를 입력으로 받아 디코더가 해석하기에 용이하도록 특징 벡터열들을 추출
    • 각각 비디오의 이미지 열들은 3차원 Convolution layer를 기반으로 하여 2차원의 이미지를 나타내는 1차원의 벡터로 바꿔 주고, 오디오는 Log-mel spectrogram으로 변환한 뒤, 비디오와 오디오의 특징열들을 Transformer Encoder Layer의 입력으로 하여 각 모달리티의 특징을 뽑도록 학습 진행
    • 
      
      [그림] Audio-Visual Encoder Layer
  • Audio-Visual Fusion Layer
    • 각 Encoder를 통해 얻어진 비디오와 오디오 특징 벡터열들을 하나의 data로 fusion하는 네트워크를 학습하는 과정
    • 비디오와 오디오를 하나의 벡터열로 연결한 이후 MLP layer와 normalization, 활성함수 등을 사용하여 Decoder가 해석하기 용이하도록 특징 벡터열로 만들어주는 모델을 학습
    • 
      
      [그림] Audio-Visual Fusion Layer
  • Audio-Visual Decoder Layer
    • 위 두 단계를 통해 얻은 특징 벡터열들과 Label token을 사용하여 Decoder를 통해 인식하는 네트워크를 학습
    • Decoder는 Transformer Decoder Layer를 사용하여 모델을 구성
    • 
      
      [그림] Audio-Visual Decoder Layer
    • 위 세 단계를 합쳐서 최종 학습 모델을 구성하며, 최종 학습 모델은 하나의 pair로 이루어진 비디오와 오디오 데이터를 입력으로 받아 해당 데이터가 어떠한 발화인지 인식
    • 
      
      [그림] 전체 학습 모델 블록도
• 모델 학습 세팅
  • Cross-Entropy loss, Adam optimizer 등을 사용하여 모델을 학습하는 데 구성
  • 잡음 환경과 오디오의 발화 길이가 다양한 분포를 갖고 있기 때문에, 모델 학습을 용이하게 하기 위해 Curriculum learning 방식을 시도
  • Curriculum learning을 통해 짧은 길이의 데이터부터 긴 길이의 데이터를 학습하고, 잡음이 없는 환경의 데이터부터 잡음이 존재하는 데이터를 학습하는 방향으로 진행
  • 이를 통해 학습이 용이한 데이터부터 점차 일반적인 데이터로 확장하여 모델의 학습이 빠르고 적절하게 이루어지도록 함
  • 음성인식 성능 평가를 진행하기 위해 음절오류율(CER)과 단어오류율(WER)을 통해 평가 진행
  • 전문가 데이터의 10% 만큼의 수량을 가지고 모델을 테스트했을 때 CER 25%와 WER 50%의 인식 성능을 내도록 하는 것이 목표 성능이고, 이 결과를 통해 학습 모델을 가지고 데이터의 유효성을 판단할 수 있는 근거로 제시

2. 서비스 활용 시나리오

• 구축한 모델은 AI 아바타, 청각장애인 인식용 서비스 개발 등에 활용할 수 있음
• AI 아바타 : 해당 과제를 통해 구축한 립리딩 데이터셋을 활용하여 AI 아바타 모델을 학습할 수 있음. 이를 통해 보다 자연스러운 아바타의 립리딩(입모양) 발화가 가능함.
  
  [출처 : maum.ai 홈페이지]
• 청각 장애인을 위한 발음 교정 서비스 : 최근 청각장애인들을 위한 발음 교정용 학습 시스템들이 많이 연구되고 있으며, 발성 뿐만 아니라 입의 모양이 올바른지 확인이 필요함. 따라서 본 과제의 데이터셋을 활용하여 한국어 립리딩(입모양) 시스템 개발에 활용할 수 있음. 

설명서 및 활용가이드 다운로드

1. 데이터셋 구성

2. 라벨링데이터 구성

3. 라벨링데이터 실제 예시

데이터셋 구축 담당자

수행기관(주관) : ㈜마인즈랩

수행기관(참여)

데이터 관련 문의처