AI-Hub

데이터 변경이력

데이터 히스토리

소개

- 방송 콘텐츠 분야의 유럽어 통·번역 성능 향상을 통해 한국 문화 확산 및 콘텐츠 산업 활성화를 위한 한국어 방송 콘텐츠의 인공지능 학습용 유럽어 통·번역 말뭉치 데이터
- 상황별 신조어, 약어, 은어, 관용적 의미와 어투까지 효과적으로 전달할 수 있는 인공신경망기계번역(Neural Machine Translation; NMT)용 한-유럽어 통·번역 음성 및 텍스트 pair 데이터

구축목적

ㅇ 분야 특화 번역모델을 이용한 번역서비스 제공
- 전문 번역사 중심의 번역공정으로는 지속적으로 늘어나게 될 K-콘텐츠의 수출을 지원하기에는 어려움이 있고, 문화적/언어적 특성을 잘 처리할 수 있는 특화 번역모델 기술의 개발로 품질이 우수하고 신속한 번역 서비스의 제공이 가능
ㅇ 범용성 높은 인공지능 데이터 구축 및 공개
- 활용성 높은 분야를 선정하고 원본 데이터 확보 가능성 확인
- 인공지능 학습에 적합한 콘텐츠(문장) 선정
- 정확도 높은 학습 데이터 구축
ㅇ 고품질 인공지능 학습 데이터 확보
- 고품질 학습용 한국어 유럽어 양방향 데이터 구축
- 분야 특화가 가능한 번역모델 학습 데이터 구축
ㅇ 인공지능 데이터를 통한 일자리 창출 및 기술 향상 기여
- 크라우드소싱으로 작업
- 공개 데이터를 활용한 다국어 인공지능 번역의 성능 향상
- 활용 사례 및 수정/구축 결과 공유

1. 데이터 구축 규모
(1-010-033) 방송컨텐츠 한국어-유럽어 통번역 음성 데이터
방송콘텐츠 약 600시간에 대한 원천 데이터 약 50만개 및 라벨링테이터 약 380만개

2. 데이터 분포
- 방송콘텐츠 대분류 5개 이상으로 데이터 편향 없이 균등하게 설계 구축
- 다양한 화자, 발화 스타일, 다양한 주제, 분야가 반영될 수 있는 카테고리 등 데이터 전체 구성 방안 및 균형적인 분포

(1-010-033) 방송콘텐츠 한국어-유럽어 통번역 음성 데이터

저작도구 설명서 및 저작도구 다운로드

AI 모델 상세 설명서 다운로드

1. 학습 AI모델

1) 음성전사 데이터의 평가로 CER 측정 활용

   - 구축한 데이터의 유효성을 검증하기 위하여 가공이 완료된 본 데이터를 인공지능 학습 모델을 통해 검증
- 한국어 방송 콘텐츠 음성데이터는 발화데이터와 그 발화에 해당하는 전사 데이터로 가공되며 이는 한국어 음성인식을 위한 데이터로 활용될 수 있음
- 음성인식 유효성 검증은 최근 성능이 우수한 CTC와 transformer를 결합한 음성인식 알고리즘을 사용하였으며, 음성인식 품질 평가방법은 공인된 CER 기법을 사용하여 평가

- 학습 모델에 사용된 데이터는 한국어 방송 콘텐츠 950시간 정도이며, 이는 세그먼트된 발화 음성 파일 기준으로 대략 937,500개 정도임
- 학습된 음성인식 모델로 실험한 결과 CER 기준 10.0이라는 객관적이고 정량적인 성능 수치가 나왔으며, 이는 사업 초기 계획했던 CER 15를 훨씬 초과하는 좋은 성능 결과를 얻음
- 이로써, 본 과제에서 가공된 한국어 방송 콘텐츠 음성 데이터는 그 품질이 우수함을 음성인식 유효성 검증을 통해 입증함 

2) 특화 번역모델의 번역품질 평가 방안으로 BLEU 평가 활용

- 다국어로 번역하여 구축한 통번역 데이터의 유효성 검증을 입증하기 위해 Attention 기반의 Transformer 알고리즘을 통해 번역 모델을 구성
- 학습된 번역 모델로 실제 구축한 데이터를 검증하기 위해 BLEU라고 하는 범용적인 자동 평가 도구를 사용

- 모델 구축은 언어별로 진행하였으며, 그 중 한영 병렬 말뭉치가 가장 많은 63만 문장쌍이며, 가장 적은 언어는 한불 47만 문장쌍임
- 언어별 학습을 통해 BLEU를 평가한 결과 한영 번역 모델이 가장 높은 50.27로 나왔고 가장 낮은 언어셋은 한러 38.41로 나옴
- 이러한 결과는 사업 제안서에서 제시한 BLEU 평가 점수 38을 모두 넘는 수치로 이는 구축한 다국어 번역 말뭉치 데이터 역시 그 품질이 우수함을 입증함

2. 데이터 활용

활용 분야 및 요구사항
- 연구분야: 구어체 텍스트 데이터를 활용하는 한국어-영어/유럽어 인공지능 번역 연구
- 산업분야: 구어체 방송콘텐츠 한국어-영어/유럽어 자막 및 번역 생성 서비스

1. 데이터 활용 

2. 응용 서비스 
한국문화 특화 번역 모델로 K-콘텐츠 글로벌화를 위한 세종학당, 해외문화원 등을 통하여 K-콘텐츠 클라우드 번역 서비스 

3. 응용서비스 개발 
 
ㅇ다국어 통역기
- 한국어 음성을 인식해서 다국어로 통번역하는 웹서비스
- 인공지능 음성인식과 자동번역 학습모델을 활용하여 개발
- 도메인 특화 성능 고도화를 통해 고객 맞춤형 통번역 서비스 제공 가능

ㅇ다국어 영상 자막 자동 생성 서비스
- 방송 및 유튜브 영상의 한국어 음성을 자동 인식
- 한국어 텍스트를 사용자가 선택한 다국어로 번역하여 자막을 자동으로 생성
- 정확도가 높을 경우 1시간 영상 기준으로 기존 자막화 시간 29시간에서 10분 이내로 단축할 수 있는 효율적인 서비스임
- 자막은 “srt” 또는 “vtt”형태로 다운로드 가능
- 영상 음성에 대한 인식 결과 또는 자동번역 오류가 있을 경우 이를 수정할 수 있는 편집 기능도 함께 제공

데이터 성능 점수

설명서 및 활용가이드 다운로드

1. 데이터 포맷
- 원천 음성 데이터

- 라벨링 음성전사 데이터

- 라벨링 통번역 데이터

- 라벨링 발화녹음 데이터

2. 데이터 구성

*영어의 경우 번역은 9번 과제에서 통합하여 진행하였고, 발화는 미국영어와 영국영어로 각각 진행하였음. 통번역데이터에 업로드한 한국어-영국영어 데이터는 한국어-미국영어 데이터와 거의 동일하나, 발화 관련 정보에 차이가 있음.
*또한, 영국영어 발화는 9번 과제에서 310시간, 10번 과제에서 290시간 구축함

3. 어노테이션 포맷
- 음성전사 라벨 구성요소 

- 통번역용 라벨 데이터

4. 데이터 예시

데이터셋 구축 담당자

수행기관(주관) : ㈜디엠티랩스

수행기관(참여)

데이터 관련 문의처