-
데이터 변경이력
데이터 변경이력 버전 일자 변경내용 비고 1.0 2021-06-18 데이터 최초 개방 데이터 히스토리
데이터 히스토리 일자 변경내용 비고 2023-09-12 저작도구 수정 2022-10-13 신규 샘플데이터 개방 소개
동영상 자동 요약 서비스 기술 개발을 위한 영상 데이터
구축목적
다양한 카테고리에 해당하는 영상을 활용한 동영상 요약 데이터셋 구축으로 학습모델을 개발, 공개하여 다양한 응용서비스 제안
-
메타데이터 구조표 데이터 영역 영상이미지 데이터 유형 비디오 데이터 형식 데이터 출처 라벨링 유형 라벨링 형식 데이터 활용 서비스 데이터 구축년도/
데이터 구축량2020년/4천 건(1000시간) -
구축 내용 및 제공 데이터량
- 원천 데이터 4000 건 (2 ~ 60분 동영상, 1000시간 이상, 15개 카테고리)을 활용
- 데이터 수집 시, 유튜버 및 방송사 콘텐츠 적극 활용
- 10인의 어노테이터가 투입되어, 해당 영상을 가장 잘 설명할 수 있는 장면을 1차 및 2차에 걸쳐 선택.
비디오 요약 영상-구축내용표-1 카테고리(종) 비디오 개수(개) 분포(%) 스타일링/뷰티 241 6.01 일상 372 9.27 뉴스/정치 239 8.05 반려동물/동물 381 5.96 인물/블로그 240 9.50 스포츠 323 5.98 음식 332 8.28 비영리/사회활동 133 3.31 영화/애니메이션 194 4.83 엔터테인먼트 222 5.53 음악 378 9.42 여행 368 9.17 자동차 220 5.48 코미디 139 3.46 게임 227 5.66 평균 267.26 6.66 -
-
AI 모델 상세 설명서 다운로드
AI 모델 다운로드 -
데이터 성능 점수
측정값 (%)기준값 (%)데이터 성능 지표
데이터 성능 지표 번호 측정항목 AI TASK 학습모델 지표명 기준값 점수 측정값 점수 1 영상 주요 장면 판별 정확도 Video Classification VASNET F1-Score 0.3 점 0.36 점
※ 데이터 성능 지표가 여러 개일 경우 각 항목을 클릭하면 해당 지표의 값이 그래프에 표기됩니다.
※ AI모델 평가 지표에 따라 측정값의 범위, 판단 기준이 달라질 수 있습니다. (ex. 오류율의 경우, 낮을수록 좋은 성능을 내는 것으로 평가됩니다)
-
설명서 및 활용가이드 다운로드
데이터 설명서 다운로드 구축활용가이드 다운로드데이터 변경이력
비디오 요약 영상-데이터변경이력 버전 일자 변경내용 비고 1.0 2021.06.18 데이터 최초 개방 구축 목적
- 다양한 카테고리에 해당하는 영상을 활용한 동영상 요약 데이터셋 구축으로 학습모델을 개발, 공개하여 다양한 응용서비스 제안
활용 분야
- 영상자료 이상 탐지 효율화, 콘텐츠 생산, 소비, 유통 활성화
소개
- 2~60분 길이의 유튜브 및 방송사 영상을 수집하고 주요 장면의 위치를 레이블링하여 학습용 데이터셋 구축. 이를 영상 파일, 링크, 메타데이터와 함께 정리하여 동영상 요약을 위한 공공 데이터를 구축해 제공. 또한, 이를 바탕으로 영상 요약 학습 인공지능 모델을 개발하고 자동화된 AI 동영상 요약 시스템을 제시.
구축 내용 및 제공 데이터량
- 원천 데이터 4000 건 (2 ~ 60분 동영상, 1000시간 이상, 15개 카테고리)을 활용
- 데이터 수집 시, 유튜버 및 방송사 콘텐츠 적극 활용
- 10인의 어노테이터가 투입되어, 해당 영상을 가장 잘 설명할 수 있는 장면을 1차 및 2차에 걸쳐 선택.
비디오 요약 영상-구축내용표-1 카테고리(종) 비디오 개수(개) 분포(%) 스타일링/뷰티 241 6.01 일상 372 9.27 뉴스/정치 239 8.05 반려동물/동물 381 5.96 인물/블로그 240 9.50 스포츠 323 5.98 음식 332 8.28 비영리/사회활동 133 3.31 영화/애니메이션 194 4.83 엔터테인먼트 222 5.53 음악 378 9.42 여행 368 9.17 자동차 220 5.48 코미디 139 3.46 게임 227 5.66 평균 267.26 6.66 대표도면
필요성
-
동영상 요약 서비스는 인공지능 기술을 통해 개발되고 있지만 데이터 구축에 드는 비용이 매우 크고 지도학습(Supervised Learning)의 경우 영상에 대한 이해도, 관련 배경지식이 통제되지 않은 레이블(Label) 데이터를 사용해 학습에 어려움이 있음.
-
본 과제에서 구축할 영상요약 AI 데이터는 영화, 자동차, 음악, 동물 등 다양한 카테고리에 해당하는 영상을 폭넓게 포함하고 있어 특정 도메인에 편향될 가능성이 적은 양질의 영상 요약 데이터로 활용될 것임.
데이터 구조
- 데이터 구성
- 영상요약 학습용 데이터는 정의된 15개 Category, 3개의 구간 총 4,000개의 동영상으로 구성된다. 2~5분 이하 1,000개, 5~20분 이하 2,000개, 20~60분 이하 1,000개로 과업지시사항에 따라 최소 1,000시간을 충족해야 한다.
- 영상정보의 세부내역은 2~5분(10개), 5~20분(30개), 20~60분(60개)개가 각각 mp4 파일 형태로 생성되며, 약 10만 건의 라벨링을 수행한다.
- JSON 파일과 영상 데이터는 1:N 관계로, 하나의 JSON 파일 안에 모든 영상 데이터에 해당하는 메타데이터가 포함되어 있음 - 어노테이션 포맷
비디오 요약 영상-데이터구조 어노테이션 포맷 표 No 항목 영문명 비고 1 파일명 name Key 값 2 카테고리 category 3 영상 길이 length 4 화질 quality 5 라이선스 license 6 광고 시작구간 ad_start 7 광고 종료구간 ad_end 8 3초단위 구간 three_secs 9 원천데이터 경로 path 10 어노테이션 정보 annotator_id highlight: 하이라이트 구간 목록
represent: 대표 구간 목록
-
데이터셋 구축 담당자
수행기관(주관) : 한국과학기술원
수행기관(주관) 책임자명 전화번호 대표이메일 담당업무 박주용 042-350-2924 [email protected] · 컨소시엄 운영 및 사업기획 · API 서버 및 웹 서비스 개발 · 음악 하이라이트 영상 추출 기술 개발 수행기관(참여)
수행기관(참여) 기관명 담당업무 메트릭스 리서치 · 크라우드소싱 시스템 개발/운용
· 크라우드워커 모집 및 리워드
· 데이터 수집, 정제 및 가공
· 저작도구 개발 및 운용소리자바 · 요약영상 동영상 수집 액션파워 · 요약영상 인공지능 모델 구축 및 학습. 데이터 데이터 관련 문의처
데이터 관련 문의처 담당자명 전화번호 이메일 박주용(한국과학기술원) 042-350-2924 [email protected]
-
인터넷과 물리적으로 분리된 온라인·오프라인 공간으로 의료 데이터를 포함하여 보안 조치가 요구되는 데이터를 다운로드 없이 접근하고 분석 가능
* 온라인 안심존 : 보안이 보장된 온라인 네트워크를 통해 집, 연구실, 사무실 등 어디서나 접속하여 데이터에 접근하고 분석
* 오프라인 안심존 : 추가적인 보안이 필요한 데이터를 대상으로 지정된 물리적 공간에서만 접속하여 데이터에 접근하고 분석 -
- AI 허브 접속
신청자 - 안심존
사용신청신청자신청서류 제출* - 심사구축기관
- 승인구축기관
- 데이터 분석 활용신청자
- 분석모델반출신청자
- AI 허브 접속
-
1. 기관생명윤리위원회(IRB) 심의 결과 통지서 [IRB 알아보기] [공용IRB 심의신청 가이드라인]
2. 기관생명윤리위원회(IRB) 승인된 연구계획서
3. 신청자 소속 증빙 서류 (재직증명서, 재학증명서, 근로계약서 등 택1)
4. 안심존 이용 신청서 [다운로드]
5. 보안서약서 [다운로드]
※ 상기 신청서 및 첨부 서류를 완비한 후 신청을 진행하셔야 정상적으로 절차가 이루어집니다. -
신청 및 이용관련 문의는 [email protected] 또는 02-525-7708, 7709로 문의
데이터셋 다운로드 승인이 완료 된 후 API 다운로드 서비스를 이용하실 수 있습니다.
API 다운로드 파일은 분할 압축되어 다운로드 됩니다. 분할 압축 해제를 위해서는 분할 압축 파일들의 병합이 필요하며 리눅스 명령어 사용이 필요합니다.
리눅스 OS 계열에서 다운로드 받으시길 권장하며 윈도우에서 파일 다운로드 시 wsl(리눅스용 윈도우 하위 시스템) 설치가 필요합니다.
※ 파일 병합 리눅스 명령어
find "폴더경로" -name "파일명.zip.part*" -print0 | sort -zt'.' -k2V | xargs -0 cat > "파일명.zip"
- 해당 명령어 실행 시, 실행 경로 위치에 병합 압축 파일이 생성됩니다.
- 병합된 파일 용량이 0일 경우, 제대로 병합이 되지 않은 상태이니 "폴더경로"가 제대로 입력되었는지 확인 부탁드립니다.
※ 데이터셋 소개 페이지에서 다운로드 버튼 클릭하여 승인이 필요합니다.