AI-Hub

데이터 변경이력

데이터 히스토리

소개

인간의 행동을 가장 작은 단위의 동작으로 쪼개어, 그 쪼개진 단위마다 알맞은 자연어 캡션을 붙여 행동을 추론하기 위한 데이터 수집

구축목적

본 세부과제에서는 실세계 미디어 영상으로부터 장면 설명문(annotation)을 자동으로 생성하기 위한 인공지능 모델의 학습용 영상 데이터를 구축하고자 함

1. 데이터구축 수량
 영상 : 97,382개, 이미지 : 314,489장

2. 데이터 분포

저작도구 설명서 및 저작도구 다운로드

AI 모델 상세 설명서 다운로드

ㅇ 학습모델
  DVC(Dense-Video-Captioning) 분야는 영상에 대한 캡션을 생성하는 Video-Captioning 분야보다 고도화된 분야로, 비디오 내의 행동들에 대한 시간적 위치 및 캡션을 생성한다.

ㅇ 데이터 셋 분할

                                          <데이터 사용 단계>

                                              <모델 학습 예시>

ㅇ 활용서비스
  컴퓨터 비전 영역
  ① 장면 설명문 생성
   - 영상 내 장면 설명문 생성 분야는 컴퓨터 비전 연구의 주요 분야 중 하나이며 국내에서도 다수의 연구실에서 높은 성과를 거두고 있음
   - 관련 연구실에서는 제안하는 데이터 셋을 활용하여 더욱 풍부한 실험을 통해 경쟁력 확보
  ② 영상 장면 예측
   - 영상을 구성하는 장면들의 일반적인 흐름과 구조을 학습하여 앞으로 나올법한 장면을 예측하는 연구 가능
  ③ 영상 내용 구성 이해
   - 장면 설명문을 기반으로 영상 내에서 발생하는 다양한 사건들에 대한 통계적인 분석을 통해 영상의 일반적인 구성에 대해 파악하는 연구 가능
  ④ 영상 장면 전환 경계 탐색 데이터와 연계
   - 장면 설명문 생성 분야를 기반으로, 장면 전환 경계 탐색 데이터를 학습한 인공지능을 활용하여 장면 설명문을 위한 장면을 효율적으로 탐색할 수 있도록 하여 전체 인공지능의 성능을 향상시키고자 하는 연구 가능
  미디어 콘텐츠 영역
  ① 영상 검색 서비스
   - 설명문을 메타 데이터로서 활용하여 사용자가 원하는 영상을 효율적으로 검색 하는 인공지능을 활용한 영상 검색 서비스 제공
  ② 영상 추천 서비스
   - 설명문을 메타 데이터로서 활용하여 사용자가 선호할만한 장면이 포함된 영상들을 추천하는 인공지능을 활용한 추천 서비스 제공
  ③ 요약문 문구 생성 서비스
   - 학습된 장면 설명문 생성 인공지능을 기반으로, 장면 간 중요도를 파악하고 중요도가 높은 장면의 설명문을 종합하여 긴 영상 전체를 효과적으로 설명하는 요약문 생성 서비스 제공
  ④ 영상 자막 보완 서비스
   - 설명문 생성 인공지능을 기반으로 장면에 대한 설명을 제공하여 자막 제작자의 장면에 대한 이해를 돕는 서비스 제공
  ⑤ 영상 자막 생성 서비스
   - 설명문 생성 인공지능에 자연어 처리 인공지능을 접목하여 자동으로 장면에 대한 상황과 대사 등에 대한 자막을 생성하는 서비스 제공

데이터 성능 점수

설명서 및 활용가이드 다운로드

1. 데이터 설명

2. Json 형식
▼video info {21}
    video_name: D3_AN_0531_000002.mp4
    width: 1920
    height: 1080
    frame_rate: 30
    duration: 60.0
    total_frame: 1800.0
    film_method: filmed_directly
    filmed_date: 2022-05-31
    domain_id: AN
    place: outdoor
    f1_consis: 1
    f1_consis_avg: 1,
    annotated_date: 2022-08-22
    version: 1
    revision_history: N/A
    ▼seg_annotator_id [5]
        334,
        ...
    ▼seg_confirmer_id: [5]
        608,
        ...
    distributor: selectstar
    describe_ko: 영상 전체 포괄 설명문 (한글)
    describe_en: 영상 전체 포괄 설명문 (영어)
    ▼sentences: {3}
            timestamps:
                00:00.00000,
                00:16.00000
            sentences_ko: 구간별 행동 설명문 (한글)
            sentences_en: 구간별 행동 설명문 (영어)

3. 어노테이션 포맷

4. Json 실제 예시
 {
    "video_name": "D3_AN_0531_000002.mp4",
    "width": 1920,
    "height": 1080,
    "frame_rate": 30,
    "duration": 60.0,
    "total_frame": 1800.0,
    "film_method": "filmed_directly",
    "filmed_date": "2022-05-31",
    "domain_id": "AN",
    "place": "outdoor",
    "f1_consis": [
        1
    ],
    "f1_consis_avg": 1,
    "annotated_date": "2022-08-22",
    "version": 1,
    "revision_history": "N/A",
    "seg_annotator_id": [
        334,
        433,
        323,
        895,
        727
    ],
    "seg_confirmer_id": [
        608,
        346,
        493,
        352,
        529
    ],
    "distributor": "selectstar",
    "describe_ko": "여자가 먹이를 먹는 당나귀를 찍는다.",
    "describe_en": "A woman photographs a donkey eating food.",
    "sentences": [
        {
            "timestamps": [
                "00:00.00000",
                "00:16.00000"
            ],
            "sentences_ko": "여자가 스마트폰으로 사진을 찍는다.",
            "sentences_en": "A woman takes a picture with a mobile phone."
        }

데이터셋 구축 담당자

수행기관(주관) : 스파크엑스

수행기관(참여)

데이터 관련 문의처