AI-Hub

데이터 변경이력

데이터 히스토리

소개

K-POP 댄스의 2D pose를 추정하는 AI 개발을 위한 안무 영상 데이터

구축목적

댄스 모션캡쳐 스튜디오 촬영을 통해 데이터를 구축하고 사람 자세 분석 및 다양한 응용서비스 적용 목적으로 훈련하기 위한 데이터셋

구축 내용 및 제공 데이터량

•  KPOP 100곡, 기본안무10곡, 40만개 클립 영상 구축
• 2D 관절 40만건, 바운딩박스 40만건, 3D 관절 데이터 10만건, 가공 및 어노테이션 수행
• 구축된 데이터셋을 이용 2D 모션추론 시범학습모델 훈련

저작도구 설명서 및 저작도구 다운로드

AI 모델 상세 설명서 다운로드

데이터 성능 점수

설명서 및 활용가이드 다운로드

데이터 변경이력

구축 목적

• 댄스 모션캡쳐 스튜디오 촬영을 통해 데이터를 구축하고 사람 자세 분석 및 다양한 응용서비스 적용 목적으로 훈련하기 위한 데이터셋

활용 분야

• 사람자세 분석, 홈피트니스, 교육, 실감미디어, 재활, 응용서비스 개발

소개

• 엄선된 KPOP 100곡 안무를 대상으로 모션켭처 스튜디오 촬영 및 정제 과정을 통한 원천데이터 생성 및 검증한 댄스모션 AI 데이터셋으로, 기존 댄스 데이터셋에 부족한 KPOP 장르의 다양성을 추구하며, 모션데이터 재사용에 제한이 없도록 초상권, 저작권 문제를 해결한 원천 데이터를 확보함
   

구축 내용 및 제공 데이터량

•  KPOP 100곡, 기본안무10곡, 40만개 클립 영상 구축
• 2D 관절 40만건, 바운딩박스 40만건, 3D 관절 데이터 10만건, 가공 및 어노테이션 수행
• 구축된 데이터셋을 이용 2D 모션추론 시범학습모델 훈련

대표도면

• 전문댄서 및 일반인 댄서가 모션캡쳐 스튜디오에서 선정된 KPOP 100곡 안무촬영 수행, 댄스모션 Raw 데이터는 엔지니어 정제작업을 통해 노이즈값의 제거 및 보정작업 거쳐 어노테이션 가공툴에 전달. 이후 어노테이션 툴을 이용 라벨링 작업을 통해 최종 데이터가 생성되며, 2D 포즈추론(Pose Estimation) 학습모델과 같은 학습모델 훈련에 사용이 가능함.

필요성

• 댄스 AI 학습데이터의 경우 음원저작권, 안무저작권 등의 권리이슈가 존재함
• 기존의 댄스 AI 학습데이터는 상위장르에 대한 분류목적이 대부분이며 역동적인 KPOP 의 동작분석용 데이터로는 부족한 실정
• 이에 KPOP 의 글로벌인기 와 다양한 연구 및 응용서비스 개발기회를 제공하여 새로운 가치를 창출할 수 있는 검증된 AI 댄스 학습용 데이터를 구축하고자 함

데이터 구조

• 1. 데이터 구성

데이터 구조

데이터 항목	예시	가공 데이터 항목	JSON 예시
이미지 (JPG)		2D 관절 위치, 바운딩 박스, 기본안무 분류, 댄서 정보, 카메라 파라미터	"annotations": [ { "id": 202758, "image_id": 391895, "video_id": 2, "frame_index": 300, "actor_id": 4, "type_id": 3, "bbox": [0,34,639,388], "num_keypoints": 29, "keypoints": [ 368, 61, 1, 369, 52, 2, 369, 55, 1, 382, 48, 2, 350, 80, 1, 368, 84, 2, 435, 81, 2, 362, 125, 2, ...... ...... 397, 167, 1, 439, 166, 1, 369, 193, 2, 461, 234, 2, 361, 246, 2, 474, 287, 2, 371, 266, 2, 484, 277, 2 ], " "video_tagging": 600, "action_class": [2,9,15,17], "dance_mainpoint": 0 }], "parameters": { "intrinsic": [ 2181.82, 2181.82, 960 , 540, -0.041196, -0.203893, 0.006114, 0.002318 ], "extrinsic": [ 0.608523, -2.179462, 1.717242, -17.28593, 76.411348, 647.878251 ] }
3D 관절		3D 관절 위치	keypoints3d": [ 0.5534486771, 27.7478809357, -43.8045387268, -2.7849121094, 57.2987289429, -9.5731782913, -2.7849121094, 57.2987289429, -9.5731782913, 22.6912708282, 95.0704269409, ...... ..... 14.9546899796, 171.5252990723, -15.2456703186, -18.0148296356, 90.562286377, -10.705499649, -14.0610399246, 114.0876998901, -21.383890152, -6.527381897, 139.8860015869, -25.5282497406, -14.0610399246, 114.0876998901, -21.383890152, -6.527381897, 139.8860015869, -25.5282497406 ],

• 2. 어노테이션 포맷
   

  데이터 구성 표2

  항 목	세 부 항 목	값 형태	설 명
  categories	type	String	"Lip", "Hand", "Person", "Dance"중 1개의 데이터 종류 선택
  	type_id	Number	"Lip" : 0, "Hand" : 1, "Person" : 2, "Dance" : 3
  	skeleton	List, Number	2개의 관절 번호 매핑을 통해 관절 간 연결 정보 표현
  	keypoints	List, String	관절 번호에 따라 각 관절 명 할당
  annotations	id	Number	각 annotations 마다 고유의 ID 할당
  	image_id	Number	해당 annotations와 매칭되는 이미지의 고유 번호
  	video_id	Number	해당 annotations와 매칭되는 비디오의 고유 번호
  	frame_index	Number	해당 클립의 이미지 프레임 순서
  	actor_id	Number	해당곡 할당된 댄서 아이디
  	type_id	List, Number	"Lip" : 0, "Hand" : 1, "Person" : 2, "Dance" : 3
  	bbox	List, Number	바운딩 박스 영역의 Left-Top 위치 및 가로, 세로 크기
  	num_keypoints	Number	해당 영상에서 마킹된 관절 수
  	keypoints	List, Number	관절 번호 순서대로 (x, y, visible)값으로 위치를 표현한다. visible은 0,1,2를 가질 수 있으며, 0은 마킹되지 않은 관절을 의미하고 1은 마킹은 되었으나 보이지 않은 관절, 2는 마킹되고 보이는 관절
  	keypoints3d	List, Number	관절 번호 순서대로 (x, y, z)값으로 위치를 표현한다.
  	video_tagging	Number	노래별 배경음원 기준 오프셋 정보
  	action_class	List, Number	KPOP 100곡 구간별 동작구분표 참조 기본안무 분류
  	dance_mainpoint	Number	노래별 키안무 구간여부 표시
  images	id	Number	각 이미지마다 고유의 ID 할당
  	height	Number	해당 영상의 세로 길이
  	width	Number	해당 영상의 가로 길이
  	frame_index	Number	해당 영상의 프레임 인덱스
  	file_name	String	해당 영상의 파일 이름
  	license	Number	해당 영상의 라이센스 정보 인덱스
  actors	id	String	각 배우마다 고유의 ID 할당
  	sex	String	male : 남성, female : 여성
  	age	Number	배우의 나이
  	height	Number	배우의 키 (cm단위)
  video	id	Number	각 비디오마다 고유의 ID 할당
  	frame_rate	Number	해당 비디오의 프레임 레이트
  	width	Number	해당 비디오 영상의 가로 길이
  	height	Number	해당 비디오 영상의 세로 길이
  	camera_id	Number	해당 비디오와 매칭되는 카메라 ID
  	parameters		카메라 파라미터 정보
  	┗ intrinsic	List, Number	내부 파라미터로 Focal length, Principal point, Radial Distortion, Tangential Distortion 계수등을 표현한다.
  	┗ extrinsic	List, Number	외부 파라미터로 Rotation, Translation 계수를 표현한다.
  	file_name	String	해당 비디오 파일의 이름
  	date_captured	String	해당 비디오 파일이 캡쳐된 날짜
  licenses	id	Number	각 라이센스 정보마다 고유의 ID 할당
  	name	String	라이센스 이름
  	url	String	라이센스 참조 url 정보
  info	version	Number	학습 데이터 버전
  	description	String	학습 데이터 이름
  	contributer	String	학습 데이터 제공자
  	url	String	학습 데이터 참조 URL
  	date_created	String	학습 데이터 생성 날짜

데이터셋 구축 담당자

수행기관(주관) : KT

수행기관(참여)

데이터 관련 문의처