AI-Hub

데이터 변경이력

데이터 히스토리

소개

2D 인체 영상으로 3D 자세와 형태를 추정하는 AI 개발을 위한 Multi-person 2D-3D 사람동작 영상 데이터

구축목적

2명 이상의 사람이 상호작용하는 2D 영상에서 사람의 3D 자세와 3D 형태를 추론하여 응용 애플리케이션을 연구/개발하기위한 2D-3D 인체 동작 영상 인공지능 학습용 데이터 셋을 구축

구축 내용 및 제공 데이터량

• 데이터 구성

  데이터 구성 표

  데이터 종류	2D 영상	3D 모델	3D 인체 자세	3D 인체 표면 폴리곤 세그먼테이션
  예시
  데이터 구성	2명 이상의 사람이 포함된 Full-HD 영상, 카메라 파라미터	100K 이상 Polygon	27개 관절 위치	24개 세그먼테이션 클래스
  데이터 포맷	jpg 파일 포맷	obj 파일 포맷	json 파일 포맷	json 파일 포맷

  데이터 구성 표1

  데이터 종류		데이터 규모
  2D 영상	일반 2D 영상	198만 개	200만 개
  	고품질 2D 영상	2만 개
  3D 모델	일반 3D 모델	39만 5000개	40만 개
  	고품질 3D 모델	5,000개
  Labeling 데이터	3D 인체 자세	40만 개
  	3D 인체 표면 폴리곤 세그먼테이션	40만 개

• 데이터 설계
  ① Subject (촬영 모델) 다양성

  데이터 설계 subject표

  구분		수량	비율
  성별 분포	남성	116	48%
  	여성	124	52%
  소 계		240	100%
  연령 분포	~10대	28	12%
  	20대	61	25%
  	30대	64	27%
  	40대	37	15%
  	50대	28	12%
  	60대~	22	9%
  소 계		240	100%

         ② 동작 다양성: 기본 동작, 응용 동작, 도전적 동작 등 크게 3가지 분류에 대해 총 166개 동작에 대해 데이터 수집

저작도구 설명서 및 저작도구 다운로드

AI 모델 상세 설명서 다운로드

데이터 성능 점수

설명서 및 활용가이드 다운로드

데이터 변경이력

구축 목적

• 2명 이상의 사람이 상호작용하는 2D 영상에서 사람의 3D 자세와 3D 형태를 추론하여 응용 애플리케이션을 연구/개발하기위한 2D-3D 인체 동작 영상 인공지능 학습용 데이터 셋을 구축

활용 분야

• 커머스, 스포츠, VR·AR·MR 등 실감 미디어 서비스에 대한 응용 애플리케이션 개발, 사람동작 영상에 대한 분석 및 활용 연구

소개

• 한국인 체형에 맞는 데이터를 위해 연령별/성별 다양성을 갖춘 2인 이상 다인의 사람이 다양한 동작을 하는 영상을 직접 촬영하여 데이터를 수집, 활용성을 높이기 위해 3D 모델을 정제, 3D 자세 추론을 위한 2D&3D 키포인트와 3D 형태 추론을 위한 3D 폴리곤 세그먼테이션 자료를 가공하고, 이에 대한 검수를 실시하여 사람 동작 영상 (3D, Multi-person)에 대한 데이터 셋 구축. 데이터 셋의 활용을 위해 설계된 프로토타입 AI 모델과 3D 자세 추정 시범 서비스 공개
   

구축 내용 및 제공 데이터량

• 데이터 구성

  데이터 구성 표

  데이터 종류	2D 영상	3D 모델	3D 인체 자세	3D 인체 표면 폴리곤 세그먼테이션
  예시
  데이터 구성	2명 이상의 사람이 포함된 Full-HD 영상, 카메라 파라미터	100K 이상 Polygon	27개 관절 위치	24개 세그먼테이션 클래스
  데이터 포맷	jpg 파일 포맷	obj 파일 포맷	json 파일 포맷	json 파일 포맷

  데이터 구성 표1

  데이터 종류		데이터 규모
  2D 영상	일반 2D 영상	198만 개	200만 개
  	고품질 2D 영상	2만 개
  3D 모델	일반 3D 모델	39만 5000개	40만 개
  	고품질 3D 모델	5,000개
  Labeling 데이터	3D 인체 자세	40만 개
  	3D 인체 표면 폴리곤 세그먼테이션	40만 개

• 데이터 설계
  ① Subject (촬영 모델) 다양성

  데이터 설계 subject표

  구분		수량	비율
  성별 분포	남성	116	48%
  	여성	124	52%
  소 계		240	100%
  연령 분포	~10대	28	12%
  	20대	61	25%
  	30대	64	27%
  	40대	37	15%
  	50대	28	12%
  	60대~	22	9%
  소 계		240	100%

         ② 동작 다양성: 기본 동작, 응용 동작, 도전적 동작 등 크게 3가지 분류에 대해 총 166개 동작에 대해 데이터 수집

대표도면

• 데이터 수집/정제
  ① 2D 영상
   

② 3D 모델
 

• 데이터 가공
  ① 2D&3D 키포인트

② 3D 폴리곤 세그먼테이션
 

필요성

• 사람 동작 관련 3D 데이터 셋의 수집 및 가공은 인공지능 기술을 활용한 연구와 애플리케이션 개발이 세계적으로 가장 활발하게 진행되고 있는 분야 중 하나임
• 외국에서 만들어진 데이터 셋은 외국인을 모델로 하여 한국인의 체형과 환경에 맞지 않는 문제점이 발생함
• 한국인의 다양한 신체 체형이 반영된 2D-3D 데이터 셋을 직접 촬영을 통해 수집, 정제, 가공 및 검수를 통해 구축하여 인공지능 관련 연구/개발 산, 학, 연 생태계 활성화

데이터 구조

• 1. 데이터 구성

   

  데이터 구성 표2

  항 목	세 부 항 목	값 형태	설 명
  categories	type	String	95번 사람동작영상 데이터 : "Person"
  	type_id	Number	"Lip" : 0, "Hand" : 1, "Person" : 2, "Dance" : 3
  	skeleton	Number	2개의 관절 번호 매핑을 통해 관절 간 연결 정보 표현
  	keypoints	String	관절 번호에 따라 각 관절 명 할당
  	segments	String	신체 영역 번호에 따라 각 신체 영역 명 할당
  annotations	id	Number	각 annotations 마다 고유의 ID 할당
  	image_id	Number	해당 annotations와 매칭되는 이미지의 고유 번호
  	video_id	Number	해당 annotations와 매칭되는 비디오의 고유 번호
  	actor_id	Number	해당 annotations와 매칭되는 배우의 고유 번호
  	type_id	Number	해당 annotations와 매칭되는 데이터 종류 번호
  	bbox	Number	바운딩 박스 영역의 Left-Top 위치 및 가로, 세로 크기
  	area	Number	바운딩 박스 영역 크기
  	num_keypoints	Number	해당 영상에서 마킹된 관절 수
  	keypoints	Number	관절 번호 순서대로 (x, y, visible)값으로 위치를 표현한다. visible은 0,1,2를 가질 수 있으며, 0은 마킹되지 않은 관절을 의미하고 1은 마킹은 되었으나 보이지 않은 관절, 2는 마킹되고 보이는 관절을 의미한다.
  	keypoints3d	Number	관절 번호 순서대로 (x, y, z, yaw, pitch, roll)값으로 위치를 표현한다.
  images	id	Number	각 이미지마다 고유의 ID 할당
  	height	Number	해당 영상의 세로 길이
  	width	Number	해당 영상의 가로 길이
  	frame_index	Number	해당 영상의 프레임 인덱스
  	file_name	String	해당 영상의 파일 이름
  	license	Number	해당 영상의 라이센스 정보 인덱스
  mesh	id	Number	각 Mesh마다 고유의 ID 할당
  	obj_file_name	String	OBJ 파일 이름
  	image_list	Number	해당 Mesh와 매칭되는 이미지 리스트
  	actor_id	Number	해당 Mesh의 배우 ID
  actors	id	Number	각 배우마다 고유의 ID 할당
  	sex	String	male : 남성 female : 여성
  	age	Number	배우의 나이
  	height	Number	배우의 키 (cm단위)
  video	id	Number	각 비디오마다 고유의 ID 할당
  	frame_rate	Number	해당 비디오의 프레임 레이트
  	width	Number	해당 비디오 영상의 가로 길이
  	height	Number	해당 비디오 영상의 세로 길이
  	camera_id	Number	해당 비디오와 매칭되는 카메라 ID
  	parameters		카메라 파라미터 정보
  	┗ intrinsic	Number	내부 파라미터로 Focal length, Principal point, Radial Distortion, Tangential Distortion 계수등을 표현한다.
  	┗ extrinsic	Number	외부 파라미터로 Rotation, Translation 계수를 표현한다.
  	file_name	String	해당 비디오 파일의 이름
  	date_captured	String	해당 비디오 파일이 캡쳐된 날짜
  licenses	id	Number	각 라이센스 정보마다 고유의 ID 할당
  	name	String	라이센스 이름
  	url	String	라이센스 참조 url 정보
  info	version	Number	학습 데이터 버전
  	description	String	학습 데이터 이름
  	year	String	학습 데이터 수집 연도
  	contributer	String	학습 데이터 제공자
  	url	String	학습 데이터 참조 URL
  	date_created	String	학습 데이터 생성 날짜

• 2. 어노테이션 파일 구조

   

  어노테이션 포맷 표

  데이터 구성 형태			파일명 규칙
  경로(폴더명)	포맷	종류
  라벨링 데이터
  ├Annotations		라벨링 데이터	JSON 파일 (action_id)_(actor_id)_(camera_pov)_(camera_type)_ (frame_start)_(frame_end)_(frame_idx).json     ex) 0001_M295M296_B_B_00558_01038_0000005.json     · action_id = 동작별 고유 ID 값     · actor_id = 모델 고유 ID 값     · camera_pov = 카메라 시점(F:Front, B:Back, L:Left, R: Right)     · camera_type = A: 3개 시점, B: 4개 시점     · frame_start/End = 영상 시작 프레임, 끝 프레임     · frame_idx = 추출 이미지 프레임 번호 PLY 파일 (action_id)_(actor_id)_(image_id).ply ex) 016_M267_205864934.ply
  ├Action[1]
  ├Camera[1]	JSON
  ├Camera[...]	JSON
  ├Camera[4]	JSON
  └Segmentation	PLY
  ├Action[...]	"
  └Action[134]	"
  원천 데이터
  ├Images			JPG 파일 (action_id)_(actor_id)_(camera_pov)_(camera_type)_ (frame_start)_(frame_end)_(frame_idx).jpg     ex) 0001_M295M296_B_B_00558_01038_0000005.jpg     · action_id = 동작별 고유 ID 값     · actor_id = 모델 고유 ID 값     · camera_pov = 카메라 시점(F: Front, B: Back, L: Left, R: Right)     · camera_type = A: 3개 시점, B: 4개 시점     · frame_start/End = 영상 시작 프레임, 끝 프레임     · frame_idx = 추출 이미지 프레임 번호
  ├Action[1]
  ├Camera[1]	JPG
  ├Camera[...]	JPG
  ├Camera[4]	JPG
  ├Action[...]	"
  └Action[134]	"
  └Mesh			OBJ 파일 (action_id)_(actor_id)_(image_id).obj   ex) 001_M255_0135465.obj 텍스처 파일 (action_id)_(actor_id)_(image_id).jpg   ex) 001_M255_0135465.jpg
  ├Action[1]	OBJ, JPG
  ├Action[...]	"
  └Action[134]	"

데이터셋 구축 담당자

수행기관(주관) : KT

수행기관(참여)

데이터 관련 문의처