-
데이터 변경이력
데이터 변경이력 버전 일자 변경내용 비고 1.1 2024-10-30 데이터 최종 개방 1.0 2024-06-28 데이터 개방 Beta Version 데이터 히스토리
데이터 히스토리 일자 변경내용 비고 2024-06-28 산출물 공개 Beta Version 소개
- 인공지능 학습용 데이터 구축을 위한 ‘시나리오 기반 표정 3D 데이터’의 원천데이터를 획득하여 AI 학습용 데이터로 정제, 가공하여 공개하는 것을 목표로 함
구축목적
- 국내 데이터 모델 부재에 따른 구축 필요 - 데이터 무결성, 다양성, 유효성 등 고품질 인공지능 학습용 데이터 품질 확보 - 관련 산업 촉진 및 일자리 창출
-
메타데이터 구조표 데이터 영역 영상이미지 데이터 유형 3D 데이터 형식 OBJ, MTL, JPG 데이터 출처 직접 촬영 라벨링 유형 Action Unit 라벨링 형식 JSON 데이터 활용 서비스 고품질의 표정 데이터를 활용한 콘텐츠 개발 산업 데이터 구축년도/
데이터 구축량2023년/3D data 127,500세트 -
데이터 분포 및 비율 데이터
종류데이터 형태 원문 규모 어노테이션 결과물 규모 규모 추출 요약 생성 요약 숙련도 3D 데이터 일반인 96.04% 122,451 중첩률
50%- 특수인 3.96 5,049 성별 3D 데이터 남 50% 63,750 중첩률
50%- 여 50% 63,750 연령대 3D 데이터 청소년 10% 12,750 중첩률
50%- 일반
성인70% 89,250 고령자 20% 25,500 감정 3D 데이터 51가지
표정1.96% 127,500 중첩률
50%- 시나리오 라벨링데이터 다양한
시나리오100% 127,500 - - -
-
AI 모델 상세 설명서 다운로드
AI 모델 상세 설명서 다운로드 AI 모델 다운로드- 모델학습
본 모델은 3D 메쉬를 학습시켜 특정 표정을 짓는 3D 메쉬를 생성하는 모델이다. 크게 두 학습 모델인 SAE(Supervised Auto Encoder)와 cGAN을 사용한다. SAE는 두 개의 인코더를 통해 3D 메쉬의 Identity와 Expression 피처를 추출하며 두 피처를 concatenation 하여 디코더에 넣은 다음 원본 3D 메쉬와 유사한 메쉬를 생성하도록 학습한다. 이후 cGAN 학습 수행 시 학습된 두 인코더의 피처를 결합해 cGAN의 입력으로 넣어준다. cGAN 학습을 위해 생성하는 fake 데이터는 랜덤 노이즈 z와 z_id, z_exp로 생성되며 z_id는 고정된 랜덤 값과 z_exp는 one-hot 벡터를 사용해 학습된다.본 3DFaceCAM 모델을 학습시키기 위해 3D 메쉬 총 127,500개를 사용하였다. 해당 3D 메쉬 데이터는 총 2500명의 사람과 사람마다 51가지 표정으로 구성되어 있다. 또한, 아래 아키텍처와 별개로 텍스트 입력을 51개의 표정으로 분류하여 표정을 생성하는 모델을 학습하였다. BERT 모델을 활용하였으며 텍스트 시나리오 별 표정 정보가 담긴 json 127,500장을 데이터셋으로 사용하였다.
- 서비스 활용 시나리오
- 구축한 모델을 통해 특정 표정을 짓는 3D 메쉬를 생성할 수 있음
- 특정 표정 생성 시 텍스트 입력이 가능하여 상황에 맞는 한국인의 자연스러운 표정 생성 가능
- 구축한 모델을 활용하여 버추얼 인플루언서 제작, 얼굴 표정 기반 비대면 상담 서비스, 가상현실, 메타버스 캐릭터 등으로 사용 가능 -
설명서 및 활용가이드 다운로드
데이터 설명서 다운로드 구축활용가이드 다운로드- 데이터 구성
데이터 구성 Key Description Type Child Type filename 파일이름 String gender 성별 String id 모델 고유번호 String proficiency 숙련도 String age 연령대 String expression 표정명 String expressionscenario 표정 설명 String image_caption 이미지 캡션 JsonArray AU 라벨링 AU JsonArray - 어노테이션
어노테이션 구분 속성명 타입 필수
여부설명 1 filename string Y 파일이름 2 gender String Y 성별 3 id String Y 모델 고유번호 4 proficiency String Y 숙련도 5 age String Y 연령대 6 expression String Y 표정명 7 expressionscenario String Y 표정 설명 8 image_caption String Y 이미지 캡션 9 AU String Y 라벨링 AU - 데이터 포맷
데이터 포맷 경로 구분 정보 구분자 정보 1차 경로 데이터 속성 - 3D data
- AU 라벨링2차 경로 모델명 - M0001~M2000
- F0001~F20003차 경로 데이터 구분 안면 데이터
json4차 경로 구축 데이터 *.obj
*.mtl
*.jpg
*.json- 실제 예시
실제 예시 {
"filename": "F0056_A1_03-05_03.json",
"gender": "F",
"id": "0056",
"age": "adult",
"proficiency": "일반인",
"expression": "완전 동의",
"expressionscenario": "회의장에서 사장님은 다른 직원의 말을 다 듣고, 그 직원을 보면서 동의했다는 표정을 짓는다.",
"image_caption": "①회의장에서 ②사장님은 ③다른 직원의 말을 다 듣고, ④그 직원을 보면서 ⑤동의했다는 표정을 짓는다.",
"AU": "AU01, AU20"
}데이터 파라미터 표 구분 속성명 타입 필수
여부설명 범위 비고 1 filename string Y 파일이름 모델명_연령숙련도_
시나리오-카메라번호.
.확장자2 gender string Y 성별 F, M 3 id string Y 모델 고유번호 0001~2000 4 age string Y 연령대 Teenager,
Adult,
Elder5 proficiency string Y 숙련도 일반인, 특수인 6 expression string Y 표정명 하단 표 참조 7 expressionscenario string Y 표정설명 [붙임1] 참조 8 image_
captionstring Y 이미지 캡션 [붙임1] 참조 9 AU string Y AU [붙임2] 참조 -
데이터셋 구축 담당자
수행기관(주관) : ㈜위지윅스튜디오
수행기관(주관) 책임자명 전화번호 대표이메일 담당업무 고태윤 02-749-0507 [email protected] 실무 담당자 수행기관(참여)
수행기관(참여) 기관명 담당업무 ㈜위지윅스튜디오 데이터 정제 및 가공/검수 ㈜에어패스 데이터 수집 ㈜컴아트시스템 데이터 수집 데이터 관련 문의처
데이터 관련 문의처 담당자명 전화번호 이메일 박기주 02-749-0507 [email protected] 고태윤 02-749-0507 [email protected] AI모델 관련 문의처
AI모델 관련 문의처 담당자명 전화번호 이메일 서장원 070-7733-5679 [email protected] 이한얼 070-7733-5679 [email protected] 저작도구 관련 문의처
저작도구 관련 문의처 담당자명 전화번호 이메일 박기주 02-749-0507 [email protected] 고태윤 02-749-0507 [email protected]
-
인터넷과 물리적으로 분리된 온라인·오프라인 공간으로 의료 데이터를 포함하여 보안 조치가 요구되는 데이터를 다운로드 없이 접근하고 분석 가능
* 온라인 안심존 : 보안이 보장된 온라인 네트워크를 통해 집, 연구실, 사무실 등 어디서나 접속하여 데이터에 접근하고 분석
* 오프라인 안심존 : 추가적인 보안이 필요한 데이터를 대상으로 지정된 물리적 공간에서만 접속하여 데이터에 접근하고 분석 -
- AI 허브 접속
신청자 - 안심존
사용신청신청자신청서류 제출* - 심사구축기관
- 승인구축기관
- 데이터 분석 활용신청자
- 분석모델반출신청자
- AI 허브 접속
-
1. 기관생명윤리위원회(IRB) 심의 결과 통지서 [IRB 알아보기] [공용IRB 심의신청 가이드라인]
2. 기관생명윤리위원회(IRB) 승인된 연구계획서
3. 신청자 소속 증빙 서류 (재직증명서, 재학증명서, 근로계약서 등 택1)
4. 안심존 이용 신청서 [다운로드]
5. 보안서약서 [다운로드]
※ 상기 신청서 및 첨부 서류를 완비한 후 신청을 진행하셔야 정상적으로 절차가 이루어집니다. -
신청 및 이용관련 문의는 [email protected] 또는 02-525-7708, 7709로 문의
데이터셋 다운로드 승인이 완료 된 후 API 다운로드 서비스를 이용하실 수 있습니다.
API 다운로드 파일은 분할 압축되어 다운로드 됩니다. 분할 압축 해제를 위해서는 분할 압축 파일들의 병합이 필요하며 리눅스 명령어 사용이 필요합니다.
리눅스 OS 계열에서 다운로드 받으시길 권장하며 윈도우에서 파일 다운로드 시 wsl(리눅스용 윈도우 하위 시스템) 설치가 필요합니다.
※ 파일 병합 리눅스 명령어
find "폴더경로" -name "파일명.zip.part*" -print0 | sort -zt'.' -k2V | xargs -0 cat > "파일명.zip"
- 해당 명령어 실행 시, 실행 경로 위치에 병합 압축 파일이 생성됩니다.
- 병합된 파일 용량이 0일 경우, 제대로 병합이 되지 않은 상태이니 "폴더경로"가 제대로 입력되었는지 확인 부탁드립니다.
※ 데이터셋 소개 페이지에서 다운로드 버튼 클릭하여 승인이 필요합니다.