시각 상식 기반 추론 데이터
- 분야영상이미지
- 유형 텍스트 , 이미지
-
데이터 변경이력
데이터 변경이력 버전 일자 변경내용 비고 1.1 2023-12-06 데이터 최종 개방 1.0 2023-07-27 데이터 개방(Beta Version) 데이터 히스토리
데이터 히스토리 일자 변경내용 비고 2023-12-15 산출물 전체 공개 소개
시각 정보에 대한 이해를 위해 이미지의 유사성 이외에도 논리적 관계, 즉 성질의 유사성, 시각적 상식, 카테고리 등의 관계를 추론할 수 있는 인공지능 모델을 개발하기 위한 대규모 시각 추론 학습 데이터
구축목적
기존의 특정 레이블에 대한 이미지 데이터에서 벗어나 객체의 다양한 속성별로 군집화된 시각 추론 학습 데이터를 구축하여, 새로운 환경에 대한 적응을 위한 기술 등 다양한 방면에 활용을 목적으로 하는 데이터셋
-
메타데이터 구조표 데이터 영역 영상이미지 데이터 유형 텍스트 , 이미지 데이터 형식 jpeg, jpg 데이터 출처 게티이미지뱅크, 직접수집 라벨링 유형 분류(이미지) 라벨링 형식 json 데이터 활용 서비스 자율주행 환경 및 행동 판단, 객체 속성 및 이벤트 기반 검색, 인지능력 훈련 및 평가 등 데이터 구축년도/
데이터 구축량2022년/60,000 -
□ 데이터 구축 규모
데이터 구축 규모 과제번호 과제명 항목 수량 데이터 형식 1-002-006 시각상식 기반 추론 데이터 이미지 데이터 240,000건 jpeg, jpg 라벨링 데이터 60,000건 json □ 데이터 카테고리 분포
데이터 카테고리 분포 카테고리 구성비 대칭성 10% 반사 10% 빈칸 채우기 10% 아웃포커싱 10% 연속성 10% 왜곡 10% 인포커싱 10% 입체성 10% 축소 10% 확대 10% □ 데이터 문제 유형 분포
데이터 문제 유형 분포 문제유형 구성비 선택형 100% -
-
AI 모델 상세 설명서 다운로드
AI 모델 상세 설명서 다운로드 AI 모델 다운로드□ 시각상식 기반 추론 데이터 모델
● 모델 개요
- Vit는 transformer구조를 사용하고 Image들을 patch단위로 토큰화 시켜서 Linearly embedding하고 Positional embedding을 하여 인풋으로 넣어 줘서 학습하는 모델
- 기존 ResNet이나 다른 CNN 모델들 대비 성능이 뛰어남
- VIT모델은 모델 자체에서 이미 이미지의 특성이나 카테고리를 충분히 뽑아낼 수 있어서 VQA 같은 언어적인 요소를 뽑아주지 않아도 충분히 그 특성을 학습 할 수있는 모델
- 이 과제는 이미지를 잘 임배딩하는 과정과 임배딩된 이미지를 positive pair과 negative pair로 잘 학습하는 두가지 과정이 필요하다. 임배딩에서는 Vision Transformer을 선정
- 최종 선택하게 된 ViT_trans는 ViT 기반 두 가지 모듈로 이루어짐
- 첫 번째 모듈은 각 이미지의 intra-spatial information을 포착할 수 있는 intra-spatial transformer encoder와 이미지간의 inter-spatial information을 포착할 수 있는 intra-spatil information transformer encoder로 구성
- 위와 같은 구조를 통해 각 이미지의 정보 뿐만아니라 이미지간의 정보를 활용하여 시각추론문제를 풀 수 있음
- ViT_trans이외에도 3D CNN등을 활용한 다른 모델 후보들이 있었지만 실험결과 ViT_trans가 가장 높은 정확도였음
- 또한 다른 모델들과 달리 inter, intra information을 동시에 활용할 수 있는 ViT_trans가 이미지간의 복잡한 추론을 필요로하는 시각추론 데이터 구축 목적에 적합하다고 판단하여 최종모델로 선정● 모델 개발내용
- ViT를 사용하여 각 이미지의 reprentation을 얻은 후transformer encoder를 통해classification 수행
- ViT_CE와 다른 점은 MLP가transformer encoder로 대체
- 4장의 이미지를 동일한 ViT에 입력 후 [class]토큰의 출력을 256차원의 임베딩 벡터로 사용
- 출력된 4개의 임베딩 벡터를 concat하여 Transformer Encoder를 통하여 3차원의 벡터로 출력
- 이후 softmaxlayer를 통하여classification을 수행 -
데이터 성능 점수
측정값 (%)기준값 (%)데이터 성능 지표
데이터 성능 지표 번호 측정항목 AI TASK 학습모델 지표명 기준값 점수 측정값 점수 1 시각상식 기반 이미지 분류 성능 Image Classification ViT_trans F1-Score 0.5 점 0.9605 점
※ 데이터 성능 지표가 여러 개일 경우 각 항목을 클릭하면 해당 지표의 값이 그래프에 표기됩니다.
※ AI모델 평가 지표에 따라 측정값의 범위, 판단 기준이 달라질 수 있습니다. (ex. 오류율의 경우, 낮을수록 좋은 성능을 내는 것으로 평가됩니다)
-
설명서 및 활용가이드 다운로드
데이터 설명서 다운로드 구축활용가이드 다운로드□ 데이터 설명
● 시각상식 기반 추론 데이터는 다른 부가정보 없이 상식에 기반한 시각적 효과를 추론하는 문제 형태의 데이터이다.
□ 라벨링 데이터 구성
● 라벨링 데이터라벨링 데이터 구성 c 속성명 타입 필수여부 설명 범위 비고 1 info Object 데이터셋정보 1-1 dataset_name string Y 데이터셋명 1-2 doc_id string Y 획득 SEQ# 6자리 숫자 1-3 year string Y 출제년도 yyyy 1-4 difficulty number Y 난이도(문제별) [1~3] 1:hard 2:normal 3:easy 1-5 correct_rate string Y 응시자 정답률 [0.30~1.00] 1-6 category string Y 카테고리 1-7 type number Y 문제유형 [1~5] 1:이진-긍/부정 2:이진-긍정 3:선택-긍/부정 4:선택-긍정 5.선택형 1-8 answer_type string Y 정답표현방식 [Multiple_choice, OX_Quiz] 1-9 Is_corrcet boolean N O/X문제의 답변 [True, False,null] 1-10 corrcet_answer_group_ID number N 딥변 이미지 그룹 ID [0~4] 1~2개 선택 가능 1-11 corrcet_question_group_ID number N 문제 이미지 긍정 그룹 ID 문제 이미지 그룹이 2개 이상일 경우 해당(유사성기반-선택 긍/부정 유형) 2 Questions array 문제 정보 최대 2개 그룹 2-1 group_id string Y 문제 이미지 그룹 ID 6자리 숫자 2-2 image array Y 2-2-1 id string Y 이미지 ID SEQ# 2-2-2 image_url string Y 이미지 url dc9d7851c8884b21ae43679e7592e6e8.jpg 3 Answers array Y 답변 정보 3-1 group_id string Y 답변 이미지 그룹 ID [1~5] 3-2 image array Y 3-2-1 id string Y 이미지 ID SEQ# 3-2-2 image_url string Y 이미지 url dc9d7851c8884b21ae43679e7592e6e8.jpg □ 데이터 실제 예시
● 원천 데이터
● 라벨 데이터
-
데이터셋 구축 담당자
수행기관(주관) : ㈜유클리드소프트
수행기관(주관) 책임자명 전화번호 대표이메일 담당업무 박주한 042-488-6589 [email protected] 데이터 설계, 가공, 검수 수행기관(참여)
수행기관(참여) 기관명 담당업무 ㈜써로마인드 데이터 설계, 모델링 ㈜엠에이치소프트 데이터 수집, 가공, 검수 ㈜심스리얼리티 데이터 수집, 가공, 검수 ㈜어반데이터랩 데이터 수집 데이터 관련 문의처
데이터 관련 문의처 담당자명 전화번호 이메일 박주한 042-488-6589 [email protected]
-
인터넷과 물리적으로 분리된 온라인·오프라인 공간으로 의료 데이터를 포함하여 보안 조치가 요구되는 데이터를 다운로드 없이 접근하고 분석 가능
* 온라인 안심존 : 보안이 보장된 온라인 네트워크를 통해 집, 연구실, 사무실 등 어디서나 접속하여 데이터에 접근하고 분석
* 오프라인 안심존 : 추가적인 보안이 필요한 데이터를 대상으로 지정된 물리적 공간에서만 접속하여 데이터에 접근하고 분석 -
- AI 허브 접속
신청자 - 안심존
사용신청신청자신청서류 제출* - 심사구축기관
- 승인구축기관
- 데이터 분석 활용신청자
- 분석모델반출신청자
- AI 허브 접속
-
1. 기관생명윤리위원회(IRB) 심의 결과 통지서 [IRB 알아보기] [공용IRB 심의신청 가이드라인]
2. 기관생명윤리위원회(IRB) 승인된 연구계획서
3. 신청자 소속 증빙 서류 (재직증명서, 재학증명서, 근로계약서 등 택1)
4. 안심존 이용 신청서 [다운로드]
5. 보안서약서 [다운로드]
※ 상기 신청서 및 첨부 서류를 완비한 후 신청을 진행하셔야 정상적으로 절차가 이루어집니다. -
신청 및 이용관련 문의는 [email protected] 또는 02-525-7708, 7709로 문의
데이터셋 다운로드 승인이 완료 된 후 API 다운로드 서비스를 이용하실 수 있습니다.
API 다운로드 파일은 분할 압축되어 다운로드 됩니다. 분할 압축 해제를 위해서는 분할 압축 파일들의 병합이 필요하며 리눅스 명령어 사용이 필요합니다.
리눅스 OS 계열에서 다운로드 받으시길 권장하며 윈도우에서 파일 다운로드 시 wsl(리눅스용 윈도우 하위 시스템) 설치가 필요합니다.
※ 파일 병합 리눅스 명령어
find "폴더경로" -name "파일명.zip.part*" -print0 | sort -zt'.' -k2V | xargs -0 cat > "파일명.zip"
- 해당 명령어 실행 시, 실행 경로 위치에 병합 압축 파일이 생성됩니다.
- 병합된 파일 용량이 0일 경우, 제대로 병합이 되지 않은 상태이니 "폴더경로"가 제대로 입력되었는지 확인 부탁드립니다.
※ 데이터셋 소개 페이지에서 다운로드 버튼 클릭하여 승인이 필요합니다.