-
데이터 변경이력
데이터 변경이력 버전 일자 변경내용 비고 1.2 2021-10-28 데이터 품질 보완 1.1 2021-08-09 데이터 추가 개방 1.0 2021-06-18 데이터 최초 개방 데이터 히스토리
데이터 히스토리 일자 변경내용 비고 2022-10-12 신규 샘플데이터 개방 소개
공공 행정 문서에 특화된 문자 인식 AI 모델을 개발하기 위한 공공 행정 문서 이미지 데이터
구축목적
공공행정문서는 생성시점이 오래되어 스캔, 촬영 화질이 좋지 않으며 다양한 문자형태(수가, 인쇄체, 타자체 등)를 포함하고 있어 공공행정문서에 특화된 OCR 모델 개발을 위한 데이터셋 구축
-
메타데이터 구조표 데이터 영역 한국어 데이터 유형 이미지 데이터 형식 데이터 출처 라벨링 유형 라벨링 형식 데이터 활용 서비스 데이터 구축년도/
데이터 구축량2020년/90만 -
구축 내용 및 제공 데이터량
- 데이터 제공기관
- 경상남도 김해시 - 공공행정문서 주요 내용
- 지방자치단체 고유업무 전반에 걸쳐 생산된 공공행정문서 - 데이터셋 수량
- 이미지 : 900,000장
- 단어수 : 25,000,000단어 클래스별 구축 현황(구축 이미지 기준)
공공행정문서의 생산과 보존기간에 따른 행정문서 보존 수량에 따라 데이터 획득 클래스 구분 내용 구축수량 농림. 축산지원 농림, 축산 업무 지원 분야 약 6.9만 도시개발 도시계획수립, 시행 업무 문야 약 8.5만 산업진흥 공장신설, 관리 업무 분야 약 2.6만 상.하수도관리 상.하수도 개설, 요금 징수 분야 약 1.4만 인.허가 지방자치단체 고유 인허가 분야 약 37.8만 일반행정 일반 총무 업무 분야 약 6.5만 주민복지 복지시설 관리 및 지원 분야 약 0.4만 주민생활지원 생활안전 분야 약 6.2만 주민자치 읍,면,동 행정업무 분야 약 16.6만 지역문화 지역문화재 관리 분야 약 0.5만 지역환경.산림 환경, 청소, 산림 관리 분야 약 0.6만 회계.예산 지방세 및 자치단체 예산 관리 분야 약 2.2만 - 데이터 제공기관
-
-
AI 모델 상세 설명서 다운로드
AI 모델 다운로드 -
데이터 성능 점수
측정값 (%)기준값 (%)데이터 성능 지표
데이터 성능 지표 번호 측정항목 AI TASK 학습모델 지표명 기준값 점수 측정값 점수 1 문자 인식률 Object Detection YOLO v5, RCNN F1-Score@IoU 0.5 0.7 점 0.935 점
※ 데이터 성능 지표가 여러 개일 경우 각 항목을 클릭하면 해당 지표의 값이 그래프에 표기됩니다.
※ AI모델 평가 지표에 따라 측정값의 범위, 판단 기준이 달라질 수 있습니다. (ex. 오류율의 경우, 낮을수록 좋은 성능을 내는 것으로 평가됩니다)
-
설명서 및 활용가이드 다운로드
데이터 설명서 다운로드 구축활용가이드 다운로드데이터 변경이력
데이터 변경이력 버전 일자 변경내용 비고 1.2 2021.10.28 데이터 품질 보완 1.1 2021.08.09 데이터 추가 개방 1.0 2021.06.18 데이터 최초 개방 구축 목적
- 공공행정문서는 생성시점이 오래되어 스캔, 촬영 화질이 좋지 않으며 다양한 문자형태(수가, 인쇄체, 타자체 등)를 포함하고 있어 공공행정문서에 특화된 OCR 모델 개발을 위한 데이터셋 구축
활용 분야
- 오랜 기간 보존이 필요하 공공행정문서의 이미지 데이터베이스에 적용하여 보존 중인 공공행정문서 OCR 전문검색으로 행정업무 활용 및 대국민 공개서비스에 활용할 수 있는 OCR AI 기술 개발 적용
주요 키워드
- 수기(손글씨), 타자체, 인쇄체, 전문검색, 공공행정문서
소개
- 공공행정문서에 포함된 다양한 한글, 영어, 숫자의 글자체를 인식하고 출력할 수 있도록 데이터셋 제작 필요 공공행정문서에 다수 포함된 민감정보(개인정보 등)의 비식별화를 위하여 기본적으로 데이터 제공기관(김해시)에서 공개 가능 공공행정문서를 선별하여 원시 데이터 제공 데이터셋 구축시 정제, 가공, 검수시 데이터셋의 품질은 물론 민감정보에 대한 제약사항이 발생하지 않는지 다단계 검증을 통한 비식별화 조치
구축 내용 및 제공 데이터량
- 데이터 제공기관
- 경상남도 김해시 - 공공행정문서 주요 내용
- 지방자치단체 고유업무 전반에 걸쳐 생산된 공공행정문서 - 데이터셋 수량
- 이미지 : 900,000장
- 단어수 : 25,000,000단어 클래스별 구축 현황(구축 이미지 기준)
공공행정문서의 생산과 보존기간에 따른 행정문서 보존 수량에 따라 데이터 획득 클래스 구분 내용 구축수량 농림. 축산지원 농림, 축산 업무 지원 분야 약 6.9만 도시개발 도시계획수립, 시행 업무 문야 약 8.5만 산업진흥 공장신설, 관리 업무 분야 약 2.6만 상.하수도관리 상.하수도 개설, 요금 징수 분야 약 1.4만 인.허가 지방자치단체 고유 인허가 분야 약 37.8만 일반행정 일반 총무 업무 분야 약 6.5만 주민복지 복지시설 관리 및 지원 분야 약 0.4만 주민생활지원 생활안전 분야 약 6.2만 주민자치 읍,면,동 행정업무 분야 약 16.6만 지역문화 지역문화재 관리 분야 약 0.5만 지역환경.산림 환경, 청소, 산림 관리 분야 약 0.6만 회계.예산 지방세 및 자치단체 예산 관리 분야 약 2.2만 대표도면
필요성
- 공공행정문서는 공공기관에서 생산하여 법적 보존 연한에 따라 보존 관리되고 있음
- 중요도가 높고 활용가능성이 높은 공공행정문서는 보존기간 길어 장기간 보존을 하나 오랜 기간 보존으로 인하여 원본 문서의 변질, 훼손의 우려가 높으며 디지털화한 이미지의 품질이 좋지 않아 기존의 상용 OCR사용시 인식률이 저조함
- 공공행정문서에 특화된 공공행정용어와 다양한 글자체(수기, 타자체, 인쇄체 등)가 혼용되어 사용되어 있음
- 이에 공공행정문서에 특화된 OCR AI 모델 개발로 공공기관에서 생산한 중요 행정문서의 디지털화 자료에 대한 문자 인식률을 높힐 수 있는 AI 모델을 적용하기 위한 학습용 데이터를 구축하고자 함
데이터 구조
- 데이터셋 구성
- 어노테이션 포맷
어노테이션 포맷 표 구분 항목 길이 타입 필수여부 비고 한글명 영문명 데이터셋 데이터셋 상세설명 info.description 1,000 string 데이터셋 생성일자 info.date.created 100 string 이미지 정보 이미지 생산기관 image.make.code 7 number Y 이미지 생산연도 image.make.year 4 number Y 이미지 카테고리 image.category 100 string Y 이미지 파일명 image.file.name 100 string Y 이미지 높이 image.height 4 number Y 이미지 너비 image.width 4 number Y 이미지 해상도 image.dpi 3 number 이미지 생성일자 image.create.time 100 string Y 이미지 라이선스 image.licence 100 string 어노테이션 정보 어노테이션 ID id 100 number Y 어노테이션 타입 annotation.type 100 string Y 어노테이션 바운딩박스 annotation.bbox 100 list Y 어노테이션 텍스트타입 annotation.ttype 20 list Y 어노테이션 텍스트 annotation.text 1,000 string Y 라이선스 정보 라이선스명 licence.name 100 string 라이선스 상세설명 licence.descriprion 1000 string 라이선스 url licence.url 200 string -
데이터셋 구축 담당자
수행기관(주관) : 동양시스템즈
수행기관(주관) 책임자명 전화번호 대표이메일 담당업무 김시진 02-405-7443 [email protected] · 원문 데이터 확보 및 제공 · 데이터 구축 총괄 수행기관(참여)
수행기관(참여) 기관명 담당업무 쇼우테크 · 데이터 수집, 가공 및 검수 앙코르브라보노협동조합 · 데이터 검수 데이터 관련 문의처
데이터 관련 문의처 담당자명 전화번호 이메일 황강연(쇼우테크) 055-323-3169 [email protected]
-
인터넷과 물리적으로 분리된 온라인·오프라인 공간으로 의료 데이터를 포함하여 보안 조치가 요구되는 데이터를 다운로드 없이 접근하고 분석 가능
* 온라인 안심존 : 보안이 보장된 온라인 네트워크를 통해 집, 연구실, 사무실 등 어디서나 접속하여 데이터에 접근하고 분석
* 오프라인 안심존 : 추가적인 보안이 필요한 데이터를 대상으로 지정된 물리적 공간에서만 접속하여 데이터에 접근하고 분석 -
- AI 허브 접속
신청자 - 안심존
사용신청신청자신청서류 제출* - 심사구축기관
- 승인구축기관
- 데이터 분석 활용신청자
- 분석모델반출신청자
- AI 허브 접속
-
1. 기관생명윤리위원회(IRB) 심의 결과 통지서 [IRB 알아보기] [공용IRB 심의신청 가이드라인]
2. 기관생명윤리위원회(IRB) 승인된 연구계획서
3. 신청자 소속 증빙 서류 (재직증명서, 재학증명서, 근로계약서 등 택1)
4. 안심존 이용 신청서 [다운로드]
5. 보안서약서 [다운로드]
※ 상기 신청서 및 첨부 서류를 완비한 후 신청을 진행하셔야 정상적으로 절차가 이루어집니다. -
신청 및 이용관련 문의는 [email protected] 또는 02-525-7708, 7709로 문의
데이터셋 다운로드 승인이 완료 된 후 API 다운로드 서비스를 이용하실 수 있습니다.
API 다운로드 파일은 분할 압축되어 다운로드 됩니다. 분할 압축 해제를 위해서는 분할 압축 파일들의 병합이 필요하며 리눅스 명령어 사용이 필요합니다.
리눅스 OS 계열에서 다운로드 받으시길 권장하며 윈도우에서 파일 다운로드 시 wsl(리눅스용 윈도우 하위 시스템) 설치가 필요합니다.
※ 파일 병합 리눅스 명령어
find "폴더경로" -name "파일명.zip.part*" -print0 | sort -zt'.' -k2V | xargs -0 cat > "파일명.zip"
- 해당 명령어 실행 시, 실행 경로 위치에 병합 압축 파일이 생성됩니다.
- 병합된 파일 용량이 0일 경우, 제대로 병합이 되지 않은 상태이니 "폴더경로"가 제대로 입력되었는지 확인 부탁드립니다.
※ 데이터셋 소개 페이지에서 다운로드 버튼 클릭하여 승인이 필요합니다.