복지 분야 콜센터 상담데이터
- 분야한국어
- 유형 오디오 , 텍스트
-
데이터 변경이력
데이터 변경이력 버전 일자 변경내용 비고 1.0 2022-07-12 데이터 최초 개방 데이터 히스토리
데이터 히스토리 일자 변경내용 비고 2022-10-20 신규 샘플데이터 개방 2022-07-12 콘텐츠 최초 등록 소개
복지분야 콜센터 상담 데이터 수집을 통해 관련 서비스 모델 활용에 적합한 AI 데이터셋 구축
구축목적
복지분야 콜센터 상담 데이터 수집을 통해 관련 서비스 모델 활용에 적합한 AI 데이터셋 구축 및 표준을 마련하여 상담 서비스 품질 제고 및 유사 서비스 확산을 위함
-
메타데이터 구조표 데이터 영역 한국어 데이터 유형 오디오 , 텍스트 데이터 형식 WAV 데이터 출처 자체 수집 라벨링 유형 음성전사 (텍스트) 라벨링 형식 JSON 데이터 활용 서비스 콜센터 전화망 및 실제 전화 환경에서 수집된 학습용 음성 데이터를 활용하여 사용자의 물음에 적절한 답변을 하는 복지지원 AI기반 상담 서비스 데이터 구축년도/
데이터 구축량2021년/330.9 G -
○ 데이터 구축 규모
- 최종 인공지능 학습용 데이터 : 3개 복지시설(대학병원, 광역이동지원센터, 정신건강상담센터)에서 총 2945시간의 음성데이터와 그에 해당하는 라벨링 데이터
> 문장 단위의 음성 2,276,065 건(16KHz, wav) 약 323 GB
> 각 음성별 라벨링 json파일 2,276,065 건(UTF-8) 약 20 GB
○ 데이터 분포
- 구축 데이터 음성 문장 수: 2,276,065 개
- 연기자 성별 및 연령대 인원 및 비율
○ 데이터 구축 규모 성별 인원(명) 연령대 인원(명) 남자 여자 20대 30대 40대 50대 60대 76 202 40 89 71 55 23 
- 복지시설, 상담유형, 상담주제별 음성 시간
- 최종 인공지능 학습용 데이터 : 3개 복지시설(대학병원, 광역이동지원센터, 정신건강상담센터)에서 총 2945시간의 음성데이터와 그에 해당하는 라벨링 데이터
-
-
AI 모델 상세 설명서 다운로드
AI 모델 상세 설명서 다운로드 AI 모델 다운로드○ 활용 AI 모델
- LSTM (Long Short Term Memory)는 기존의 RNN이 출력과 먼 위치에 있는 정보를 기억할 수 없다는 단점을 보완하여 장/단기 기억을 보완한 언어모델
- 언어모델에서는 순차적으로 등장하는 단일 음절에 대해 조건부 확률을 계산 할 수 있으며, LSTM 모델은 RNN 의 단점인 기울기 소실문제를 해결하기 위해 gate를 추가한 모델이며, 먼 위치 정보에 비중을 결정할 수 있으면서 동시에 앞쪽 정보를 완전히 잃지 않을 수 있음
<그림 LSTM의 셀 구조>
○ 음성인식 학습 데이터 구성
- 학습데이터 샘플은 복지시설 콜상담데이터 2,800시간 음성데이터를 구축하였으며, 광역이동지원센터 930시간, 대학병원 930시간, 정신건강복지센터 940시간을 구축함
- 학습 및 검증데이터 구축
· 전체 데이터 샘플을 훈련(80%), 검증(10%), 평가(10%)의 세 가지 데이터셋으로 나누어 훈련 셋과 검증 셋을 활용하여 데이터 학습모델을 생성하고, 학습이 완료된 모델을 평가 셋에 대해 적용하여 최종 성능 평가(음성인식율)을 측정함 - 각 데이터셋의클래스 분포가 같도록 샘플링하여 구성함
· 훈련 데이터셋 : 모델 학습 시 모델의 가중치를 업데이트하기 위해 활용됨
· 검증 데이터셋 : 모델 학습 시 최적의 학습 횟수를 찾기 위해 활용됨
· 평가 데이터셋 : 모델의 성능 평가하기 위해 활용됨
-
데이터 성능 점수
측정값 (%)기준값 (%)데이터 성능 지표
데이터 성능 지표 번호 측정항목 AI TASK 학습모델 지표명 기준값 점수 측정값 점수 1 음성인식 Speech Recognition Transformer CER 15 % 7.35 % 2 음성인식 Speech Recognition Transformer WER 30 % 29.83 %
※ 데이터 성능 지표가 여러 개일 경우 각 항목을 클릭하면 해당 지표의 값이 그래프에 표기됩니다.
※ AI모델 평가 지표에 따라 측정값의 범위, 판단 기준이 달라질 수 있습니다. (ex. 오류율의 경우, 낮을수록 좋은 성능을 내는 것으로 평가됩니다)
-
설명서 및 활용가이드 다운로드
데이터 설명서 다운로드 구축활용가이드 다운로드○ 데이터 정보 요약
- 데이터 이름 : 복지시설 상담데이터
- 데이터 요약 : 교통약자 이동 지원 상담, 병원 이용 지원 상담, 정신건강복지 지원 상담 등 복지관련 콜센터 상담 데이터
- 데이터 출처 : 대학병원, 광역이동지원센터, 정신건강복지지원센터 콜센터 상담매뉴얼, 상담사례 참고
○ 데이터 포맷
데이터 포맷 데이터 종류 및 형식
원천 데이터: wav / 라벨 데이터: JSON원시데이터 예시
라벨데이터 예시
○ 어노테이션 포맷
- 라벨은 다음과 같이 구성되며, 항목별 타입과 필수여부 및 값 범위를 정의함
어노테이션 포맷 구분 항목명 타입 필수여부 설명 범위 비고 1 inputText Array Y 대본 1.1 orgtext string Y 발화내용 2 dialogs Array Y 파일경로 2.1 AudioPath String Y audio 파일경로 3 Info Object Y 상세정보 3.1 title String Y 구축기관 콜센터 타이틀 3.2 category1 String Y 복지시설 3.3 category2 String Y 상담유형 3.4 category3 String Y 상담주제 3.5 speaker_type String Y 발화자 구분 고객, 상담사 3.6 speaker_id String Y 발화자 id 3.7 speaker_age String Y 발화자 연령 3.8 speaker_sex String Y 발화자 성별 남, 여 3.9 sptime_all String Y 녹음 전체시간 3.1 sptime_start String Y 발화 시작시간 3.11 sptime_end String Y 발화 종료시간 3.12 rec_device String Y 음성녹음 장치 3.13 rec_place String Y 음성녹음 장소 ※ ‘항목명’, ‘타입’, ‘설명’은 필수 입력 대상이며, ‘필수여부’에 해당하는 항목의 경우, 반드시 ‘Y’로 표기한다.
※ 동일한 데이터 셋에 다수 개 스키마를 적용한 경우, 스키마 별로 라벨 구성요소를 작성한다.○ 데이터 구성
- 카테고리별 파일 네이밍룰 및 폴더 분류체계
데이터 구성 복지시설 복지시설 상담유형 상담유형 상담 주제 상담 주제 코드 코드 코드 광역이동지원 센터 MOB 상담 1 적용기준 1 규정문의 2 고객대응 2 차량요청 1 예약변경 및 취소 2 민원 3 예약불만 1 기사관련 불만 2 규정불만 3 이용제한 4 서비스 개선요청 5 대학 병원 HOS 진료안내 1 검사 1 입원 2 외래 3 응급 4 건강검진 5 병원 이용안내 2 시설안내 1 입퇴원 2 증명서 발급 3 원무상담 4 장례식장 안내 5 민원 3 외래 진료 불만 1 검사 불만 2 치료 불만 3 응급실 불만 4 기타서비스 불만 5 정신건강 MEN 정신건강 상담 1 조현병 1 복지 센터 우울증 2 조울증 3 불안장애 4 물질중독 5 행위중독 6 치매 7 기타 8 자살위기 개입 2 가정불화 1 경제문제 2 이성문제 3 신체 / 정신적 문제 4 직장문제 5 외로움 / 고독 6 학교성적 / 진로 7 친구 / 동료문제 8 기타 9 - 파일명 네이밍 예시
파일명 네이밍 예시 복지 상담 상담 SEQ1 연령 성별 발화자 SEQ2 파일명 예시 시설 유형 주제 구분 MOB 1 1 1 2 1 A 1 MOB11A210000001001 HOS 2 2 2 3 2 B 2 HOS22B320000002002 MEN 2 3 3 4 1 A 3 MEN23A410000003003 -
데이터셋 구축 담당자
수행기관(주관) : (재)전북테크노파크
수행기관(주관) 책임자명 전화번호 대표이메일 담당업무 임대환 팀장 063-214-9802 [email protected] · 사업 총괄 수행기관(참여)
수행기관(참여) 기관명 담당업무 ㈜케이엘큐브 · 데이터 설계 및 AI모델 개발 ㈜타임소프트 · 데이터 수집 및 정제 ㈜코난테크놀로지 · 데이터 가공 ㈜에이스솔루션 · 데이터 검수 데이터 관련 문의처
데이터 관련 문의처 담당자명 전화번호 이메일 임대환 팀장 063-214-9802 [email protected]
-
인터넷과 물리적으로 분리된 온라인·오프라인 공간으로 의료 데이터를 포함하여 보안 조치가 요구되는 데이터를 다운로드 없이 접근하고 분석 가능
* 온라인 안심존 : 보안이 보장된 온라인 네트워크를 통해 집, 연구실, 사무실 등 어디서나 접속하여 데이터에 접근하고 분석
* 오프라인 안심존 : 추가적인 보안이 필요한 데이터를 대상으로 지정된 물리적 공간에서만 접속하여 데이터에 접근하고 분석 -
- AI 허브 접속
신청자 - 안심존
사용신청신청자신청서류 제출* - 심사구축기관
- 승인구축기관
- 데이터 분석 활용신청자
- 분석모델반출신청자
- AI 허브 접속
-
1. 기관생명윤리위원회(IRB) 심의 결과 통지서 [IRB 알아보기] [공용IRB 심의신청 가이드라인]
2. 기관생명윤리위원회(IRB) 승인된 연구계획서
3. 신청자 소속 증빙 서류 (재직증명서, 재학증명서, 근로계약서 등 택1)
4. 안심존 이용 신청서 [다운로드]
5. 보안서약서 [다운로드]
※ 상기 신청서 및 첨부 서류를 완비한 후 신청을 진행하셔야 정상적으로 절차가 이루어집니다. -
신청 및 이용관련 문의는 [email protected] 또는 02-525-7708, 7709로 문의
데이터셋 다운로드 승인이 완료 된 후 API 다운로드 서비스를 이용하실 수 있습니다.
API 다운로드 파일은 분할 압축되어 다운로드 됩니다. 분할 압축 해제를 위해서는 분할 압축 파일들의 병합이 필요하며 리눅스 명령어 사용이 필요합니다.
리눅스 OS 계열에서 다운로드 받으시길 권장하며 윈도우에서 파일 다운로드 시 wsl(리눅스용 윈도우 하위 시스템) 설치가 필요합니다.
※ 파일 병합 리눅스 명령어
find "폴더경로" -name "파일명.zip.part*" -print0 | sort -zt'.' -k2V | xargs -0 cat > "파일명.zip"
- 해당 명령어 실행 시, 실행 경로 위치에 병합 압축 파일이 생성됩니다.
- 병합된 파일 용량이 0일 경우, 제대로 병합이 되지 않은 상태이니 "폴더경로"가 제대로 입력되었는지 확인 부탁드립니다.
※ 데이터셋 소개 페이지에서 다운로드 버튼 클릭하여 승인이 필요합니다.