- 표준화 수행 시간 단 3주!
데이터가치연구소는 2025년 공공데이터 품질관리 수준진단·평가를 위해 코트라(대한무역투자진흥공사) 기관의 7개 시스템 – 1천5백여 개 테이블, 3만여 개 칼럼 데이터 표준화를 수행하였습니다.
이 정도 규모의 대상을 표준화하려면 최소 2명의 컨설턴트가 3개월 정도 수행합니다.
그러나 S코파일럿 – AI 표준화 솔루션을 사용하여 단 3주 만에 1명의 컨설턴트가 표준화를 수행하였습니다.
- 속성 표준화 vs. 칼럼 표준화
표준화를 수행한 방식에서도 기존의 방식과 큰 차이가 있습니다.
속성 표준화
보통의 표준화 수행방식입니다.
아래 좌측 그림처럼 코멘트를 이해하고 코멘트에 어울리는 용어와 단어를 작성합니다.
아래의 예시처럼 ‘컴퓨터 정비를 훈련하는 시간’이라는 코멘트를 분석합니다.
코멘트로부터 ‘컴퓨터정비훈련시간’이라는 용어를 만듭니다.
이 용어에서 ‘컴퓨터’, ‘정비’, ‘훈련’, ‘시간’이라는 단어를 정의합니다.
이 경우 칼럼명 ‘TRNG_HR’과 ‘컴퓨터정비훈련시간’에 해당하는 ‘CMPT_MNTNC_TRNG_HR’ 영문명은 일치하지 않습니다.
공공기관의 경우 칼럼명과 표준용어의 영문명이 일치하지 않아 표준준수율은 올라가지 않습니다.
그래서 코트라에서는 표준준수율을 올리기 위해 다른 방식으로 표준화를 수행하였습니다.
칼럼 표준화
공공기관은 표준준수율이 중요합니다.
표준용어의 영문명과 칼럼명이 일치해야만 공공데이터 품질관리 수준 평가에서 높은 점수를 받을 수 있습니다.
그래서 코트라에서는 위 우측 그림처럼 칼럼을 분석하여 단어와 용어를 정의하는 방식으로 표준화를 수행하였습니다.
이 경우 칼럼명과 용어의 영문명이 일치하여 표준준수율이 올라갑니다.
그러나 칼럼을 ‘_’ 단위로 분해하여 각 영문 약어의 의미를 파악하여 단어를 정의하는 것은 결코 만만한 작업이 아닙니다.
시간이 오래 걸리는 까다로운 작업입니다.
S코파일럿은 이러한 작업을 자동으로 수행합니다.
대략 1천여 개 칼럼을 분석하는 데 1시간도 채 걸리지 않습니다.
참고: DB표준 구축 – AI 활용으로 손쉽게 해결하기
- S코파일럿 – 3,000개 칼럼 표준화 테스트
S코파일럿은 AI를 활용하여 다음의 절차로 표준화를 자동으로 수행합니다.
① 칼럼 분석
② 도메인 사전 작성
③ 용어 사전 작성
④ 단어 사전 작성
⑤ 테이블 정의서 작성
⑥ 칼럼 정의서 작성
AI마다 특성이 조금씩 달라 용도에 맞는 AI를 선택하여 수행할 수 있습니다.
아래는 chatGPT와 Claude를 사용하여 3,000개 칼럼 표준화 수행 시간을 비교한 표입니다.
| 구분 | ChatGPT | Claude |
| 처리 시간 | 5시간 3분 | 2시간 46분 |
| 시간당 처리량 | 593개 | 1,084개 |
S코파일럿 테스트 방식이 궁금하신 분은 s-copilot.com을 방문하여 체험하실 수 있습니다.
공공기관은 매년 공공데이터 품질관리 수준진단·평가를 위해 데이터 표준화에 많은 시간과 비용을 사용합니다.
코트라는 S코파일럿으로 데이터 표준화를 수행하여 10배 가까이 비용과 시간을 절감하였습니다.
이제 더 이상 많은 비용을 들여 표준화를 수행할 필요가 없습니다!
