공공기관은 세 가지 표준을 고려해야 합니다.
- 공통 표준
- 기관 표준
- 데이터베이스 표준 * 이하 ‘DB 표준’으로 표기
데이터 표준에 대한 설명은 다음 글을 참고하시기 바랍니다.
각각의 표준은 다음과 같은 특징을 갖습니다.
- 공통 표준
행정안전부에서 공표한 데이터 표준 사전으로 모든 공공기관이 준수해야 합니다.
2025. 3월 기준으로 공통표준용어 9,027개, 공통표준단어 2,396개, 공통표준도메인 112개가 제정되었습니다.
- 기관 표준
기관 전체에서 준수해야 하는 표준을 말합니다.
기관 전체 업무의 특징을 반영하여 업무 관계자가 쉽게 이해하고 사용할 수 있어야 합니다.
- DB 표준
기관은 1개 이상의 데이터베이스로 구성된 시스템을 가집니다.
이러한 시스템별로 별도의 데이터 표준을 가질 수 있으며 이를 DB 표준이라 합니다.
만약, 시스템마다 표준을 가진다면 기관은 여러 개의 DB 표준을 가집니다.
공통 표준, 기관 표준, DB 표준의 관계는 아래의 계층 구조로 표현할 수 있습니다.
상위의 표준을 우선적으로 적용해야 한다는 것입니다.
만약, 상위의 표준과 일치하지 않는 경우는 매핑표가 필요한데 이를 비표준 매핑이라 합니다.
예를 들어, DB 표준의 ‘등록일시’의 매핑 관계를 다음과 같이 표현할 수 있습니다.
DB 표준의 ‘등록일시’의 영문약어 ‘REG_DTS’가 기관표준/공통표준에서는 ‘REG_DT’입니다.
이 차이를 위의 비표준 매핑표로 관리합니다.
- 매핑 작업 자동화
2025. 3월 기준으로 공통표준 용어는 1만 개에 달합니다.
이를 엑셀로 작업하는 것은 시간이 많이 걸리고 매우 귀찮은 작업입니다.
비표준 매핑 대상은 어떻게 찾을 수 있을까요?
다음의 두 가지 경우가 현실적으로 찾을 수 있는 경우입니다.
- 용어명이 같지만 영문약어가 다른 경우
- 영문약어는 같지만 용어명이 다른 경우
만약, 이러한 작업을 자동화할 수 있다면 공공데이터 품질 평가 시 많은 공수가 절약됩니다.
S코파일럿은 이러한 비표준 매핑을 자동으로 생성합니다.
아래는 S코파일럿을 활용하여 비표준 매핑을 수행한 예시입니다.
* 단순하게 표현하기 위해 데이터타입과 길이는 생략
- DB 표준 자동화
시스템의 데이터 베이스를 표준화하려면 매우 지루한 작업을 해야 합니다.
단순하게 표현하더라도 다음의 과정이 필요합니다.
상기의 방법론은 다음의 글을 참고하시기 바랍니다.
하지만, 이제 데이터 표준화 작업은 S코파일럿이 자동화합니다.
S코파일럿은 두 가지 방식으로 데이터 표준화를 자동화합니다.
1. 속성명을 표준화하는 방식
많은 경우 데이터 표준화 시 수행하는 방식입니다.
아래는 S코파일럿의 칼럼코파일럿으로 속성 표준화를 자동으로 수행한 예시입니다.
칼럼과 칼럼 코멘트를 AI가 분석하여 속성명을 표준화하고 속성의 설명까지 자동을 작성합니다.
ChatGPT 기준으로 1,000개 칼럼 수행 시 약 1시간 정도가 소요됩니다.
1,000개 칼럼을 사람이 한다면 수십 시간이 걸리는 작업량입니다.
2. 칼럼명과 속성명을 일치시키는 방식
위의 1번 방식이 일반적으로 표준화하는 방식이지만 기관의 경우 표준 준수율은 떨어집니다.
속성명과 칼럼이 일치하지 않기 때문이지요.
표준 준수율을 높이고 싶다면 칼럼명과 속성명을 일치시켜야 합니다.
칼럼을 분석하여 단어 사전을 구축하고 이를 기준으로 속성명을 작성하는 것입니다.
예를 들어, 칼럼명이 ‘HIS_CD’이라면 ‘HIS’, ‘CD’를 분리하여 ‘HIS’는 ‘이력’, ‘CD’는 ‘코드’ 단어 사전을 만드는 것이지요.
S코파일럿은 이러한 작업을 자동으로 수행하여 아래와 같은 결과를 매우 손쉽게 도출합니다.
칼럼명과 속성명을 일치시키는 방식의 장점은 표준 준수율이 올라가는 것이지만 단점이 존재합니다.
칼럼 기준으로 속성명을 작성하기에 속성명의 가독성이 떨어집니다.
예를 들어, 칼럼명 ‘HIS_CD’을 기준으로 속성명을 일치시키면 ‘이력코드’가 되는 것이지요.
그 외의 어떤 수식어를 속성명에 붙이는 순간 칼럼명과 속성명을 일치하지 않습니다.
이를 보완하기 위해 속성 설명을 활용합니다.
수식어나 그 외의 추가 정보를 속성 설명에 기입합니다.
S코파일럿은 이러한 작업을 아래와 같이 자동화합니다.
S코파일럿은 해당 용어의 도메인도 아래와 같이 자동으로 작성합니다.
* 아래는 단순하게 표현하기 위해 데이터 타입/길이 등 부가정보 생략
공공기관은 DB 표준 작업을 위해 매년 적지 않은 비용과 시간을 사용합니다.
데이터 표준화를 자동화하는 솔루션이 없었기 때문입니다.
S코파일럿은 데이터 표준화를 자동으로 수행합니다.
데이터 표준화를 자동화했을 때 비용 절감과 생산성 향상은 그동안의 수작업 방식과는 비교할 수 없습니다.
S코파일럿은 어떻게 데이터 표준화를 자동화했을까요?
아래의 글에서 궁금증을 해소하시기 바랍니다!
