-
코트라 공공기관 1,500개 테이블 – 데이터 표준화 3주 소요
데이터가치연구소는 2025년 공공데이터 품질관리 수준진단·평가를 위해 코트라(대한무역투자진흥공사) 기관의 7개 시스템 – 1천5백여 개 테이블, 3만여 개 칼럼 데이터 표준화를 수행하였습니다. 이 정도 규모의 대상을 표준화하려면 최소 2명의 컨설턴트가 3개월 정도 수행합니다. 그러나 애드밸류어 – AI 표준화 솔루션을 사용하여 단 3주 만에 1명의 컨설턴트가 표준화를 수행하였습니다. 표준화를 수행한 방식에서도 기존의 방식과 큰 차이가 있습니다. 속성 표준화…
-
DB표준 구축 – AI 활용으로 손쉽게 해결하기
공공기관은 세 가지 표준을 고려해야 합니다. 데이터 표준에 대한 설명은 다음 글을 참고하시기 바랍니다. – 데이터 표준이란 무엇인가요? 각각의 표준은 다음과 같은 특징을 갖습니다. 공통 표준, 기관 표준, DB 표준의 관계는 아래의 계층 구조로 표현할 수 있습니다. 상위의 표준을 우선적으로 적용해야 한다는 것입니다. 만약, 상위의 표준과 일치하지 않는 경우는 매핑표가 필요한데 이를…
-
AI 데이터 표준화 솔루션 ‘애드밸류어’
AI의 등장으로 산업의 여러 분야는 변화하고 있습니다.데이터 표준화 분야에도 AI는 혁신을 가져왔습니다.대량의 데이터 표준화를 자동화하는 서비스가 공개되었기 때문입니다! ChatGPT 그동안 데이터 표준화 분야는 자동화하기 어려운 기술적인 한계가 있었습니다.로직으로는 문맥을 이해하고 표준 용어를 도출하는 것이 어렵기 때문입니다.하지만, 2022년 겨울에 ChatGPT가 출시되면서 이 문제를 해결할 가능성이 열렸습니다! 데이터 표준화 vs. 문맥 이해 데이터 표준화는…
-
공공기관 데이터 품질 관리 지침서 작성 방법
데이터품질(Data Quality)을 한마디로 정의한다면 ‘데이터가 유용한 정도’라 할 수 있습니다.유용한 데이터라면 최신 정보이며, 정확해야 합니다.데이터를 이처럼 최신 상태로 정확하게 관리하려면 관리 주체와 절차 등이 필요합니다.데이터 품질 관리 지침서는 데이터의 품질을 유지하거나 개선하기 위해 필요한 사항들을 다루어야 합니다.지침서는 매뉴얼이 아니므로 상세한 절차를 설명하지는 않습니다.구체적인 절차는 매뉴얼이나 프로세스에서 설명하는 반면, 지침서는 매뉴얼이나 프로세스의 방향을 제시합니다. 공공기관 데이터…
-
공공데이터 표준화 프로젝트- 최소 인원으로 수행해야 하는 이유
표준화 프로젝트를 획하는 분이라면 가장 먼저 고민하는 것이 ‘몇 명이 필요한가?’ 일 것입니다.인원수에 따라 기간과 비용이 결정되기 때문이지요.그런데 무조건 많은 인원이 정답일까요? 6개의 표준화 프로젝트를 수행하면서 내린 결론은 ‘적을수록 좋다!‘ 입니다.물론 인원이 적은 만큼 기간은 충분해야 합니다. 적을수록 좋은 이유 6개의 프로젝트 중에서 3개는 2명의 인원으로 수행했고 절반은 10명 이상의 인원으로 수행하였습니다.당연히 10명 이상이 참여한…
-
데이터 표준이란 무엇인가요?
이 글에서는 데이터 표준을 구성하는 항목을 다룹니다.데이터 표준이 왜 필요한지 궁금하시다면 다음 글이 도움이 될 것입니다.참고 글: 데이터 표준화를 꼭 해야만 하는 이유 데이터 표준을 구성하는 항목 데이터 표준은 크게 4개 항목으로 구성합니다. 용어, 단어, 도메인 관계 단어, 용어, 도메인을 도식화하면 항목 간의 관계를 알 수 있습니다. 위의 관계를 보시면 ‘단어’는 ‘용어’를 구성하는 의미가 가장…
-
동음이의어, 이음동의어, 한 글자 단어,금칙어, 동의어/유사어 관리 팁
용어는 단어의 조합으로 구성합니다. 표준 메타는 파싱*이라는 과정을 거쳐 용어를 가장 작은 ‘단어’ 단위로 분리합니다.* 파싱(parsing)은 용어를 의미를 가진 최소 단위로 분해하는 과정을 말합니다.이 과정을 거쳐 나온 결과가 칼럼이 됩니다.위의 예시를 보시면 칼럼은 각 단어의 물리명을 합친 것입니다.용어에서 사용된 단어가 잘 준비되었다면 위의 예시처럼 정상적인 칼럼을 만들어 냅니다. 단어가 잘 준비되지 않으면 다음과 같이 파싱을…
-
성공적인 공공데이터 표준화 프로젝트 위해 확인해야 할 사항
데이터 표준화 프로젝트를 하면 세 가지 장점이 있다고 설명했습니다.참고 글: 데이터 표준화를 꼭 해야만 하는 이유 표준화 프로젝트는 수천에서 수억까지 큰 비용이 투자되는 프로젝트입니다.이러한 프로젝트에서 좋은 결과를 얻으려면 다음의 조건을 점검해야 합니다. 위의 4가지 항목에서 모두 ‘예’라는 대답을 하셨다면 귀사의 표준화 프로젝트는 성공할 수 있습니다! 하나씩 구체적으로 설명하겠습니다. 테이블/칼럼의 코멘트는 ‘표준화 방법론‘ 글에서 단어나 용어의…
-
데이터 표준화를 꼭 해야만 하는 이유
데이터 표준화 프로젝트를 수행하다 보면 데이터 표준화 교육을 요청하는 경우가 많습니다.아마도 데이터 표준이 정말 필요한 것인지 공감대를 갖기 위한 것이겠지요.그러면 데이터 표준화, 정말 필요한가요? 결론부터 말씀드리면 ‘필요하다’ 입니다. 그 이유를 다음의 세 가지 관점에서 설명하겠습니다. 데이터 표준이 있으면 개발 생산성이 올라간다고요???네, 맞습니다!데이터 표준이 있으면 개발 생산성이 올라갑니다.많은 분들이 오해하는 부분입니다.데이터 표준을 지키느라 개발이 늦어진다고 생각하기…
-
20만 개 칼럼을 표준화한 방법론 공개
대량의 대상을 수행하려면 전체적인 관점에서 접근해야 합니다.그러므로 전체를 아우르는 틀을 갖춘 상태에서 표준화를 수행합니다. 아래는 데이터 표준화 프로젝트 수행 시 설계했던 리파지토리 테이블입니다. 리파지토리 (*리파지토리: 대상의 테이블 정보를 담는 저장소) 소량의 테이블은 정밀한 방법론이 없어도 괜찮습니다.한 땀 한 땀 정성스럽게 단어/용어/도메인/코드를 정의하면 되니까요. 대량의 대상을 수행하려면 하나씩 수행하는 방법으로는 비용과 물량을 감당하기 어렵습니다.그래서 대량의 대상은…
