-
코트라 공공기관 1,500개 테이블 – 데이터 표준화 3주 소요
데이터가치연구소는 2025년 공공데이터 품질관리 수준진단·평가를 위해 코트라(대한무역투자진흥공사) 기관의 7개 시스템 – 1천5백여 개 테이블, 3만여 개 칼럼 데이터 표준화를 수행하였습니다. 이 정도 규모의 대상을 표준화하려면 최소 2명의 컨설턴트가 3개월 정도 수행합니다. 그러나 애드밸류어 – AI 표준화 솔루션을 사용하여 단 3주 만에 1명의 컨설턴트가 표준화를 수행하였습니다. 표준화를 수행한 방식에서도 기존의 방식과 큰 차이가 있습니다. 속성 표준화…
-
DB표준 구축 – AI 활용으로 손쉽게 해결하기
공공기관은 세 가지 표준을 고려해야 합니다. 데이터 표준에 대한 설명은 다음 글을 참고하시기 바랍니다. – 데이터 표준이란 무엇인가요? 각각의 표준은 다음과 같은 특징을 갖습니다. 공통 표준, 기관 표준, DB 표준의 관계는 아래의 계층 구조로 표현할 수 있습니다. 상위의 표준을 우선적으로 적용해야 한다는 것입니다. 만약, 상위의 표준과 일치하지 않는 경우는 매핑표가 필요한데 이를…
-
AI 데이터 표준화 솔루션 ‘애드밸류어’
AI의 등장으로 산업의 여러 분야는 변화하고 있습니다.데이터 표준화 분야에도 AI는 혁신을 가져왔습니다.대량의 데이터 표준화를 자동화하는 서비스가 공개되었기 때문입니다! ChatGPT 그동안 데이터 표준화 분야는 자동화하기 어려운 기술적인 한계가 있었습니다.로직으로는 문맥을 이해하고 표준 용어를 도출하는 것이 어렵기 때문입니다.하지만, 2022년 겨울에 ChatGPT가 출시되면서 이 문제를 해결할 가능성이 열렸습니다! 데이터 표준화 vs. 문맥 이해 데이터 표준화는…
-
공공기관 데이터 품질 관리 지침서 작성 방법
데이터품질(Data Quality)을 한마디로 정의한다면 ‘데이터가 유용한 정도’라 할 수 있습니다.유용한 데이터라면 최신 정보이며, 정확해야 합니다.데이터를 이처럼 최신 상태로 정확하게 관리하려면 관리 주체와 절차 등이 필요합니다.데이터 품질 관리 지침서는 데이터의 품질을 유지하거나 개선하기 위해 필요한 사항들을 다루어야 합니다.지침서는 매뉴얼이 아니므로 상세한 절차를 설명하지는 않습니다.구체적인 절차는 매뉴얼이나 프로세스에서 설명하는 반면, 지침서는 매뉴얼이나 프로세스의 방향을 제시합니다. 공공기관 데이터…
-
공공데이터 실무자를 위한 실무매뉴얼 요점 정리
공공데이터 업무를 처음 맡으셨나요?공공데이터 업무를 체계적으로 알고 싶으신가요?그렇다면 이 글부터 시작하시기 바랍니다.공공데이터 실무자가 알아야 할 개념부터 해야 할 일들을 알기 쉽게 설명합니다. 공공데이터 법이란? 2013년에 제정된 법으로 “공공데이터의 제공 및 이용 활성화에 관한 법률“을 말합니다.해당 법의 취지는 공공기관이 가진 데이터를 국민이 이용할 수 있도록 보장하는 것입니다.취지가 그러다 보니 최대한 데이터를 공개하는 것에 초점이 맞춰져 있습니다.법조문이다…
-
공공데이터 주요 용어 정리
공공데이터 업무는 전문적인 지식이 필요한 분야입니다.그러다보니 사용되는 용어도 다소 생소한 것이 많습니다.공공데이터 업무를 시작하는 분들을 위해 주요 용어를 쉽게 설명하였습니다. 해당 글에서 설명한 용어는 다음과 같습니다. 공공데이터를 구성하는 용어, 코드 등을 작성하는 규칙을 말합니다.표준을 지킨 데이터는 어떤 특징을 가질까요?동일한 대상을 동일하게 표현할 수 있습니다.예를 들어, ‘휴대전화’를 ‘휴대폰’, ‘전화기’, ‘스마트폰’ 등 다양하게 부를 수 있습니다.표준이…
-
공공데이터법이란? 공공기관의 장을 위한 공공데이터법 요점 정리
공공데이터 법이 2013년에 제정된 후로 2024년 기준으로 11년이 되었습니다.하지만, 어디에서도 공공데이터를 쉽게 설명한 글을 볼 수 없었습니다.더구나 공공데이터의 주체가 되는 공공기관의 장을 위한 글은 더욱 찾을 수 없었습니다.그래서 공공기관의 장 관점에서 공공데이터 법을 쉽게 설명하려고 합니다.참고 글: 공공데이터 실무자를 위한 실무매뉴얼 요점 정리 공공데이터 법이란? “공공데이터의 제공 및 이용 활성화에 관한 법률“을 말합니다. 공공데이터란? 공공기관에서…
-
공공데이터 표준화 프로젝트- 최소 인원으로 수행해야 하는 이유
표준화 프로젝트를 획하는 분이라면 가장 먼저 고민하는 것이 ‘몇 명이 필요한가?’ 일 것입니다.인원수에 따라 기간과 비용이 결정되기 때문이지요.그런데 무조건 많은 인원이 정답일까요? 6개의 표준화 프로젝트를 수행하면서 내린 결론은 ‘적을수록 좋다!‘ 입니다.물론 인원이 적은 만큼 기간은 충분해야 합니다. 적을수록 좋은 이유 6개의 프로젝트 중에서 3개는 2명의 인원으로 수행했고 절반은 10명 이상의 인원으로 수행하였습니다.당연히 10명 이상이 참여한…
-
동음이의어, 이음동의어, 한 글자 단어,금칙어, 동의어/유사어 관리 팁
용어는 단어의 조합으로 구성합니다. 표준 메타는 파싱*이라는 과정을 거쳐 용어를 가장 작은 ‘단어’ 단위로 분리합니다.* 파싱(parsing)은 용어를 의미를 가진 최소 단위로 분해하는 과정을 말합니다.이 과정을 거쳐 나온 결과가 칼럼이 됩니다.위의 예시를 보시면 칼럼은 각 단어의 물리명을 합친 것입니다.용어에서 사용된 단어가 잘 준비되었다면 위의 예시처럼 정상적인 칼럼을 만들어 냅니다. 단어가 잘 준비되지 않으면 다음과 같이 파싱을…
-
성공적인 공공데이터 표준화 프로젝트 위해 확인해야 할 사항
데이터 표준화 프로젝트를 하면 세 가지 장점이 있다고 설명했습니다.참고 글: 데이터 표준화를 꼭 해야만 하는 이유 표준화 프로젝트는 수천에서 수억까지 큰 비용이 투자되는 프로젝트입니다.이러한 프로젝트에서 좋은 결과를 얻으려면 다음의 조건을 점검해야 합니다. 위의 4가지 항목에서 모두 ‘예’라는 대답을 하셨다면 귀사의 표준화 프로젝트는 성공할 수 있습니다! 하나씩 구체적으로 설명하겠습니다. 테이블/칼럼의 코멘트는 ‘표준화 방법론‘ 글에서 단어나 용어의…
