데이터가치연구소 공식 블로그

공공데이터 표준화

  • AI 데이터 표준화 솔루션 ‘애드밸류어’

    AI의 등장으로 산업의 여러 분야는 변화하고 있습니다.데이터 표준화 분야에도 AI는 혁신을 가져왔습니다.대량의 데이터 표준화를 자동화하는 서비스가 공개되었기 때문입니다! ​ ​ ChatGPT 그동안 데이터 표준화 분야는 자동화하기 어려운 기술적인 한계가 있었습니다.로직으로는 문맥을 이해하고 표준 용어를 도출하는 것이 어렵기 때문입니다.하지만, 2022년 겨울에 ChatGPT가 출시되면서 이 문제를 해결할 가능성이 열렸습니다! ​ 데이터 표준화 vs. 문맥 이해 데이터 표준화는…

    더 보기

  • 공공데이터 표준화 프로젝트- 최소 인원으로 수행해야 하는 이유

    표준화 프로젝트를 획하는 분이라면 가장 먼저 고민하는 것이 ‘몇 명이 필요한가?’ 일 것입니다.인원수에 따라 기간과 비용이 결정되기 때문이지요.그런데 무조건 많은 인원이 정답일까요? 6개의 표준화 프로젝트를 수행하면서 내린 결론은 ‘적을수록 좋다!‘ 입니다.물론 인원이 적은 만큼 기간은 충분해야 합니다. 적을수록 좋은 이유 6개의 프로젝트 중에서 3개는 2명의 인원으로 수행했고 절반은 10명 이상의 인원으로 수행하였습니다.당연히 10명 이상이 참여한…

    더 보기

  • 동음이의어, 이음동의어, 한 글자 단어,금칙어, 동의어/유사어 관리 팁

    용어는 단어의 조합으로 구성합니다. 표준 메타는 파싱*이라는 과정을 거쳐 용어를 가장 작은 ‘단어’ 단위로 분리합니다.* 파싱(parsing)은 용어를 의미를 가진 최소 단위로 분해하는 과정을 말합니다.이 과정을 거쳐 나온 결과가 칼럼이 됩니다.위의 예시를 보시면 칼럼은 각 단어의 물리명을 합친 것입니다.용어에서 사용된 단어가 잘 준비되었다면 위의 예시처럼 정상적인 칼럼을 만들어 냅니다. 단어가 잘 준비되지 않으면 다음과 같이 파싱을…

    더 보기

  • 성공적인 공공데이터 표준화 프로젝트 위해 확인해야 할 사항

    데이터 표준화 프로젝트를 하면 세 가지 장점이 있다고 설명했습니다.참고 글: 데이터 표준화를 꼭 해야만 하는 이유 표준화 프로젝트는 수천에서 수억까지 큰 비용이 투자되는 프로젝트입니다.이러한 프로젝트에서 좋은 결과를 얻으려면 다음의 조건을 점검해야 합니다. 위의 4가지 항목에서 모두 ‘예’라는 대답을 하셨다면 귀사의 표준화 프로젝트는 성공할 수 있습니다! 하나씩 구체적으로 설명하겠습니다. 테이블/칼럼의 코멘트는 ‘표준화 방법론‘ 글에서 단어나 용어의…

    더 보기

  • 데이터 표준화를 꼭 해야만 하는 이유

    데이터 표준화 프로젝트를 수행하다 보면 데이터 표준화 교육을 요청하는 경우가 많습니다.아마도 데이터 표준이 정말 필요한 것인지 공감대를 갖기 위한 것이겠지요.그러면 데이터 표준화, 정말 필요한가요? 결론부터 말씀드리면 ‘필요하다’ 입니다. 그 이유를 다음의 세 가지 관점에서 설명하겠습니다.​ 데이터 표준이 있으면 개발 생산성이 올라간다고요???네, 맞습니다!데이터 표준이 있으면 개발 생산성이 올라갑니다.많은 분들이 오해하는 부분입니다.데이터 표준을 지키느라 개발이 늦어진다고 생각하기…

    더 보기

  • 20만 개 칼럼을 표준화한 방법론 공개

    대량의 대상을 수행하려면 전체적인 관점에서 접근해야 합니다.그러므로 전체를 아우르는 틀을 갖춘 상태에서 표준화를 수행합니다. 아래는 데이터 표준화 프로젝트 수행 시 설계했던 리파지토리 테이블입니다. 리파지토리 (*리파지토리: 대상의 테이블 정보를 담는 저장소) 소량의 테이블은 정밀한 방법론이 없어도 괜찮습니다.한 땀 한 땀 정성스럽게 단어/용어/도메인/코드를 정의하면 되니까요. ​대량의 대상을 수행하려면 하나씩 수행하는 방법으로는 비용과 물량을 감당하기 어렵습니다.그래서 대량의 대상은…

    더 보기

  • 공공데이터 표준화 프로젝트 공수 산정 팁

    6개 기업에서 표준화 프로젝트를 수행한 경험으로 해당 주제를 다루려고 합니다.6개의 프로젝트 중 3개는 2명의 인원으로 진행하였고 나머지는 10명 이상의 인원으로 대규모로 진행하였습니다.이러한 경험으로 한 달에 몇 개 정도의 테이블을 수행할 수 있는지를 설명합니다. 앞서 포스팅한 “한 사람이 한 달 동안 표준화할 수 있는 테이블 수“에서는 한 사람이 한 달에 수행할 수 있는 테이블 수를 128개로…

    더 보기

  • 한 사람이 한 달 동안 표준화할 수 있는 테이블 수

    데이터 표준화를 요청하는 고객사가 많습니다.고객사는 단기간에 많은 양의 표준화를 수행하고 싶어 합니다.물론 많은 양은 테이블 기준입니다.사실 비용 때문이지요.그러면 한 사람이 한 달에 몇 개 테이블을 표준화할 수 있을까요?요즘은 AI가 대세이나 인간이 수행한다는 조건으로 생각해 보겠습니다.한 명의 데이터 표준 전문가는 한 달에 몇 개의 테이블을 표준화할 수 있을까요? 제가 산출한 개수는 ‘128개’입니다. ​테이블 수 128개가 어떠한…

    더 보기