데이터 메시 및 시계 제조공

시계 제조공 비유는 200년 전으로 거슬러 올라갑니다. 숲 속을 걷다가 땅에 떨어져 있는 시계를 발견하면 "땅에서 유기적으로 자랐나, 사람이 만들었나?"라는 질문을 던질 것입니다. 당신은 시계의 표면을 살펴보고 초, 분, 시간, 일, 주, 월, 달의 위상 및 조수가 표시되는 것에 매료될 수 있습니다. 그런 다음 정확도를 테스트하고 지속적인 정밀도에 감탄할 수 있습니다. 또한 시계 내부를 열어보고 디스플레이가 기어세트를 통해 함께 오케스트레이션되고 있다는 사실에 더욱 놀랄 수 있습니다. 대부분의 사람들은 이 모든 것을 총괄하는 디자이너가 필요하다고 결론을 내릴 것입니다.

특히 기어의 맥락에서 데이터 제품을 고려하여 시계 제조공과 데이터 메시를 계속해서 비유해 보겠습니다. 각 기어의 목적은 고유합니다. 예를 들어, 초를 추적하기 위해 두 개의 기어가 필요하지 않습니다. 각 기어가 시간 요소를 추적하는 역할을 하는 것처럼 각 데이터 제품은 자체 데이터 요소 집합을 추적합니다. 각 시계 기어의 모양과 크기는 다릅니다. 데이터 메시 내에서 각 데이터 제품의 모양과 크기는 상황에 따라 다양합니다. 이를 통해 각 데이터 제품은 특정 목적을 수행하고 두 개의 데이터 제품이 동일한 데이터를 관리하는 필요성이 줄어듭니다(이상적으로는 제거).

각 기어에는 다른 기어 및 시계 구성 요소(예: 태엽)와 인터페이스할 수 있는 톱니바퀴가 있습니다. 마찬가지로 데이터 제품에는 다른 데이터 제품 및 사용자와 인터페이스하기 위한 API(함께 배치되고 연결된 데이터 제품에 대한 추상화된 보기)가 있습니다.

시계 기어는 추적하고 표시해야 할 시간 영역만 제대로 나타내면 됩니다. 하지만 다른 시간대로 이동하면 어떻게 될까요? 시계 시간을 새 표준 시간대로 설정하는 기능이 필요합니다. 이것은 시계의 시침을 적절한 시간으로 조정하여 쉽게 수행할 수 있습니다. 모든 기어는 모든 다이얼과 디스플레이를 동시에 조정하여 적절한 시간을 반영(일명 캐스트)하도록 함께 작동해야 합니다. 일부 시계 사용자는 월상 및 조수에 대해 많은 관심을 가질 수 있고 다른 사용자는 한 주의 요일에 대한 정보가 필요할 수 있지만, 이 모든 것이 현재 시간대 내에서 정확하게 반영되어야 합니다.

다시 말하지만 데이터 메시 내에서도 특정 시점을 기반으로 데이터를 다시 캐스팅할 수 있는 기능이 필요합니다. 이는 시간이 지남에 따라 계층 구조가 변경될 때 발생합니다. 원래 계획은 요약 수준인 원래 계층 구조에서 작성됩니다. 그러나 실제 수치는 시간이 지남에 따라 변경될 수 있는 현재 계층을 기반으로 추적됩니다. 많은 데이터 제품에는 계획을 실제 수치와 비교하기 위해 비즈니스의 필요에 따라 데이터를 재구성할 수 있는 기능이 필요합니다. 비즈니스 사용자가 특정 시점 내에서만 일부 데이터 제품을 재구성할 수 있고 다른 제품은 재구성할 수 없다면 그 결과는 의미가 없습니다. 데이터 제품이 실시간, 간헐적 또는 야간 배치와 같은 다른 간격으로 데이터를 새로 고칠 때 현재 계층 구조에서 데이터를 캐스팅하는 것만으로도 문제가 발생할 수 있습니다. 변경 데이터 캡처(CDC), 느린 변경 차원(SCD) 및 서비스 수준 목표(SLG)에 대한 명확한 표준과 모범 사례가 필요합니다. 이를 모든 데이터 제품의 설계에 적용하여 모든 사람에게 시간 유연성과 동시성을 구현해야 합니다.

데이터 메시 내에서 데이터 거버넌스 책임은 데이터 품질, 데이터 통합, 보안, 스키마 설계 및 메타데이터와 같은 데이터 제품 내에서 소유 및 구현하도록 도메인 팀으로 전달됩니다. 이러한 개념은 수년 동안 중앙 집중식 분석 데이터 처리를 수행하여 데이터 관리자를 통해 엔터프라이즈 데이터 관리를 제공해 온 조직 내에서 명확하게 이해됩니다. 소유권이 도메인 팀을 통해 비즈니스 영역으로 이동함에 따라 데이터 제품의 도메인 경계를 관리하고 필요한 데이터를 다른 도메인 및 사용자에게 안전하게 노출할 수 있는 비즈니스 및 기술을 확보해야 합니다.

데이터 제품의 탈중앙화는 민첩성을 가능하게 합니다. 그러나 마스터 계획 없이 수행되면 혼란이 발생하고 결과적으로 포인트 솔루션이 무분별하게 확장됩니다. 우리는 글로벌 표준, 정책 및 모범 사례를 제공하는 시계 제조공 역할의 중요성을 깨닫게 됩니다. 도메인 팀은 그들이 구축하는 데이터 제품이 사용자의 데이터 메시 커뮤니티에 가치를 제공하기 위해 자신의 역할과 책임을 명확하게 숙지해야 합니다.