IT 트렌드 - Data Mesh를 통한 데이터 관리의 탈중앙화

이미지
    이번 글에서는 기존 DW, Data Lake 처럼 중앙 집중식으로 데이터 관리하면서 발생되는 문제들을 해결하기 위해 최근 언급되고 있는 새로운 데이터 관리 체계인 Data Mesh 개념에 대해 살표 보겠습니다. Data Mesh 출현 배경 기업은 내/외부의 데이터를 Data Warehouse 또는 Data Lake를 통해 중앙 집중적으로 수집/통합하여 비지니스 사용자들을 지원해오고 있습니다. 과거의 전통적 On-Premise와 최신 Cloud로 전환되면서 더욱 여러 종류의 Data Source들이 출현하고 있습니다. 이렇다 보니 더 많은 데이터 이동과 복잡한 ETL 작업이 수반되고 데이터의 양은 계속 증가되고 결국 어디서 무엇을 찾을 수 있는지 매우 힘들어지는 상황이 되고 있습니다. 또, DW나 Data Lake를 관리/운영 부서들이 모두 IT 중심의 부서이다 보니 각기 다른 비지니스 사용자들의 비지니스 요구 사항에 능동적으로 대응하기가 매우 어렵다는 것입니다. 그래서 전통적인 중앙 집중식 데이터 관리를 벗어나 해결하려는 고민과 시도들이 나타나게 되었습니다. Data Mesh 이란 무엇인가? 최근 Cloud 환경에서 어플리케이션을 개발할 때 기존 Monolithic 방식보다 MicroService Architecture(MSA) 방식을 채택 사례가 증가하고 있습니다. 데이터 관리에서도 이런 MSA 방식과 같이 기존 하나의 거대한 Data Repository가 아닌 각자 Domain별로 나누어서 데이터 관리 체계를 구성하는 접근 방식 나타나고 있습니다. Data Mesh는 최종 사용자가 중요한 데이터를 Data Lake나 Data Warehouse로 통합하지 않고 전문적인 데이터 팀이 개입할 필요 없이 Domain 부서에서 운영 데이터와 분석 데이터를 관리하여 쉽게 액세스할 수 있도록 하는 설계 개념입니다.  Data Mesh는 데이터 관리의 병목 현상과 사일로를 줄이고 데이터 거버넌스를 희생하지 않으면서 확장성을 가능하게 하여 데이터를 제품으로 독립적이

IT 트렌드 - Data Fabric을 통한 기업 데이터 관리의 민첩성과 탄력성 강화

이미지
  이번 글에서는 최근 기업 데이터 환경이 더욱 복잡해지고 다양화되는 상황에서 분산된 데이터의 원활한 활용을 위해 새롭게 제시되고 있는 데이터 관리의 접근 방식인 Data Fabric에 대해 살표 보겠습니다. Data Fabric 출현 배경 많은 기업들이 데이터를 활용하여 자신들의 비지니스에 도움이 되는 방향으로 적극적으로 활용해보려고 시도하고 있습니다. 기업은 이미 비지니스 운영을 위한 다양한 업무(운영) 시스템, 데이터 분석을 위한 데이터 웨어하우스, 빅 데이터 및 데이터 레이크 등을 갖추고 운영하고 있을 것입니다. 온프레미스, 클라우드, 하이브리드 등의 다양한 데이터 환경과 정형, 반정형, 비정형 등의 다양한 종류의 데이터 등의 다양한 시스템과 애플리케이션들이 여기에 해당될 것입니다. 데이터가 여러 분산된 시스템에 저장되어 있다 보니, 비지니스 사용자들은 본인들이 원하는 데이터를 찾고 접근하기가 더욱 어려워지고 또한 IT 관리자는 이런 요구 사항을 지원하기 위해 더 많은 시간과 노력을 데이터 관리에 소비하고 있습니다. Gartner 등의 외부 컨설팅 및 평가 기관들은 이미 몇 년 전부터 이런 문제들의 해결책으로 Data Fabric 이라는 용어를 IT 트렌드 보고서에 제시해오고 있습니다. Data Fabric 이란 무엇인가? 먼저, Fabric이라는 용어는 직물(Weave)처럼 여러 실(선)들이 교차 연결된 것처럼 서로 다른 데이터 소스들을 하나의 플랫폼으로 통합시키고 데이터 관리를 단순화한다는 것을 의미입니다. Gartner는 Data Fabric을 데이터 및 연결 프로세스의 통합 레이어(패브릭) 역할을 하는 설계 개념으로 정의하고 있습니다. Data Fabric은 기존의 메타 데이터에 대한 검색이 가능하고 추론된 메타데이터 자산에 대한 지속적인 분석을 활용하여 하이브리드 및 다중 클라우드 플랫폼을 포함한 모든 환경에서 통합되고 재사용 가능한 데이터의 설계, 배포 및 활용을 지원합니다. Gartner - Data Fabric Architecture is

SAP LOB 확장 - SAP Marketing Cloud 데이터 활용을 통한 비지니스 고도화

이미지
  이번 글에서는 SAP가 제공하는 다양한 LOB 솔루션들중의 하나인 SAP Marketing Cloud 데이터를 활용해서 SAP Marketing Cloud의 비지니스를 고도화하는 방법에 대해 알아보겠습니다. 특히, SAP BTP의 Data Intelligence Cloud의 데이터 통합과 머신 러닝 기능을 활용해서 Data를 Value로 전환하는 방법에 대해 살표보겠습니다. 비지니스 목표 A기업 마케팅 담당자는 상품 판매 촉진을 위해 최초 구매에 대한 프로모션 진행을 계획하고 있습니다. 그런데, 프로모션 대상자 선택(예상 구매자)을 어떻게 해야 할지에 대한 문제에 직면하게 되었습니다. 내부 회의 끝에 머신 러닝을 활용한 과학적 방법으로 접근 하기로 결정을 하였습니다. 현재 A기업이 사용중인 마케팅 솔루션인 SAP Marketing Cloud의 사용자 기본 정보와 사용자 행동 정보를 기반으로 사용자가 30일 이내에 상품을 최초 구매할지 여부를 파악한 후 예상 구매자에 대한 마케팅 프로모션을 진행하려고 합니다. 솔루션 및 구현 SAP BTP에서는 머신 러닝 개발을 위해 다음과 같은 솔루션과 기능들을 제공합니다. HANA Cloud, HANA - 머신 러닝 엔진(PAL/APL Library) Data Intelligence Cloud - 개발 도구(JupyterLab), 머신 러닝 운영 자동화(Pipeline) 이 비지니스 시나리오에서 머신 러닝을 선택한 이유는 머신 러닝 모델의 개발을 통해 예상 구매자의 구매 예측 점수를 예측한 후, 이 점수를 바탕으로 마케팅 프로모션을 진행하려고 하기 때문입니다. 전 체적인 구현 절차는 다음과 같습니다.    1. SAP Marketing Cloud에서 사용자 관련 마스터 데이터와 행동 데이터 추출    2. 머신 러닝을 위한 데이터 준비 - 머신 러닝 학습(모델 생성)에 알맞은 형태로 변환    3. 머신 러닝 학습(모델 개발) 및 예측 - 예측 점수    4. 예측 점수를 SAP Marketing Cloud로 전달

DI 구축사례 - 오뚜기 : 데이터 작업 간소화와 예측 분석 업무 활용

이미지
  이번 글에서는 SAP BTP의 Data Platform를 도입하여 데이터 중심(data-driven)의 혁신적 업무를 진행한 사례를 전달해 드립니다. 특히,  SAP Data Intelligence Cloud를 활용하여 데이터 작업의 간소화와 상품 수요에 대한 예측 업무에서 활용 사례를 중심으로 살표보겠습니다. 회사 개요 회사 : Ottogi ( http://www. ottogi.co.kr/ ) 본사 : Seoul , Korea 산업 : Retail 식품 회사 - 식품, 라면, 냉동식품, 케첩, 카레, 마요네즈 등 식료품 제조 및 판매업 비지니스 목표 및 문제 오뚜기는 비지니스 프로세스에 대한 가시성 향상을 위해서 기업 내/외부의 데이터를 기반으로 수요 예측을 통한 기존 비지니스 개선과  이전부터 기업 구성원들이 경험이 아닌 데이터를 기반으로 비지니스 실행이 과학적으로 처리되길 원하였습니다. 기존의 경험적 수요 예측의 한계로 인한 정확한 상품 생산, 판매, 재고 등의 문제 해결 데이터 기반의 상품 수요에 대한 정확한 예측을 통한 생산, 영업, 재고 문제 해결 기존 데이터 처리 및 분석을 살펴보면, 구성원 개인 컴퓨터 환경에서 내부 데이터 및 외부 데이터를 수집한 후, 오픈 소스를 활용하여 개별적으로 처리하다 보니 다음과 같은 문제도 존재했습니다. 모든 데이터의 작업이 수동 작업으로 처리되어 많은 시간과 비용, 제약, 생산성 저하 개인별 데이터 작업으로 데이터에 대한 신뢰성과 거버넌스에 대한 이슈    프로젝트 구축 오뚜기는 지속적으로 데이터 기반의 비지니스를 수행하고 기존 문제 및 비지니스 목표를 달성하기 위해서는 전문적인 데이터 플랫폼이 반드시 필요하다고 판단하였습니다. 기존 데이터 운영 환경과 미래 비전 등의 다양한 요구 사항을 검토한 결과 SAP BTP의 Data Platform이 최적이라고 판단되어 도입을 결정하였고 프로젝트를 진행하였습니다. 데이터 수집 자동화 - 채널(할인마트, 편의점, 온라인 등)의 자사 판매 데이터의 수집 자동화 오픈 소스 거

Data Intelligence 비지니스 사례 - Data Intelligence Cloud를 통한 고객 이탈 방지를 위한 데이터 프로세스 수행 절차

이미지
   이번 글에서는  기업의 데이터 전문가 구성원들이 SAP Data Intelligence Cloud 솔루션의 도움을 받아서 데이터 중심의 혁신적 업무를 중단 없이 수행하는 모습을 설명합니다. 데이터를 최대한 활용하는 것은 기업의 성공에 매우 중요합니다. 모든 데이터를 활용하면 중요한 통찰력을 발견할 수 있습니다. 하지만 분산된 하이브리드 환경에서 데이터 가치를 극대화하려면 어떻게 해야 할까요? 다음은 통신 회사에서 고객 이탈률이 높은 이유를 파악하고 취해야 할 조치를 결정하려는 데이터 시나리오를 살펴보겠습니다. 비지니스 문제 A통신사는 계속된 고객 이탈에 대한 대응책으로 이탈이 예상된 고객군을 선별하여 마케팅 프로모션을 진행하려고 합니다. A통신사 데이터 전문가 구성원 - 데이터 엔지니어, 데이터 관리자, 데이터 과학자, 데이터 아키텍트 - 들은 SAP Data Intelligence Cloud 솔루션을 가지고 어떻게 자신들의 데이터 프로세스 업무를 구현할 것인지를 토론합니다. A통신사는 현재 고객과 관련된 데이터가 SAP S/4HANA, SAP DWC, AWS S3에 보관되어 있습니다. 데이터 조직 구성원 별 데이터 업무 수행 1. 데이터 엔지니어 데이터 연결, 통합, 오케스트레이션 SAP Data Intelligence Cloud를 사용하면 원하는 방식으로 어디서나 모든 데이터를 검색하고 연결할 수 있습니다. 클라우드 및 온프레미스 전반에 걸쳐 정형, 비정형 및 스트리밍 데이터에 걸쳐 SAP 및 Non-SAP 시스템을 통합할 수 있습니다. 데이터 엔지니어인 김대리가 고객 이탈을 줄이기 위해 데이터를 연결하고 하는 방법을 살펴보겠습니다. 1단계 - 김대리는 고객과 고객 행동에 대한 사용 가능한 데이터를 연결하고 통합해야 합니다. S/4HANA와 S3에는 상세하고 집계된 고객 데이터가 있습니다. 2단계 - SAP Data Intelligence Cloud의 Modeler에서 김대리는

SAP TechEd 2021 - Database & Data Management 트랙 정보

이미지
  이번 글에서는 SAP TechEd 2021에서 소개된 Database & Data Management 트랙의 세부 세션에 대한 정보를 소개합니다. SAP 데이터 솔루션들에 대한 최신 기술 정보를 배우고 활용하실 수 있습니다. SAP TechEd 2021 는 11월 16일에 시작하여 48시간 논스톱 가상 경험을 제공하였습니다. SAP 솔루션에 대한 기술 이야기를 듣고, 영감을 얻고, 지식을 힘으로 바꾸십시오! 올해의 SAP TechEd는 가상 환경에서 쉽게 액세스할 수 있는 경험을 얻으실 수 있습니다. 가상 실습 워크샵을 통해 제품 지식을 더 깊게 담고, 강의 및 세부 세션을 듣고, 로드맵 강의를 통해 계획에 대해 배우고, Q&A 세션을 통해 전문가의 통찰력을 얻을 수 있습니다. Database & Data Management 솔루션은 SAP Business Technology Platform을 강화하여 단일 게이트웨이를 통해 모든 데이터에 대한 포괄적인 액세스를 통해 데이터 환경을 완벽하게 제어할 수 있습니다. 이 트랙에서는 SAP HANA Cloud와 클라우드 중심 전략을 통해 데이터를 비즈니스 가치로 전환하는 방법과 SAP Data Intelligence를 통해  기업 데이터를 효과적으로 관리하고, 고품질 데이터를 통합하고, 어디에 있든 고품질 데이터에 대해 조치를 취할 수 있는 방법을 배우게 됩니다. 또한, SAP는  Database & Data Management 솔루션을 활용하여  비즈니스 프로세스에 인텔리전스를 제공하고 복잡성과 비용을 줄이고, 하이브리드 환경에서 데이터를 통합하고 모니터링하고, 새로운 통찰력을 발견하고, 데이터 관리를 단순화하고, 규정 준수를 보장합니다. SAP TechEd 2021의 Database & Data Management 트랙에서는 SAP HANA Cloud, SAP Data Intelligence, SAP Master Data Governance, EIM Portfolio와 같은

DI 구축사례 - AB InBev : SAP 데이터를 Data Lake로 실시간 통합

이미지
이번 글에서는 벨기에의 다국적 음료 기업인 AB InBev(AB인베브)가 다양한 데이터의 통합 즉, SAP 및 Non-SAP 데이터를 Data Lake로 통합하기 위해 Data Intelligence Cloud를 선택한 사례를 소개합니다. 회사 개요 회사 : AB InBev(AB인베브) 본사 : Leuven, Belgium 산업 : 식음료  웹사이트 :  https://www.ab-inbev.com/ Anheuser-Busch InBev(AB InBev)는 벨기에에 본사를 둔 다국적 음료 대기업입니다. 150개국에서 600개 이상의 맥주 브랜드를 운영하고 있는 세계 최대 맥주 양조업체입니다. 가장 잘 알려진 브랜드로는 Stella Artois, Budweiser, Corona가 있습니다. 고객 상황 및 문제 AB InBev는 S/4HANA, Central Finance, MDG 중심으로 글로벌 변환 프로그램인 Aurora를 진행하고 있습니다. 그들은 주요 Microsoft 고객이며 Azure에서 SAP 애플리케이션을 호스팅하고 있습니다. 그들은 SAP 및 Non-SAP 환경의 데이터를 통합하는 Brewdat이라는 Azure 기반 Data Lake를 구축하려고 합니다. 그들은 Brewdat 플랫폼에서 개발에만 집중하는 대규모 데이터 과학자 및 개발자 팀을 보유하고 있습니다. 기존 작업이 원활하게 실행되도록 하려면 SAP 데이터를 데이터 레이크에 복제해야 합니다. 따라서 주요 과제는 SAP 데이터와 Brewdat 플랫폼을 통합하는 것입니다. Aurora 환경이 HANA 런타임 라이선스에서 실행되는 동안 AB InBev는 SAP에서 Brewdat으로 데이터를 전송할 때 제한 사항에 직면하고 되었습니다. 처음에는 3rd-party 솔루션(Azure)을 사용하여 이를 달성할 계획이었지만 결국 Data Intelligence Cloud를 사용하기로 결정했습니다. 솔루션 기대 및 장점 AB InBev는 Aurora 프로그