Data Intelligence - SAP Data Intelligence 란 무엇인가?

- 10월 07, 2021

본 블로그는 SAP Data Intelligence에 대해 처음 들어 보거나 또는 더 자세한 정보를 알고 싶은 분을 위해 SAP Data Intelligence에 대한 기본 정보를 제공합니다.

SAP Data Intelligence 란?

SAP Data Intelligences는 SAP BTP(Business Technology Platform)에서 데이터 관리를 담당하는 솔루션입니다.

SAP Data Intelligence는 엔터프라이즈 급으로 분산된 데이터 자산을 연결, 검색, 강화, 조정해서 실행 가능한 비즈니스 통찰력을 제공하는 포괄적인 데이터 관리 솔루션입니다.

최근 기업의 IT 환경은 전통적인 OnPremise 위주의 DBMS, DW에 추가적으로 Hadoop, Object Storage, Data Lake 등의 Big Data와 Cloud 기반 솔루션 등으로 매우 다양하고 복잡해지고 있습니다. 동시에, 이런 다양한 데이터와 최신 AI 기술을 접목한 비지니스 프로세스 고도화가 요구되고 있습니다.

SAP Data Intelligence는 복잡하고 분산된 데이터 시스템 환경에서 데이터를 빠르게 찾고 필요한 데이터를 수집하고 변환한 후 M/L 기술을 적용하여 기존 비지니스 프로세스를 개선하고 강화합니다.

SAP Data Intelligence 핵심 기능

1. 데이터 통합(Data Integration)

다양한 종류의 데이터 소스 및 데이터 유형에 연결하여 데이터를 연계 및 통합합니다. SAP 애플리케이션 및 데이터베이스뿐만 아니라 하이퍼 스케일러 클라우드 데이터 소스 및 스트리밍 데이터 등 다양한 데이터를 기본적으로 연결하여 처리합니다. 기업 데이터와 빅데이터를 연계하여 활용할 수 있습니다.

데이터 통합 처리 흐름 기반의 파이프 라인을 이용하여 다수의 미리 정의된 통신을 이용하여 비교적 쉽게 구축 할 수 있습니다. 파이프 라인의 각 운영자는 각각 Kubernetes에 Docker 컨테이너에서 독립적으로 작동하기 때문에 확장 측면에서도 용이합니다.

2. 데이터 처리(Data Processing)

데이터 처리는 다양한 처리 엔진을 오케스트레이션하여 End-to-End 데이터 처리 프로세스의 구축이 가능합니다.
예를 들어 SAP BW의 Process Chain 및 SAP HANA 데이터 처리 및 기계 학습 라이브러리, Python 또는 TensorFlow 등 다양한 처리 엔진을 호출하여 원격 실행할 수 있기 때문에 데이터를 이동하지 않고 태스크 프로세스만을 관리 할 수 있습니다.
특히 기계 학습의 실현에 있어서는 기계 학습 시나리오 관련 데이터와 파이프 라인, 노트북, 실행, 배포까지 중앙에서 관리 할 수 있습니다. 이렇게하면 데이터 탐색, 준비, 기계 학습 모델의 실험, 개발, 학습 운영주기 거버넌스를 확보하면서 효율적으로 MLOps 실행를 지원합니다.

3. 데이터 카탈로그(Data Catalog)

연결된 모든 데이터 소스를 걸친 통합 데이터 카탈로그는 엔터프라이즈에서 필요한 데이터 거버넌스를 확보하는 동시에 데이터 품질을 유지하고 이용자의 편리성도 향상시킬 수 있습니다.
데이터 태깅 및 비즈니스 용어, 계보 등 데이터 관련 정보를 함께 관리하고 모든 데이터 소스를 횡단 한 검색이 가능합니다.
데이터 프로파일링(Data Profiling)에 의해 데이터의 특징을 즉시 파악할 수 있습니다.
데이터에 대한 비즈니스 규칙을 정의하고 데이터 품질을 모니터링 할 수 있습니다.
자가 데이터 준비 기능을 사용하여 빠르게 데이터를 수정하고 변환이 가능합니다.