1. Cos’è il Data Fabric?
Il termine «Data Fabric» sta diventando sempre più popolare come scelta di progettazione delle Data Platform da parte delle organizzazioni. L’intento di questo paradigma, come per il Data Mesh, è realizzare data platform che supportino la crescente richiesta di dati e iniziative basate su di essi all’interno delle organizzazioni, aumentando in maniera graduale la diffusione, la qualità e la fruibilità del patrimonio informativo aziendale.
Definito da Gartner un “design concept that serves as an integrated layer (fabric) of data and connecting processes“, il Data Fabric abilita processi di analisi continua delle relazioni di metadati esistenti al fine di attivarli e fornire informazioni utili a supportare casi d’uso basati sull’utilizzo dei dati e velocizzare il time to market nello sviluppo di soluzioni data driven.
La promessa di questo «design concept» è dunque quella di semplificare e velocizzare la trasformazione delle organizzazioni attraverso la graduale limitazione delle attività manuali previste nelle fasi di integrazione, gestione, manutenzione e orchestrazione dei dati all’interno delle piattaforme dati.
In questo paradigma, il tema ”metadati” è uno degli aspetti chiave, perché fondamentale al fine di automatizzare (anche con sistemi di Intelligenza Artificiale o Machine Learning) il data management, attraverso l’utilizzo di Augmented Data Catalog e Knowledge Graph.
2. Perché puntare al Data Fabric?
Per aziende e imprese, i dati sono senza dubbio uno dei principali driver nell’ambito dell’innovazione e della digital transformation. Il forte interesse da parte delle organizzazioni verso i dati e l’esplosione di tecnologie in quest’ambito, ha portato alla realizzazione e all’utilizzo di grandi, complesse e disparate Data Platform che, spesso, soffrono di alcuni limiti (non solo tecnologici).
Negli ultimi anni molte aziende si sono infatti dotate di diverse strutture dati, quali Data Warehouse e Data Lake, per supportare i rilevanti e sempre maggiori use case di Business Analytics e Data Science; tuttavia, l’eterogeneità e la complessità delle architetture dati implementate, le differenti tecniche di data integration e la realizzazione di stratificazioni nel tempo hanno spesso generato scarsa fiducia nel dato da parte di business analyst e data scientist, difficoltà nel reperire il dato ricercato, tempi lunghi nella realizzazione di iniziative data driven, problemi di ownership del dato o indisponibilità dello stesso.
Il Data Fabric è in grado di superare questi limiti attraverso la progettazione di piattaforme che sfruttano largamente automazione e AI per rendere più flessibile e agile la realizzazione di iniziative data driven.
3. I 4 pilastri del Data Fabric
I pilastri principali di questo paradigma sono i seguenti:
1. Collezionare e analizzare ogni tipo di metadato
Collezionare ed analizzare le informazioni di contesto (metadati) pone le fondamenta del dynamic Data Fabric design. Occorre quindi realizzare dei meccanismi utili a identificare, razionalizzare, connettere e analizzare in maniera continua le diverse tipologie di metadati raccolti dai processi che compongono la Data Platform. Le forme di metadato che vengono considerate sono di qualsiasi forma e genere: da quelli tecnici e operazionali a quelli business e sociali.
2. Convertire i metadati da «passivi» ad «attivi»
Il Data Fabric richiede l’attivazione dei metadati: i metadati passivi, comuni nei tradizionali paradigmi dati, sono un punto di partenza ma è centrale il concetto di “attivazione” del metadato applicando una serie di processi (tecnici e non solo) al fine di derivare tutte le informazioni e gli insight “nascosti” nei metadati e generare una rete di relazione tra questi al fine di renderli utili al Data Fabric come fondamenta dell’Information Knowledge Graph. Per ottenerlo, partendo dalla raccolta di tutti i metadati passivi, è fondamentale applicare:
- L’analisi continua dei metadati disponibili per estrarne le metriche chiave e le statistiche che serviranno a costituire il “graph model”;
- Rappresentare la collection di metadati con una grafica di facile comprensione, esplicitandone le relazioni in maniera rilevante anche per il business;
Sfruttare le metriche dei metadati per abilitare algoritmi, che attraverso l’apprendimento automatico possano fornire previsioni avanzate rispetto alla gestione e l’integrazione dei dati.
3. Creazione e manutenzione del «Knowledge Graph»
Il concetto di Knowledge Graph si pone l’obiettivo di abilitare la possibilità di avere uno strumento centrale utile a derivare valore di business dalle Data Platform del futuro. Il Knowledge Graph consta in una sorta di livello semantico che rende più semplice e intuitiva:
- L’interpretazione dei dati, le relazioni tra i dati, anche dal punto di vista business;
- La realizzazione di nuove analisi, anche in modalità self-service;
- La definizione di processi automatizzati, sia in parte che completamente, per la realizzazione di pipeline di data integration;
- L’orchestrazione fluida dei flussi dati sia per sistemi analitici che operazionali.
4. Avere una robusta e completa struttura di data integration
Il Knowledge Graph e in generale l’approccio Data Fabric si pone on-top alle tecnologie esistenti e utilizzate allo stato dell’arte dalle organizzazioni, aggiungendo un livello di informazione, derivata da processi automatici e arricchito della conoscenza dei domini aziendali, utile a semplificare e velocizzare una serie di aspetti del life-cycle del dato.
Il Data Fabric deve anche essere compatibile con diversi stili di delivery, che costituiscono la spina dorsale e il potenziale delle Data Platform, integrandosi quindi con le varie metodologie e data user coinvolti, a partire dalle aree IT o specialisti del settore che si occupano della realizzazione dei processi di integrazione più complessi e sfidanti, fino ad arrivare agli utenti di business che fruiscono il dato in modalità self-service per la realizzazione di progettualità di più semplice natura. Il Data Fabric deve quindi supportare stili quali ETL/ELT, streaming, replication, messaging, data virtualization o ancora data microservices.
4. L’obiettivo del Data Fabric
Lo scopo del Data Fabric è dunque definire una rete di conoscenza che metta a fattor comune dati, metadati e automatizzazioni al fine di supportare l’integrazione di ogni tipologia di dato e applicazione all’interno di una Data Platform capace di utilizzare le molteplici metodologie di delivery utili alla gestione del ciclo di vita del dato.
Molte organizzazioni fanno fatica a comprendere il Data Fabric e spesso si rischia di far confusione, pensando si tratti di nuovi tools, tecnologie o architetture, ricercando quindi nel mercato un singolo prodotto che possa abilitare il Data Fabric. Suggeriamo di vedere questo paradigma come un’evoluzione del design delle «Enterprise logical data platform» che, concentrandosi sull’attivazione dei metadati e sull’applicazione di logiche automatizzate, si pone l’obiettivo di poter gestire sia use case analitici sia use case operazionali ottimizzando la qualità del dato, la semplicità d’uso del sistema e l’autonomia delle figure IT e Business coinvolte nel ciclo di vita del dato.
Le tecnologie e gli algoritmi non sono, allo stato dell’arte, ancora «pronti» per abilitare questo tipo di disegno, occorre quindi definire una strategia di approccio incrementale (in attesa che la tecnologia sia matura), sperimentare nuovi tool di vendor emergenti o ancora realizzare alcuni dei meccanismi attraverso sviluppi custom e ad hoc.
5. Data Fabric vs. Data Mesh
Data Fabric e Data Mesh sono senza dubbio le tendenze attualmente più discusse nel mondo del data management. Questo implica inevitabilmente l’emergere di dubbi e domande, quali:
- Data Fabric e Data Mesh sono integrabili e, se sì, come?
- Il Knowledge Graph può essere implementato solo con un database a grafo?
- Intelligenza Artificiale e Machine Learning, allo stato dell’arte, sono sufficientemente maturi per supportare in maniera solida il paradigma Data Fabric?
- Quanto è alto il rischio di produzione di data silos abbracciando il Data Mesh?
- Quanto è complesso il processo di transizione da architetture monolitiche a paradigmi come Data Mesh e Data Fabric?
Queste domande, oltre a tutte quelle che emergeranno durante la transizione, sono inevitabili in un contesto di trasformazione come quello proposto da questi nuovi paradigmi. Bisogna inoltre essere consapevoli che non tutti i contesti organizzativi sono pronti o adatti ad un cambiamento come questo. Porsi domande e dubbi prima di procedere in tal senso, dunque, è “naturale” e persino consigliato.
Una prima risposta di alto livello chiarisce che, pur cercando di indirizzare problematiche simili, Data Fabric e Data Mesh si sviluppano in due modi abbastanza diversi.
Il Data Fabric partendo da metadati e dati opportunamente relazionati e attivati porta all’automatizzazione e alla semplificazione di alcuni dei processi comuni nella gestione ed evoluzione di una data platform, favorendo (in maniera data-driven) la diffusione di data knowledge, data sharing, data quality, data integration e molto altro.
Il Data Mesh propone invece un paradigma con impatti molto più ampi a livello organizzativo/sociale, proponendo una soluzione più trasversale a tutte le sfere di cui è composta un’organizzazione; nel Data Mesh la tecnologia è solo uno dei tanti aspetti che vanno affrontati durante la transizione.
Le cose si complicano ulteriormente quando, una volta compresa a fondo la materia, ci si rende conto che in qualche modo i due paradigmi possono anche coesistere e lavorare in maniera sinergica. È quindi importante per le organizzazioni che intendono abbracciare questo genere di paradigmi, dotarsi di una robusta data strategy e affrontare il cambiamento in maniera incrementale, partendo da tecnologie ed architetture già esistenti ed evolvendole step-by-step in base alle necessità (e con il giusto senso critico).
Riccardo Piva, Senior Manager
Vuoi esplorare le nostre soluzioni in ottica Data Fabric?
Contattaci per approfondire il potenziale dei metadati per le data platform del futuro.
