I Big Data: cosa sono e come utilizzarli in una prospettiva di Data Strategy

1. Cosa sono i Big data

I Big data sono una risorsa in continua crescita e sono connotati dalle cosiddette “3 V”: grandi Volumi, Varietà nella tipologia e nei formati dei dati, Velocità con la quale vengono generati in modalità streaming. Ed è proprio per via di queste caratteristiche che richiedono approcci sempre più efficaci per la loro gestione, analisi e utilizzo.
I Big data appresentano una risorsa preziosa per le imprese, per le organizzazioni e per la società nel suo complesso, perché possono consentire di prendere decisioni più consapevoli, stimolare l’innovazione, migliorare i servizi, scoprire insight nascosti e sviluppare soluzioni per la collettività. Ecco alcuni aspetti che possono abilitare:

Decisioni guidate dai dati: con la crescita esponenziale dei dati generati, è fondamentale saperli sfruttare per prendere decisioni informate. I Big data forniscono una panoramica più completa delle informazioni, permettendo di identificare tendenze, modelli e correlazioni che altrimenti potrebbero essere sfuggiti. Questo aiuta a prendere decisioni migliori e più tempestive, a migliorare l’efficienza operativa e a ottenere un vantaggio competitivo.

Innovazione e sviluppo: i big data offrono opportunità di innovazione e sviluppo in vari settori. L’analisi dei dati può rivelare nuove idee, prodotti o servizi, e aiutare a individuare bisogni dei clienti e tendenze emergenti. Ciò consente alle imprese di adattarsi alle mutevoli esigenze del mercato e di offrire soluzioni innovative.

Servizi migliori: con l’analisi dei big data, le organizzazioni possono comprendere meglio le preferenze e le esigenze dei clienti. Questo permette di personalizzare i servizi e ottimizzare l’esperienza complessiva del cliente. Ad esempio, l’analisi dei dati può aiutare a fornire raccomandazioni personalizzate, offerte mirate e supporto clienti più efficace.

Scoperta di insight nascosti: i big data possono rivelare insight preziosi che potrebbero non essere evidenti a prima vista. Attraverso la Advanced Analytics, l’apprendimento automatico e l’intelligenza artificiale, è possibile scoprire correlazioni inaspettate, identificare anomalie o individuare opportunità di business. Questi insight nascosti possono aprire nuovi orizzonti e consentire di ottenere un vantaggio competitivo di breve e lungo periodo.

Sviluppo di soluzioni per la Società: l’analisi dei big data può essere utilizzata per affrontare sfide sociali complesse. Ad esempio, nella Sanità, possono essere utilizzati per migliorare la diagnosi, identificare epidemie, prevedere malattie o migliorare la gestione delle risorse sanitarie. Nell’ambito della mobilità, invece, i dati possono aiutare a migliorare i trasporti pubblici, ridurre la congestione stradale e ottimizzare i percorsi.

2. Big data analytics

Oltre ad utilizzare i dati strutturati provenienti dai sistemi transazionali (OLTP) tradizionali, le organizzazioni hanno ora la possibilità di sfruttare le enormi potenzialità dei Big data, ovvero dati, spesso real-time, generati da macchine (es. Telco, IoT, Industry 4.0) e persone (navigazione web, cookie, app, dispositivi, ecc.). Questi dati possono essere strutturati, non strutturati o semi-strutturati, e in questi casi si parla di Big data analytics.

Oggi con questo termine intendiamo indicare tutte le tecniche e le tecnologie che consentono di raccogliere e gestire i Big Data, integrarli con dati tradizionali, elaborarli e trasformarli in “Small data”: informazioni comprensibili utili a migliorare un processo decisionale. A tale scopo, gli aspetti fondamentali che devono essere presenti in una soluzione vincente di Big data analytics sono:

• Ingestion & Storage

• Compute & Querying

• Sharing & Governance

Mentre storicamente si è dedicata molta attenzione ai processi di Ingestion e Storage, molte piattaforme di Big data analytics non hanno soddisfatto le aspettative, perché carenti dal punto di vista della computazione e delle performance in fase di interrogazione. La selezione delle migliori tecnologie, in base ai casi d’uso definiti all’interno della propria Data Strategy, è invece spesso più importante dello storage stesso: solo grazie alle elaborazioni è possibile trasformare i Big data in informazioni, traendone valore. Non di meno, una giusta Data Governance e una corretta gestione di Data Catalog e Lineage risultano fondamentali per la fruibilità dei dati.

3. Big data management: una prospettiva di Data Strategy

La Data Strategy è un elemento fondamentale per gestire in modo efficace i Big data, perché definisce l’approccio complessivo all’utilizzo dei dati all’interno di un’organizzazione per supportare gli obiettivi aziendali, stabilisce la governance dei dati, definisce l’architettura dei dati e l’approccio all’analisi:

Obiettivi aziendali: La data strategy allinea l’uso dei big data agli obiettivi aziendali. Definisce le priorità e gli obiettivi specifici relativi ai dati, come l’aumento delle vendite, il miglioramento dell’esperienza e del livello di soddisfazione del cliente o l’ottimizzazione delle operazioni. La strategia dei dati guida l’intera organizzazione nell’utilizzo dei big data per supportare le decisioni e gli obiettivi aziendali.

Governance dei dati: La data strategy include anche l’implementazione di una governance dei dati solida. Questo comprende l’assegnazione di responsabilità, l’implementazione di politiche e procedure per la gestione dei dati, la definizione di standard di qualità dei dati e il rispetto delle normative sulla privacy e sulla sicurezza dei dati. Una governance efficace assicura che i dati siano accurati, affidabili e utilizzabili per le analisi e le decisioni.

Architettura dei dati: La data strategy definisce l’architettura dei dati necessaria per la gestione dei big data. Questa comprende decisioni su come archiviare, organizzare e integrare i dati provenienti da diverse fonti. L’architettura dei dati deve garantire l’accesso efficiente ai dati, la scalabilità e la sicurezza. La strategia dei dati stabilisce i requisiti tecnologici e le infrastrutture necessarie per supportare la gestione dei big data.

Analisi dei dati: La data strategy include anche l’approccio all’analisi dei big data. Definisce le tecniche, gli strumenti e le metodologie utilizzate per estrarre insight e informazioni significative dai dati. Questo può includere l’utilizzo di algoritmi di machine learning, l’intelligenza artificiale, l’analisi predittiva o altre tecniche avanzate di analisi dei dati. La strategia dei dati stabilisce come vengono effettuate le analisi per ottenere valore dai big data. Per questo, è fondamentale tener conto che la strategia che si sceglie oltre a stabilire come vengono effettuate le analisi, ne determina il valore intrinseco che si può estrarre dai big data.

4. Big data, Intelligenza Artificiale e Machine Learning

Big data, Intelligenza Artificiale (IA) e Machine Learning sono strettamente legati e vengono spesso utilizzati insieme per sfruttare appieno il potenziale dei dati e affrontare problemi complessi. Vediamo come sono collegati:

I Big data forniscono l’enorme quantità di dati necessaria per addestrare i modelli di Machine Learning in modo accurato e rappresentativo della realtà;
Il Machine Learning è una delle principali tecnologie utilizzate per analizzare i Big data, identificare pattern, relazioni nascoste e fare previsioni o prendere decisioni basate su tali informazioni;
L’IA, in generale, guida la ricerca e lo sviluppo di sistemi intelligenti e complessi che possono comprendere, elaborare e trarre conclusioni dai dati massicci e complessi presenti nei Big data.
La combinazione di Big data, IA e Machine Learning ha un impatto significativo su vari settori, come la salute, il trasporto, la finanza, l’e-commerce, l’industria manifatturiera e molti altri, consentendo di ottenere insight preziosi, migliorare l’efficienza e prendere decisioni più informate e consapevoli.

5. Casi di studio: Banking e Sanità

L’utilizzo dei Big data può portare benefici significativi a diversi settori: da quello bancario e finanziario a quello sanitario, del commercio al dettaglio, delle telecomunicazioni, del manifatturiero, di trasporti e logistica e molti ancora. E non solo: molti altri settori, come quello energetico, l’istruzione, l’agricoltura e l’amministrazione pubblica, possono trarre vantaggio dal loro utilizzo.
In particolare, il settore bancario ha adottato ampiamente l’utilizzo dei Big data per migliorare i processi operativi, l’esperienza del cliente e la gestione del rischio.
Sfruttare i dati in modo strategico può inoltre portare a opportunità di Data Monetization, ovvero la pratica di utilizzare i dati raccolti per creare valore aggiunto e generare nuove fonti di ricavi. Ciò può essere realizzato in diversi modi:

Analisi dei dati per migliorare i servizi: le banche possono analizzare i dati per ottenere una comprensione più approfondita dei comportamenti dei clienti, delle preferenze di spesa, delle abitudini finanziarie e altro ancora. Queste informazioni possono essere utilizzate per personalizzare i servizi bancari, offrire prodotti su misura e migliorare l’esperienza del cliente.

Offerta di servizi di analisi dati: le banche possono offrire servizi di analisi dei dati ai loro clienti. Ad esempio, possono fornire consulenza finanziaria basata su analisi predittive e modelli di rischio, consentendo ai clienti di prendere decisioni più informate sulla gestione del denaro e degli investimenti.

Vendita di dati aggregati: le banche possono aggregare e anonimizzare i dati per creare insiemi di dati più ampi e vendere queste informazioni a terze parti. Ad esempio, i dati sulle tendenze di spesa dei consumatori possono essere venduti a società di ricerca di mercato o a istituti finanziari per analisi di mercato e valutazioni del rischio.

Partnership e collaborazioni: le banche possono stringere partnership o collaborazioni con altre organizzazioni, come fintech o società di tecnologia, per sfruttare i dati congiuntamente e sviluppare nuovi prodotti o servizi basati sui dati.

Tuttavia, è importante sottolineare che la Data Monetization nel settore bancario solleva anche questioni di privacy e sicurezza dei dati. Le banche devono aderire a normative rigorose per garantire la protezione dei dati personali e ottenere il consenso adeguato all’utilizzo dei dati. Il rispetto delle leggi sulla privacy, come il GDPR, è fondamentale per evitare violazioni della privacy e mantenere la fiducia dei clienti. Inoltre, devono adottare misure adeguate per proteggere i dati sensibili e prevenire l’accesso non autorizzato o l’abuso delle informazioni finanziarie.
Un altro caso di studio di grande rilevanza nell’ambito banking è rappresentato dalla prevenzione delle frodi: raccogliendo e analizzando grandi quantità di dati, come transazioni bancarie, informazioni sui clienti e modelli di comportamento, le banche possono identificare anomalie e modelli sospetti che potrebbero indicare attività fraudolente.

Nel settore sanitario, invece, l’uso dei Big data può portare a migliori decisioni cliniche, miglioramenti nell’assistenza sanitaria e scoperte scientifiche. Ad esempio, la medicina di precisione sfrutta i big data per personalizzare la diagnosi e il trattamento dei pazienti. Raccogliendo e analizzando una vasta gamma di dati, tra cui informazioni genetiche, dati clinici, dati demografici e dati di monitoraggio, i professionisti sanitari possono identificare pattern, correlazioni e risposte individualizzate ai trattamenti. Ciò consente di adattare i piani di cura in base alle caratteristiche specifiche del paziente, migliorando l’efficacia dei trattamenti e riducendo gli effetti collaterali. Questi sono solo esempi di casi di studio e che l’utilizzo dei Big data nel settore bancario e sanitario può estendersi a molte altre aree, come l’analisi delle esperienze dei clienti, l’ottimizzazione delle risorse e la ricerca medica.

6. Tecnologie a servizio dei Big data

Vista la loro natura complessa e i grandi volumi in gioco, quando si ha a che fare con i Big data occorrono nuove architetture e nuovi paradigmi per estrarre efficacemente valore. Negli ultimi anni sono così nate nuove tecnologie per supportare l’elaborazione, l’analisi e la gestione dei big data. Ecco alcune delle principali tecnologie a servizio dei Big data:

Sistemi di archiviazione distribuita: Tecnologie come HDFS (parte del framework Hadoop) e Object Storage offrono sistemi di archiviazione distribuita che consentono di gestire grandi volumi di dati su cluster di server. Questi sistemi consentono l’archiviazione e l’elaborazione distribuita dei dati, consentendo prestazioni elevate, costi contenuti e scalabilità.

Sistemi di gestione dei database: I tradizionali sistemi di gestione dei database sono stati affiancati da nuove alternative, i database NoSQL, in grado di gestire le nuove tipologie di dati non strutturati e semi-strutturati. Alcuni esempi sono Apache Cassandra, MongoDB e Apache HBase, che consentono la gestione di grandi quantità di dati distribuiti su cluster di server.

Framework di elaborazione parallela in real-time (o parallela in streaming): Tecnologie come Apache Spark, Apache Flink e Apache Storm consentono l’elaborazione parallela dei dati in tempo reale. Questi framework consentono di eseguire analisi complesse sui big data in modo scalabile e veloce.
Tecnologie come Apache Kafka e Apache NiFi consentono di gestire e orchestrare flussi di dati in tempo reale. Questi strumenti facilitano la raccolta, l’elaborazione e la distribuzione dei dati in modo efficiente e affidabile.

Strumenti di analisi dei dati: Ci sono vari strumenti e piattaforme di analisi dei dati che supportano l’estrazione di insight dai big data. Alcuni esempi includono Apache Hadoop, Apache Hive, Apache Pig, Apache Impala, Tableau e Power BI. Questi strumenti consentono l’analisi, la visualizzazione e l’interpretazione dei dati per ottenere informazioni significative.

Tecnologie di intelligenza artificiale e machine learning: Le tecnologie di intelligenza artificiale, come il machine learning e il deep learning, sono utilizzate per estrarre valore dai big data. Framework come TensorFlow, PyTorch e scikit-learn consentono di addestrare e implementare modelli di machine learning su grandi quantità di dati.

Strumenti di visualizzazione dei dati: Le tecnologie di visualizzazione dei dati, come Tableau, QlikSense,Power BI e Amazon Quicksight consentono di creare visualizzazioni interattive e intuitive dei dati. Questi strumenti facilitano la comprensione e l’interpretazione dei big data attraverso grafici, grafici e dashboard. Rispetto alle tecnologie di visualizzazione più tradizionali legate al mondo della Business Intelligence, questa nuova generazione di prodotti abilita un nuovo livello di interazione self-service più immediata per l’utilizzatore finale.

7. Big Data e Cloud

Il Cloud è un importantissimo abilitatore per i Big data. Consente di sfruttare al massimo i vantaggi delle architetture parallele a scalabilità orizzontale, attivando i nodi di computazione solo quando servono e ottenendo così prestazioni superiori e ottimizzazione dei costi. In questo modo permette alle organizzazioni di sfruttare al meglio i loro dati, facilitandone l’elaborazione, l’analisi e, più in generale, accelerando l’innovazione. Più dettagliatamente ecco i diversi modi in cui il Cloud si rivela un fondamentale abilitatore per i Big data:

Scalabilità: Il cloud consente di scalare le risorse di calcolo e archiviazione in base alle esigenze dei big data. Permette di aumentare o ridurre facilmente la capacità in base al volume dei dati o ai picchi di carico, senza dover acquistare e gestire infrastrutture hardware dedicate. Ciò consente di gestire grandi volumi di dati in modo efficiente e di adattarsi rapidamente alle fluttuazioni della domanda.

Elasticità: consente di assegnare e liberare rapidamente risorse di calcolo e archiviazione in base alle esigenze dei big data. Questo permette di adattare le risorse alle variazioni dei carichi di lavoro, evitando sprechi e ottimizzando l’efficienza operativa. Così da aumentare le risorse durante i periodi di picco di carico e ridurle quando la domanda diminuisce.

Facilità di gestione: i fornitori di servizi cloud si occupano dell’infrastruttura hardware, della manutenzione, degli aggiornamenti e della sicurezza, consentendo di concentrarsi sull’elaborazione e sull’analisi dei dati. È così possibile sfruttare servizi gestiti per l’archiviazione, l’elaborazione e l’analisi dei dati, senza doversi preoccuparti della complessità dell’infrastruttura sottostante.

Accessibilità e collaborazione: Il cloud offre accesso ai big data da qualsiasi luogo e dispositivo con una connessione Internet. Ciò favorisce la collaborazione tra team e sedi geografiche diverse, consentendo la condivisione e l’elaborazione dei dati in tempo reale.

Costi ridotti: non è necessario acquistare e gestire infrastrutture hardware dedicate, né prevedere capacità in eccesso per i picchi di carico.

8. Big data, Privacy e GDPR

Oggi un tema di estrema urgenza riguarda la corretta gestione della Privacy quando si ha a che fare con i big data. Spesso, infatti, vengono trattati dati di dettaglio, comportamentali, che provengono da varie fonti, come transazioni finanziarie, social media, registri sanitari e molti altri. La raccolta di dati su larga scala può comportare la raccolta di informazioni personali sensibili senza il consenso o la consapevolezza degli individui. Inoltre, l’analisi dei big data può rivelare informazioni personali che possono essere utilizzate per scopi di profilazione, monitoraggio o discriminazione. Ad esempio, l’analisi dei dati di acquisto di una persona potrebbe rivelare informazioni sulla sua situazione finanziaria, preferenze politiche o orientamento sessuale. Per mitigare questi rischi e proteggere la privacy, sono stati introdotti diversi regolamenti e normative, come il Regolamento generale sulla protezione dei dati (GDPR) nell’Unione Europea e la California Consumer Privacy Act (CCPA) negli Stati Uniti. Queste normative pongono restrizioni sulla raccolta, l’uso e la divulgazione dei dati personali e richiedono il consenso informato degli individui per la loro elaborazione.

Un principio fondamentale del GDPR è il Privacy by Design, che richiede alle organizzazioni di integrare la protezione dei dati personali sin dall’inizio dei processi di progettazione e sviluppo dei sistemi, garantendo così il rispetto dei diritti degli individui e il mantenimento di un elevato livello di privacy. L’approccio “Privacy by Design” indirizza questi temi, garantendo che tutti i dati siano gestiti con le corrette tecniche di anonimizzazione, aggregazione o mascheramento dinamico, in accordo con le direttive GDPR, in base alle finalità di utilizzo dei dati e ai consensi raccolti. Tale approccio comporta diversi aspetti chiave:

Minimizzazione dei dati: si tratta di raccogliere e utilizzare solo i dati personali necessari per il raggiungimento di uno specifico scopo. Vengono adottate misure per ridurre al minimo la quantità di dati raccolti e per limitare il periodo di conservazione.

Impostazioni predefinite di privacy: le impostazioni di un sistema devono essere orientate alla massima privacy per gli utenti. Ciò significa che, ad esempio, le opzioni di condivisione di dati devono essere disattivate per impostazione predefinita, e gli utenti devono essere informati e dare il loro consenso esplicito per attivare tali opzioni.

Sicurezza dei dati: viene posta particolare attenzione alla sicurezza e alla protezione dei dati personali. Vengono adottate misure tecniche e organizzative adeguate a proteggere i dati da accessi non autorizzati, perdite o divulgazioni indebite.

Controllo dell’utente: gli utenti devono essere in grado di esercitare un controllo effettivo sui propri dati personali. Vengono fornite opzioni per l’esercizio dei diritti degli utenti, come il diritto all’accesso, alla rettifica, all’oblio e alla portabilità dei dati.

Trasparenza: gli individui devono essere informati in modo chiaro e comprensibile su come vengono raccolti, utilizzati e trattati i loro dati personali. Vengono fornite informazioni trasparenti sulla finalità del trattamento, le basi giuridiche, i destinatari dei dati e altri aspetti rilevanti.

In molti casi è opportuno, in sede di Data Strategy, identificare i processi, gli owner, le modalità e le tecnologie per implementare i principi Privacy by Design, anche utilizzando tecnologie dedicate, come strumenti di Data Virtualization come Denodo o Tibco Data Virtualization, o tecnologie per la gestione di gestione policy di accesso come Immuta.