Scopri come Qlik Talend® Cloud integra le funzionalità di AI di Databricks per rivoluzionare l’analisi e la trasformazione dei dati.
Cos’è Qlik Talend® Cloud?
Qlik Talend® Cloud consente di costruire pipeline di dati che catturano informazioni da numerose fonti, incluse quelle tradizionali e in streaming, trasformandole per alimentare Data Lake, Lakehouse o Data Warehouse. Per molte organizzazioni IT, aggiungere funzionalità di AI ai propri Data Lakehouse è una priorità, poiché permette di risparmiare tempo e ridurre gli sforzi manuali per i consumatori di dati.
Databricks, una delle piattaforme di Data Lake più popolari e versatili basata su tabelle Delta, è perfettamente integrabile con Qlik. Le avanzate capacità di esecuzione delle pipeline intelligenti di Qlik Talend® Cloud permettono di applicare automaticamente le modifiche alla fonte attraverso l’intera pipeline, fino alle tabelle Delta di Databricks.
La collaborazione tra Qlik e Databricks offre una piattaforma che consente ai clienti di sfruttare funzionalità analitiche complesse lungo l’intero ciclo di vita dei dati.
Introduzione alle funzionalità di Databricks AI SQL
Le funzionalità AI SQL di Databricks potenziano il linguaggio SQL tradizionale con capacità avanzate di analisi predittiva e trasformazione. Queste funzioni integrano direttamente i modelli di Machine Learning nelle query SQL, consentendo operazioni complesse, previsioni e analisi.
Tra le funzionalità supportate troviamo:
- Inferenza del modello integrata
- Applicazione diretta di modelli di AI sui dati delle tabelle Delta di Databricks
Alcuni esempi di utilizzo includono:
- Analisi del sentiment
- Correzione grammaticale
- Traduzione linguistica
- Sintesi e mascheramento dei dati
Queste funzioni semplificano l’integrazione dell’AI nei dati archiviati nella piattaforma Databricks.
Come le funzionalità AI SQL di Databricks lavorano con Qlik Talend® Cloud
Nelle pipeline di Qlik Talend® Cloud, i flussi di trasformazione generano SQL con le funzionalità di Databricks AI SQL, che vengono eseguite sulla piattaforma Databricks. I risultati delle funzioni AI vengono memorizzati nelle tabelle Delta, consentendo una gestione ottimale delle trasformazioni e dell’output finale.
Qlik offre un approccio no-code per utilizzare le funzioni AI di Databricks. Le organizzazioni possono sfruttare Qlik Talend® Cloud per:
- Ingestione dati in tempo reale con CDC (Change Data Capture).
- Trasformazione dei dati.
- Gestione della qualità e governance dei dati.
- Alimentazione di dati nei Databricks Lakehouse.
Le pipeline possono essere costruite semplicemente trascinando e rilasciando i processori AI nel flusso di trasformazione.
Configurazione e utilizzo delle funzionalità AI di Databricks in Qlik Talend Cloud
Configurazione della pipeline di dati
Nelle pipeline di Qlik Talend® Cloud, i compiti di trasformazione possono essere definiti come attività all’interno di un progetto. È possibile:
- Selezionare dataset di origine
- Creare flussi di trasformazione per strutturare i dati
- Applicare processori AI trascinandoli nell’interfaccia grafica
Inizia con le funzioni AI SQL di Databricks in Qlik Talend® Cloud
Configurazione e utilizzo delle funzioni AI di Databricks
In Qlik Talend® Cloud è possibile utilizzare le funzioni AI SQL all’interno delle attività di trasformazione di un progetto di pipeline dati. Queste trasformazioni possono essere utilizzate sia con Qlik Talend® Cloud Data Integration per il caricamento dei dati sia con altri strumenti per l’ingestione di dati in Databricks.
Di seguito un esempio di una tipica pipeline di integrazione dati in Qlik Talend® Cloud. Consuma dati da più fonti e trasforma quei dati in strutture pronte per l’analisi come viste dati derivate da SQL e data mart automatizzati.
All’interno della pipeline dati, i flussi di trasformazione possono essere accessibili creando un’attività di trasformazione dati.
La vista di trasformazione fornisce un’interfaccia per mappare i dati sorgente acquisiti al dataset di destinazione. Per creare una trasformazione, seleziona i dataset sorgente e aggiungi un flusso di trasformazione.
All’interno del flusso di trasformazione, i processori AI possono essere trascinati sulla canvas per creare un flusso di dati (vedi sotto).
Con il nuovo processore AI selezionato, le proprietà delle funzioni AI di Databricks possono essere configurate utilizzando il riquadro delle proprietà sul bordo destro dello screenshot sottostante. I nomi delle funzioni di Databricks possono essere selezionati con la colonna come input per la funzione. I nomi delle colonne di output possono essere selezionati. (Alcune delle funzioni AI di Databricks avranno parametri di input aggiuntivi richiesti dalla funzione.)
Nell’esempio sottostante, illustreremo l’utilizzo del processore AI, che chiamerà la funzione SQL ai_summarize per generare un riepilogo delle categorie di prodotti in una tabella all’interno di un flusso di trasformazione.
Lo screenshot mostra come può essere configurata la funzione AI Summarize di Databricks. La funzione Summarize di Databricks utilizzerà l’AI per riassumere gli elementi trovati all’interno di quella categorizzazione in una singola riga di testo descrittivo. Questo aiuterà gli analisti a valle a comprendere i dati all’interno di una tabella specifica – in questo caso categorie di prodotti – senza dover dedicare tempo ed energie a ulteriori ricerche o a scrivere query aggiuntive.
Qlik Talend® Cloud genererà il SQL da eseguire a valle nel Databricks SQL Warehouse.
Se l’anteprima dei dati è abilitata nel tenant Qlik Talend® Cloud, un campione dei risultati dei dati verrà mostrato nella canvas. La colonna DESCRIPTION_SUMMARY mostrerà i risultati della funzione AI_SUMMARIZE.
Il flusso di trasformazione mostrerà un dataset di output con una chiave primaria. Il dataset sarà creato in Databricks una volta che l’attività sarà preparata e pronta per il caricamento dei dati.
Dopo il completamento dell’esecuzione dell’attività, i dati di Databricks saranno caricati con i risultati della funzione AI. (I risultati della funzione sono mostrati nella colonna DESCRIPTION_SUMMARY.)
Conclusione
Le funzioni AI di Databricks possono essere sfruttate già oggi in Qlik Talend® Cloud per fornire capacità di AI ai dati direttamente utilizzando i flussi di trasformazione senza scrivere codice. Tuttavia, le funzioni SQL AI possono ancora essere sfruttate in codice personalizzato scritto all’interno della tua attività di trasformazione.
Utilizzare Qlik per costruire la tua pipeline di dati può ridurre le complessità nell’integrazione delle capacità di AI con i tuoi dati, utilizzando un’interfaccia grafica per l’implementazione del tuo flusso di trasformazione. Questo aiuterà le organizzazioni ad adattarsi rapidamente per sfruttare il potere dell’AI nella risoluzione dei problemi con la piattaforma Databricks.
SELDA: Il Partner Ideale per Sfruttare l’Intelligenza Artificiale e Ottimizzare le Pipeline di Dati
In un panorama in continua evoluzione come quello dell’analisi dei dati, la combinazione di Qlik Talend® Cloud e Databricks rappresenta una soluzione rivoluzionaria per sfruttare appieno le potenzialità dell’AI nei flussi di dati. Ma il successo di queste tecnologie non dipende solo dagli strumenti: serve un partner esperto per guidare il processo di adozione e ottimizzazione.
SELDA Informatica, con oltre 40 anni di esperienza nello sviluppo di soluzioni software e integrazione di sistemi, è il partner ideale per aiutare la tua azienda a sfruttare il potenziale di Qlik. Grazie alla nostra expertise, supportiamo i clienti nella creazione di pipeline di dati intelligenti, integrando funzionalità di AI avanzate per trasformare i dati in insight azionabili.
Cosa offriamo:
- Implementazione personalizzata delle pipeline di dati
- Formazione dedicata sulle soluzioni Qlik
- Consulenza strategica per ottimizzare l’uso dell’AI nelle operazioni aziendali
Affidati a SELDA per trasformare la tua azienda in un’organizzazione data-driven, pronta a cogliere le sfide e le opportunità del futuro. Contattaci oggi per una consulenza personalizzata!
