Le spécialiste du streaming de données, Confluent, a annoncé mardi 15 avril de nouvelles fonctionnalités et la disponibilité générale de TableFlow, son outil permettant d'accéder au contexte opérationnel en temps réel directement depuis les data lakes et data warehouses.
Première nouveauté : les données dans Confluent Cloud peuvent être exposées dans les formats OpenTable les plus utilisés, pour plus de possibilités en termes d’analyse, d’IA en temps réel et d’applications.
« Au départ, on a lancé TableFlow pour le format très populaire Iceberg, qui est déjà utilisé dans beaucoup de technologies. Notre partenariat avec Databricks — qui, dans une certaine mesure, va aussi adopter Iceberg — fait que nous étendons ce développement également aux tables analytiques Delta (un format initié par Databricks, ndlr). Donc, au final, nous allons supporter les deux formats les plus "évidents" aujourd’hui », commentait Niki Hubaut, Country Leader France, lors d’une conférence de presse.
Dans le détail, dans le cadre de leur partenariat renforcé, TableFlow et Databricks ont mis en place un programme d’accès anticipé pour Delta Lake. TableFlow fournit également une meilleure flexibilité de stockage et une intégration plus fluide avec les principaux catalogues de données : AWS Glue Data Catalog et Snowflake Open Catalog.
Améliorer la qualité des données pour l’IA
Selon un rapport de l'IDC, 70 % des équipes IT retourneront aux bases d'ici 2027 après plusieurs échecs dans leurs projets IA, notamment liés à une gestion des données en silos, ralentissant l’efficacité des modèles. Or, les applications — un agent d’IA de gestion des stocks doit par exemple identifier une tendance d'achat et prévenir immédiatement le fabricant pour une estimation de livraison, par exemple — ne sont possibles que si les systèmes reçoivent des données métiers en temps réel, et non pas traitées par batch ou copiées manuellement, ce qui entraîne des erreurs, un manque de fiabilité et une multiplication des silos.
Confluent assure que TableFlow simplifie l'intégration des données opérationnelles aux systèmes analytiques en synchronisant les tables utilisées pour l’analyse et l’intelligence artificielle avec les données des applications métiers connectées à Confluent Cloud. Le traitement et la gestion des données sont automatisés dès leur génération, garantissant ainsi leur qualité et leur cohérence pour alimenter efficacement les data lakes et entrepôts de données. « Une avancée majeure pour l'IA, dont la performance dépend directement de la qualité des données qui l'alimentent », commente Confluent. À noter que Confluent a indiqué que les fonctionnalités sont susceptibles d’être modifiées, voire de ne pas être livrées dans les délais prévus, voire pas livrées du tout.
