À l’occasion de sa conférence Current 2025, organisée à Londres les 20 et 21 mai, Confluent a dévoilé une série de nouveautés pour sa plateforme Confluent Cloud. Les annonces couvrent le traitement batch avec Flink, l’élargissement du support multicloud, l’intégration dans les environnements de développement, ainsi que de nouvelles options de sécurité entre autres.
Lors de son événement annuel Current 2025, qui se termine à Londres ce mercredi, Confluent a multiplié les annonces concernant sa plateforme cloud. L’éditeur affiche une volonté claire : proposer une solution unifiée pour le traitement des données en streaming et en batch, en s’appuyant notamment sur Apache Flink et Kafka.
« C’est la grosse annonce, parce qu’elle ouvre la porte à des choses qu’on ne pouvait pas faire avant », selon Fred Cecilia, Solutions Engineer chez Confluent : la mise en accès anticipé des Snapshot Queries dans Confluent Cloud pour Apache Flink. Pour les tester, il faut s’inscrire au programme Early Access.
En résumé, les Snapshot Queries permettent des requêtes de type batch rapides sur les topics Kafka et les tables Apache Iceberg et Delta Lake dans Tableflow. Il est désormais possible d’exécuter des charges de travail batch et streaming sur Confluent Cloud avec la même interface Flink SQL.
Les requêtes instantanées sur Tableflow sont optimisées pour une exécution avec des résultats jusqu’à 50 à 100 fois plus rapides qu’un job streaming classique sur des données historiques. Cela permet une plus grande flexibilité dans le développement de pipelines, les tests de requêtes et le retraitement de données. Seules les requêtes append-only sont prises en charge.
Autre actualisation : jusqu’ici disponibles uniquement sur AWS, les fonctions définies par l’utilisateur le sont désormais aussi sur Azure. « Le but – et ce n’est pas un secret – c’est de fournir la même expérience sur les trois principaux fournisseurs de cloud, afin que le plus grand nombre de développeurs puissent travailler facilement. Sans grande surprise, la prochaine annonce concernera probablement Google Cloud », explique Fred Cecilia.
Une expérience unifiée et complète
Début 2025, la disponibilité générale de l’extension Confluent pour Visual Studio Code avait été annoncée. Désormais, l’extension prend en charge Confluent Cloud pour Apache Flink. « Historiquement, Confluent a été largement perçu comme "la Kafka Company". Mais nous entrons désormais dans l’ère de la Data Streaming Platform. L’idée, c’est que si nous voulons accompagner les développeurs, il faut leur fournir tous les outils directement dans leur environnement de développement (IDE). »
Ainsi, le Kafka reste présent, mais : « L’étape suivante, c’est : comment, à partir de mon IDE – en l’occurrence Visual Studio Code – je peux interagir avec Flink directement, sans avoir à quitter l’environnement ou à aller sur la page Confluent dans mon Workspace pour travailler. Nous voulons leur offrir une expérience unifiée. »
Dans le détail, les développeurs peuvent désormais gérer les déploiements Flink SQL aux côtés des ressources Kafka dans un seul environnement. Ils peuvent écrire, valider et déployer leurs requêtes sans changer de contexte, et utiliser des modèles intégrés pour démarrer plus rapidement.
De nouvelles briques de sécurité
Le réseau privé étendu est désormais disponible pour Flink et Schema Registry. « Lorsqu’on est une banque, une assurance ou quelque chose d’assez privé, on veut pouvoir utiliser quelque chose qui ne parle pas Internet. Et jusqu’à maintenant, au moins la partie du Schema Registry, on devait accéder à Internet. Là, nous parvenons à tout faire dans des réseaux clos, aucune communication ne passe par Internet pour définir mon cluster, avoir mon Schema Registry qui s’occupe du metadata et articuler toute une application en temps réel du début jusqu’à la fin. », illustre Fred Cecilia.
Dans le détail, Confluent a introduit le routage Confluent Cloud Network (CCN) pour Flink et Schema Registry, afin de simplifier les connexions sécurisées. Cette solution permet de réutiliser l’infrastructure CCN existante, avec prise en charge des DNS publics et privés.
Le routage CCN est désormais disponible sur AWS pour Flink dans toutes les régions prises en charge. Suivra le support Azure, en cours de développement. Pour Schema Registry, la prise en charge sur AWS arrivera bientôt.
Le filtrage IP a aussi été rendu disponible. Il permet de restreindre l’accès aux endpoints publics de Flink et Schema Registry à des plages d’adresses IP autorisées, renforçant ainsi la sécurité. AWS PrivateLink pour Schema Registry est désormais en disponibilité générale. Elle permet une connexion sécurisée depuis un VPC et évite l’exposition des métadonnées via Internet.
Confluent a également annoncé WarpStream Diagnostics, un outil d’analyse continue des clusters afin d’identifier les problèmes et inefficacités. Aussi, WarpStream Schema Linking permet de migrer un registre de schéma vers WarpStream BYOC Schema Registry, en conservant les ID, versions et règles. Le Connecteur Source Snowflake permet de streamer des données depuis Snowflake vers Kafka, avec des requêtes personnalisées et gestion des offsets. Une nouvelle interface utilisateur Kafka Streams permet de surveiller la santé des applications Kafka Streams. Un nouveau protocole est également disponible sur Confluent Cloud, pour améliorer la stabilité et la rapidité du rééquilibrage des groupes consommateurs. Il sera lancé prochainement sur Confluent Platform. Les clusters Enterprise, adaptés à tout type de charge en streaming, avec une connexion sécurisée via Private Service Connect, sont maintenant disponibles sur Google Cloud, en plus d’AWS et Azure. En disponibilité limitée, le Cluster Linking inter-cloud permet de répliquer les données Kafka entre AWS et Azure, y compris via VPC peering ou PrivateLink.
