Le fournisseur de solutions de stockage primaire met la main sur DataPelago qui a mis au point un moteur universel de traitement des données du nom de Nucleus.
Nucleus accélère le calcul hétérogène pour l’analyse des données et les modèles de GenAI. Le moteur s’appuie sur Gluten, Velox et Substrait pour donner un coup d’accélérateur à Spark et Trino. Il Il s’intègre aux magasins de données et plateformes lakehouse existants, à SQL, Python, l’automatisation des workflows Airflow, Tableau, Power BI, sans nécessiter de migration des données ni créer de verrouillage propriétaire.
Fondée en 2021 mais sortie du mode secret en octobre 2024, DataPelago a levé plus de 75 millions de dollars, dont 47 millions lors de son dernier tour de table en 2024. En mars de cette année, DataPelago a été nommée dans la liste des entreprises les plus innovantes au monde 2026 de Fast Company, se classant n° 4 dans la catégorie Data Science.
Accélérer l’IA
DataPelago fournit du calcul accéléré au niveau de la couche de données, en traitant les données au niveau de la couche de stockage plutôt que de les déplacer vers des clusters de calcul externes avec des CPU et/ou des GPU et d’autres accélérateurs. Nucleus fonctionne entre les moteurs de traitement de requêtes, tels que Spark, Trino et Flink, ainsi que les frameworks Python Ray et Dask, en tant que moteur logiciel de traitement des données pour l’IA comportant trois couches de composants.
DataApp apporte une couche permettant l’intégration avec des plateformes telles que Spark et Trino afin d’apporter des capacités d’accélération à ces moteurs. DataOS mappe les opérations de données vers des éléments de calcul accéléré hétérogènes et les gère dynamiquement afin d’optimiser les performances à grande échelle. DataVM est une machine virtuelle dotée d’une architecture de jeu d’instructions (ISA) spécifique au domaine pour les opérateurs de données, fournissant une abstraction commune pour l’exécution sur CPU, GPU, FPGA et silicium personnalisé. Nucleus fonctionne sur site et dans les principaux clouds publics.
DataPelago opérera comme une filiale entièrement détenue par NetApp. Le prix de l’acquisition n’a pas été révélé.
