Découvrez L'Art De L'Édition
Google

Le Data Cloud Summit de Google offre de nouvelles fonctionnalités incrémentielles

Le Data Cloud Summit de Google offre de nouvelles fonctionnalités incrémentielles

Une autre année s’est écoulée et nous avons eu le deuxième Google Data Cloud Summit. L’événement de plusieurs semaines est un aperçu complet de « l’état de Google Cloud ». Dans cet article, je décrirai quelques-unes des annonces les plus importantes de cet événement annuel et ajouterai une opinion.

Une seule plateforme de données unifiée

Avant de plonger dans les nouvelles annonces de Google, vous trouverez ci-dessous une introduction à la plate-forme de données unifiée de Google.

Le Data Cloud de Google est une plate-forme unique couvrant la chaîne de valeur de bout en bout des services de données, de l’origine des données à l’analyse. Google découple intentionnellement le plan de données de la charge de travail et des personnes qui interagissent avec lui afin qu’il y ait toujours une productivité élevée de l’ingénierie des données à l’analyse commerciale. Si vous recherchez un guichet unique, il s’agit d’un ensemble de services que vous devez considérer. Les données, l’analyse et le ML sont les points forts de Google Cloud et les grandes entreprises souhaitent également une sécurité, une gouvernance, une lignée, une gestion et une automatisation cohérentes.

Cléun service de base de données SQL, traite plus de deux milliards de requêtes par seconde en période de pointe. Grande tableun service de base de données NoSQL, traite plus de cinq milliards de requêtes par seconde en période de pointe. BigQuery est un entrepôt de données multi-cloud évolutif et sans serveur. Google compte désormais des centaines de clients qui vont au-delà des pétaoctets de données. Les clients de BigQuery analysent plus de 110 téraoctets de données par seconde, un nombre incroyable. Vertex IA est la plate-forme d’apprentissage automatique de Google, conçue pour une productivité élevée, qui, selon Google, nécessite 80 % de code en moins pour former un modèle par rapport aux autres plates-formes d’apprentissage automatique.

La plate-forme unique permet de combiner ces services. BigQuery et Vertex AI dans un seul plan de données peuvent augmenter la productivité car moins de travail d’ingénierie des données est nécessaire. Google affirme que les clients ont vu une augmentation de deux fois et demie du déploiement de modèles d’apprentissage automatique depuis que Google a réuni ces technologies. Regard est une plate-forme d’intelligence d’affaires, d’analyse intégrée et d’application de données qui réduit la dépendance vis-à-vis des équipes techniques grâce à une couche sémantique robuste. Enfin, il y a Firestore pour développer des applications avec une communauté de développeurs de plus de 250 000 développeurs actifs.

Point de vue des clients

Le Data Cloud de Google dispose d’un ensemble impressionnant de services unifiés, la technologie est impressionnante, mais savoir comment les clients utilisent ces services le rend plus réel pour moi.

UPS, le géant du transport maritime, a transformé la logistique avec des prévisions intelligentes. UPS réalise des économies annuelles de 400 millions de dollars grâce à la réduction des coûts de carburant grâce à une meilleure planification des itinéraires en analysant plus d’un milliard de points de données chaque jour. Carrefour, le distributeur français, a repensé l’expérience client en se basant sur un lac de données contenant 700 téraoctets de données, qui gère 100 millions d’appels API par mois. Walmart a modernisé ses opérations commerciales, augmentant l’efficacité des processus pour clôturer les livres en moins de trois jours. HSBC dans le secteur bancaire a créé une nouvelle expérience pour ses clients tout en maintenant les exigences de sécurité et de conformité les plus élevées.

Comme je l’ai dit, Google est fort dans les « données ».

BigLake, la « maison des données » de Google

Un lac de données se compose de données brutes ; le but n’est pas encore défini. Un entrepôt de données contient des données structurées et filtrées déjà traitées dans un but précis.

Nous savons tous que les données augmentent à un rythme incroyable. La distribution des données sur plusieurs sites, y compris les entrepôts et les lacs de données, ajoute de la complexité et des coûts.

La solution de Google est un nouveau service appelé « BigLake ». BigLake est un moteur de stockage conçu pour unifier les données entre les lacs de données et les entrepôts de données. Essentiellement, les données sont analysées sans se soucier du format de stockage sous-jacent. Cette architecture est un « data lakehouse » pour ceux qui connaissent le terme.

BigLake prendra en charge tous les formats de fichiers ouverts tels que Parquet, les moteurs de traitement open source tels qu’Apache Spark ou Beam, ainsi que divers formats de table, notamment Delta et Iceberg, et fournira un emplacement unique pour accéder à toutes les données dans un environnement multi-cloud, y compris Google Cloud. Stockage, Amazon S3 ou Microsoft Azure.

Avec la réalité de plus en plus de données distribuées dans plus d’endroits à la périphérie, je vois BigLake comme un produit très important. Et c’est un jeu « embrasser et étendre » qui supprime les objections pour que Google Cloud soit le service de données « go-to » de l’entreprise.

Un environnement de développement unique pour les workflows de science des données

Vertex IA est une plate-forme de flux de travail d’apprentissage automatique (ML) de bout en bout où les scientifiques des données et les ingénieurs ML créent, forment et testent des modèles ML sans l’aide de l’équipe informatique. Il est en concurrence directe avec Sagemaker d’AWS.

Vertex AI Workbench est un nouvel ajout qui fournit une interface unique afin que les équipes puissent disposer d’outils communs pour l’analyse de données, la science des données et l’apprentissage automatique. Il s’intègre à une suite complète de produits d’IA et de données, y compris BigQuery, Étincelle sans serveuret Dataproc. Vertex AI Workbench est Cahiers Jupyter en tant que service, une application Web open source.

Le registre de modèles Vertex AI, actuellement en préversion, sera un référentiel consultable pour les modèles ML. Vertex AI Model Registry fournira un aperçu de tous les modèles pour organiser, suivre et former les nouvelles versions.

Il s’agit d’augmenter la productivité du développement croisé afin que chaque développeur ne redéveloppe pas tout, tout le temps, mais utilise plutôt des modèles qui ont déjà été créés.

Rapidité et commodité avec confiance et sécurité

Le modèle sémantique de Looker est une version unique de la vérité sur toutes les données. La nouvelle intégration de Google permet d’utiliser le modèle sémantique Looker dans Studio de données rapports, permettant aux utilisateurs d’utiliser le même outil pour créer des rapports qui s’appuient à la fois sur des données ad hoc et régies.

Les utilisateurs pourront désormais accéder et importer des données gouvernées à partir de Looker dans l’interface Data Studio et créer des visualisations et des tableaux de bord pour une analyse plus approfondie.

Assurer la portabilité et l’accessibilité des données entre plusieurs plateformes

Google a annoncé la création d’une Data Cloud Alliance avec d’autres partenaires fondateurs, notamment Confluent, Databricks, Dataiku, Deloitte, Elastic, Fivetran, MongoDB, Neo4j, Redis et Starburst.

Chaque membre s’engage à fournir une infrastructure, des API et un support d’intégration pour assurer la portabilité et l’accessibilité des données entre plusieurs plates-formes et produits dans divers environnements. Les membres collaboreront également sur de nouveaux modèles de données, processus et plates-formes standard de l’industrie.

L’avenir nous le dira, mais cela pourrait être l’une des annonces les plus importantes de la série. À moins que vous n’ayez toutes les données comme certaines sociétés de bases de données et de logiciels, l’interopérabilité est très importante. Bien que n’importe quelle base de données puisse exporter par lots pour ETL, le fait d’avoir une API le rend beaucoup plus facile.

Confiance des clients dans le fait que les solutions partenaires fonctionnent avec BigQuery

Enfin, Google a lancé le BigQuery Validation Program avec 25 partenaires. Le programme de validation testera la qualité de l’intégration BigQuery d’un partenaire, garantissant que les clients communs disposent de tout le nécessaire pour mettre en œuvre une solution avec succès. C’est une bonne chose car toutes les intégrations n’étaient pas égales en qualité ou en vitesse et si une barre n’est pas fixée à un niveau respectable, la notion d' »intégration BigQuery » perd de son poids.

Emballer

Google a pour objectif déclaré de supprimer toutes les « limites de données ». Un objectif noble en effet ! Ces annonces récentes sont des étapes progressives vers la réalisation de cet objectif.

Franchement, les « données » sont le point fort de Google Cloud, qu’il s’agisse d’analyse, d’IA, de ML ou de sécurité. C’est là que GCP « atterrit et se développe » dans les requêtes de ses clients. C’est fou, je dirais que la moitié des conversations que j’ai eues l’année dernière avec de grandes entreprises concernaient une sorte de projet « données » avec Google. Cela a beaucoup de sens quand on y pense. Google a été le premier meilleur exemple de « big data » lorsque vous regardez Search et GMail lorsqu’il est sorti il ​​y a 25 ans. Lorsque Thomas Kurian est arrivé à la tête de Google Cloud en tant que PDG, je me souviens que la première chose dont il parlait après « nous n’utilisons pas vos données pour la publicité », c’était qu’il voulait « rencontrer les clients là où ils se trouvent ». Cela signifiait non seulement fournir des emplacements pour ces charges de travail SAP (et plus), mais plus important encore, créer des outils de données pour extraire les données de là où elles se trouvent, en tirer des informations et, s’il s’agit de données transformées, les remettre là où elles les ont obtenues. Google est doué pour les « données ».

Le sommet Google Data Cloud est un événement destiné à toute personne utilisant ou envisageant d’utiliser les technologies Google Cloud. Si vous avez manqué la diffusion, le contenu sera disponible pour un visionnage à la demande ici.

Moor Insights & Strategy, comme toutes les sociétés de recherche et d’analyse, fournit ou a fourni des recherches, des analyses, des conseils ou des conseils rémunérés à de nombreuses entreprises de haute technologie du secteur, notamment 8×8, Advanced Micro Devices, Amazon, Applied Micro, ARM, Aruba Réseaux, AT&T, AWS, A-10 Strategies, Bitfusion, Blaize, Box, Broadcom, Calix, Cisco Systems, Clear Software, Cloudera, Clumio, Cognitive Systems, CompuCom, Dell, Dell EMC, Dell Technologies, Diablo Technologies, Digital Optics, Dreamchain, Echelon, Ericsson, Extreme Networks, Flex, Foxconn, Frame (maintenant VMware), Fujitsu, Gen Z Consortium, Glue Networks, GlobalFoundries, Google (Nest-Revolve), Google Cloud, HP Inc., Hewlett Packard Enterprise, Honeywell, Huawei Technologies, IBM, Ion VR, Inseego, Infosys, Intel, Interdigital, Jabil Circuit, Konica Minolta, Lattice Semiconductor, Lenovo, Linux Foundation, MapBox, Marvell, Mavenir, Marseille Inc, Mayfair Equity, Meraki (Cisco), Mesophere, Microsoft , Réseaux Mojo, National Instruments, Net Application, Nightwatch, NOKIA (Alcatel-Lucent), Nortek, Novumind, NVIDIA, Nuvia, ON Semiconductor, UNUG, OpenStack Foundation, Oracle, Poly, Panasas, Peraso, Pexip, Pixelworks, Plume Design, Poly, Portworx, Pure Storage, Qualcomm , Rackspace, Rambus, Rayvolt E-Bikes, Red Hat, Residio, Samsung Electronics, SAP, SAS, Scale Computing, Schneider Electric, Silver Peak, SONY, Springpath, Spirent, Splunk, Sprint, Stratus Technologies, Symantec, Synaptics, Syniverse, Synopsys, Tanium, TE Connectivity, TensTorrent, Tobii Technology, T-Mobile, Twitter, Unity Technologies, UiPath, Verizon Communications, Vidyo, VMware, Wave Computing, Wellsmith, Xilinx, Zebra, Zededa et Zoho qui peuvent être cités dans des blogs et rechercher.