Pocket

Paul Maritz, le CEO de Pivotal, a profité d'EMC World pour présenter les objectifs de la nouvelle filiale d'EMC

Paul Maritz, le CEO de Pivotal, a profité d’EMC World pour présenter les objectifs de la nouvelle filiale d’EMC

À l’occasion de sa conférence utilisateurs, EMC World, le numéro un mondial du stockage a expliqué sa décision de faire d’EMC une fédération de trois sociétés, EMC II, en charge de la conception de système de stockage d’entreprise, VMware, pour la virtualisation des datacenter et Pivotal, dont la mission est de créer une nouvelle plate-forme applicative capable d’accueillir une nouvelle génération d’applications conçues pour l’ère du web massif et du Big Data.

Cette nouvelle organisation a pour but de faire face à ce que Joe Tucci, le CEO d’EMC, considère comme les quatre grandes tendances de fond qui vont marquer l’informatique au cours des prochaines années : la mobilité, le cloud, le Big Data et les réseaux sociaux. « Ces tendances vont perturber les technologies en place, mais vont aussi permettre aux entreprises de se transformer et de devenir plus agiles » a expliqué Joe Tucci lors de son discours d’ouverture d’EMC World.

Pour mettre en lumière son propos, le patron d’EMC a retracé l’histoire de l’informatique moderne. Joe Tucci a ainsi expliqué que le monde de l’informatique d’entreprise avait connu trois grandes vagues, celles des mainframes, puis celles du client serveur et aujourd’hui celle du cloud et des mobiles

« Durant la première vague, il n’y avait que quelques millions d’utilisateurs et quelques milliers d’applications. La seconde vague a amené des centaines de millions d’utilisateurs supplémentaires et des dizaines de milliers d’applications. La troisième vague que nous connaissons aujourd’hui se caractérise par des milliards d’utilisateurs et des millions d’applications » a expliqué Tucci. « L’intention d’EMC est de se concentrer sur les plates-formes correspondant à la 2e et à la 3e vague, dans le but d’aider ses clients à passer d’un monde à l’autre » à ajouté Joe Tucci en ajoutant que c’est pour cela qu’EMC a pris la décision de se transformer en une fédération de trois sociétés pour mieux aborder le virage.

Explosion des volumes de données

Joe Tucci a également rappelé que l’explosion des volumes de données générées dans le monde va transformer l’industrie. Les données non structurées (e-mail, présentations, textes.images, vidéos, réseaux sociaux…) représentent déjà 75% du patrimoine informationnel des entreprises et leur volume progresse à un rythme 5 fois plus élevé que celui des données structurées (bases de données). Il a aussi souligné que les données externes à l’entreprise et disponibles sous forme commerciale (données de localisation, télémétrie, réseaux sociaux,….) sont elles aussi non structurées. Et il a rappelé que d’ici la fin de la décennie,  40% des données générées sur la planète le seront par des capteurs, des téléphones mobiles, des équipements GPS…Pour donner une échelle du problème, Joe Tucci a souligné « qu’il y a aujourd’hui 1 milliard de téléphones mobiles connectés à Internet sur la planète et sans doute entre 2 ou 3 milliards d’autres équipements connectés (PC, capteurs, véhicules…). Ce nombre sera de 200 milliards à la fin de la décennie en cours. »

Aujourd’hui pourtant, la plupart des entreprises ne basent leurs décisions que sur leurs données structurées ignorant largement la masse de connaissances noyées dans les données non structurées qu’elles accumulent. Pour Tucci, « il est temps de se préparer à ingérer des données en volume provenant de nouvelles sources comme la télémétrie, les réseaux sociaux, etc., mais aussi de bâtir les infrastructures et les applications pour traiter ces données ».

C’est la mission qu’EMC a confiée à la dernière née de ses filiales, Pivotal, qui sera dirigée par Paul Maritz l’ancien CEO de VMware, puis directeur de la stratégie de VMware. Ce dernier a succédé à Joe Tucci sur scène afin de présenter Pivotal aux quelque 15 000 clients présents lors de la conférence EMC World. Pivotal est en fait une filiale d’EMC, VMware et de General Electric. La troisième entreprise mondiale a misé 100 M$ dans la nouvelle structure et compte utiliser les technologies de Pivotal pour bâtir ses applications futures.

Le modèle de ces nouvelles applications est celui de Google a expliqué Paul Maritz. « Lorsque Google a dû bâtir son moteur de recherche, il s’est rendu compte qu’il ne pouvait tout simplement pas le baser sur les architectures de seconde génération. Ils ont dû innover et bâtir une nouvelle infrastructure. (…) Il est intéressant de regarder ce que ces pionniers ont fait. Ils ont appris trois choses essentielles : comment stocker de façon bien plus efficace des téraoctets de données et ce à un coût bien moindre que les architectures actuelles. Google a par exemple commencé en développant GFS, le Google File System, qui est une forme de stockage objet massivement distribué. GFS a désormais son équivalent OpenSource dans HDFS, le file system d’Hadoop. (…)Ensuite, il y a une culture de développement rapide. Ils ont un niveau d’agilité lié au très haut niveau d’automatisation de leur plate-forme. Tout, du datacenter à l’infrastructure en passant par la plate-forme applicative est conçu dès le départ avec une exigence d’automatisation ».

Pour Maritz, les entreprises ne vont pas avoir d’autre choix que d’acquérir ces nouveaux savoir-faire si elles veulent à terme rester compétitives. Et c’est là qu’intervient Pivotal. La mission de la société est de proposer une plate-forme prête à l’emploi, baptisé Pivotal One, reprenant les principaux attributs des plates-formes élaborées par les géants du web. Et comme les cloud seront multiples, Pivotal entend permettre la construction d’applications modernes que les entreprises pourront déployer aussi bien en interne qu’en externe ou sur un cloud public. « On ne veut plus que les applications soient liées à l’infrastructure sur laquelle elles tournent. D’une certaine façon il faut un nouveau ‘logiciel’ qui nous redonne l’indépendance par rapport à l’infrastructure » a indiqué Maritz.

Pivotal One : Au carrefour d’Hadoop, de Spring, vFabric et Cloud Foundry

La plate-forme logicielle Pivotal One, en cours de développement par Pivotal, se compose de trois éléments majeurs. Le premier est baptisé « data fabric » et est basé sur HDFS Hadoop, donc sur un système de fichier objet persistant.

Pivotal One

L’objectif, selon Maritz, est de mettre un terme à la balkanisation des données : « Stocker le plus possible de ses données sur un système unique à très grande échelle est la voie du futur .(…) Une plate-forme de stockage moderne se doit de pouvoir évoluer pour stocker des péta-octets et des péta-octets de données. Elle doit aussi être économique et fiable ».

Au-dessus de cette plate-forme, Pivotal entend fournir des capacités analytiques distribuées à grande échelle ainsi que des capacités de traitement in-memory à grande échelle. Pour ce faire, la firme s’est appuyée sur les technologies héritées du rachat de Greenplum et notamment sur sa base de données massivement parallèle et sur son moteur de requête et les a réimplementées sur une couche Hadoop. La firme a aussi utilisé le savoir-faire de GemFire, la couche de données distribuées in-memory de vFabric, notamment utilisée par de nombreuses banques et institutions financières au cœur de leurs moteurs de trading en temps réel. Le résultat de ces travaux est Pivotal HD, une distribution Hadoop qui inclut la base de données et le moteur de query SQL massivement distribué de GreenPlum (nom de code Hawq). Pour donner une idée des capacités de Pivotal HD, Maritz a présenté des résultats de benchmarks montrant que Hawk est entre 9 et 21 fois plus rapide qu’Impala le moteur de query temps réel de Cloudera (voir à ce propos notre article sur Pivotal HD).

La seconde composante de Pivotal One est « l’application fabric ». Elle s’appuie sur Spring, le framework de développement Java acquis par VMware il y a plusieurs années. Spring est le framework Java le plus utilisé au monde et il dispose aussi d’un catalogue de connecteurs inégalé sur le marché. Dans le cadre de Pivotal One, cette plate-forme va s’enrichir de capacités analytiques natives.

Enfin, sous ces deux composants, il y a ce que Pivotal appelle la « cloud fabric » qui fournit la couche d’abstraction nécessaire pour permettre à Pivotal One de fonctionner sur la plupart des clouds du marché, de vCloud à Azure en passant par Amazon. La gestion du cycle de vie des applications est intégrée de façon automatisée dans cette plate-forme. Comme l’a expliqué Maritz, cette 3e « fabric » est en fait héritée des travaux menés par VMware pour développer Cloud Foundry et elle est totalement open source.

Une plate-forme complète attendue pour le dernier trimestre 2013

Pivotal One devrait être disponible dans le courant du 4e trimestre 2013 pour VMware vCloud Hybrid Cloud et sur le cloud d’Amazon, mais Maritz a rappelé que ses différents composants sont déjà largement disponibles. Ainsi Pivotal HD est commercialisé depuis plus d’un mois. Les briques principales de l’application fabric sont disponibles via Spring et vFabric. Enfin Cloud Foundry est un projet open source public.  Et le patron de Pivotal manque quelque chose dans le début de la phrased’encourager les entreprises à s’approprier ces nouvelles technologies ou à faire appel aux capacités de services de Pivotal (et notamment aux compétences d’extreme programing et de développement agile des 250 développeurs issus de Pivotal Labs) pour se former et se familiariser avec les technologies et méthodes de développement modernes.

Pocket