Au-delà du batch, comment l'ERP accélère grâce au streaming de données

Les données bougent. Toutes les données, à un moment donné de leur vie, ont été déplacées ou déplacées vers un endroit ou un autre. Qu'il s'agisse d'une base de données vers une application, d'une forme de référentiel basé sur le cloud vers et depuis un appareil IoT, ou simplement entre des services internes à l'intérieur d'un système d'exploitation ou de ses points de connexion associés, les données sont quasiment toujours en mouvement.

Même lorsque les données sont au repos et résident dans un stockage à plus long terme, elles auront généralement été traitées via une forme de mécanisme de transport à un moment ou à un autre. Ces truismes fondamentaux signifient que nous nous concentrons souvent sur la cadence des données et examinons leur capacité à parvenir là où elles doivent être en temps opportun.

Si l’on repense à l’époque pré-millénaire, les services de données et les utilisateurs qui en dépendaient devaient souvent s’adapter à des « builds nocturnes » s’ils voulaient que leur infrastructure de données leur fournisse les informations les plus récentes. C’était (et c’est toujours) l’ère du traitement par lots, également parfois appelé automatisation de la charge de travail ou planification des tâches.

Selon la société d'intégration de données et de plateforme cloud d'entrepriseTibco, le traitement par lots est un moyen rentable de traiter d'énormes quantités de données en peu de temps.

« Un bon exemple de traitement par lots est la manière dont les sociétés émettrices de cartes de crédit effectuent leur facturation. Lorsque les clients reçoivent leurs factures de carte de crédit, il ne s'agit pas d'une facture distincte pour chaque transaction ; il y a plutôt une seule facture pour le mois entier. Cette facture est créée à l'aide d'un traitement par lots. Toutes les informations sont collectées au cours du mois, mais elles sont traitées à une certaine date, en une seule fois », note Tibco, dans un document d'information technique.

Au-delà du batch, vers le temps réel

Mais le monde évolue désormais plus vite que les lots ; nous travaillons tous dans un univers toujours actif où les smartphones doivent fournir des services opportuns en quelques secondes et où les applications d'entreprise doivent nous fournir des services et une connectivité continuellement intégrés. C’est l’ère des données en temps réel.

Parmi les technologies habilitantes dans ce domaine, la clé estApache Kafka. Remontant à 2011, la technologie est issue d'un projet interne visant à créer une file d'attente de messagerie pilotée par des ingénieurs logiciels travaillant chezLinkedIn.Depuis ses débuts en matière de file d'attente de messagerie « de base », la plateforme de streaming de données Apache Kafka est désormais capable de traiter plus d'un million de messages par seconde, une quantité qui équivaut à quelques milliards de messages par jour.

Cette technologie va au-delà de Kafka – Jay Kreps, Confluent

Même si Apache Kafka pur reste open source, les responsabilités de gestion opérationnelle étant laissées aux mains de l'utilisateur,Confluent fournit un service de traitement et d'analyse de flux natif cloud entièrement géré. Il s'agit d'une technologie qui, selon Jay Kreps, co-fondateur et PDG de Confluent, « va au-delà de Kafka » pour les cas d'utilisation d'applications modernes en temps réel afin d'alimenter ce qu'il appelle la prise de décision en temps réel, ou du moins l'itération numérique d'un tel processus. .

Qu’est-ce que le streaming de données ?

Pour revenir un instant à l’école d’ingénierie logicielle, nous pouvons définir le streaming de données comme un principe informatique. Il désigne une approche qui supervise une séquence chronologique de passage des données via une application, un composant ou un service. Généralement axés sur les enregistrements de données de niveau inférieur se produisant dans un système informatique donné, les services de streaming de données contiennent des fichiers journaux qui concernent tout, depuis une simple frappe de clavier jusqu'aux lectures des capteurs d'instruments de machines industrielles.

Aussi granulaires et minuscules que soient ces enregistrements, une fois agrégés, ils permettent de dresser un tableau richement illustratif de ce qui se passe exactement au sein d'un déploiement informatique. Cette réalité nous amène logiquement vers l'ERP, c'est-à-dire que l'analyse du flux de données peut nous fournir une vue précise de ce qui se passe au sein d'une application ou d'une fonction logicielle d'entreprise. Alors, comment pouvons-nous appliquer ce pouvoir ?

"Je dis ici une évidence, mais les données sont ce qui maintient toute organisation sur la bonne voie - donc [l'] accès en temps réel promis par le streaming de données devrait logiquement être considéré comme un énorme atout", déclare Chris Gorton, vice-président directeur pour la région EMEA Nord, Marchés du Sud et émergents chez une société de plateforme de gestion de données