Haut de page

Accueil » Tous les dossiers » Les NTIC

Gérer la très grande quantité de données issues du déploiement des NTIC sur les réseaux

Nota Bene : dans cette page, les principes décrits en se référant aux réseaux électriques s’appliquent, également, aux autres types de réseaux de distribution (gaz, eau, chaleur, etc.)

Aujourd’hui, notre planète se « numérise » ou « s’instrumente ». Dans tous les domaines, des dispositifs en nombre croissant permettent d’enregistrer des données et de les traiter localement.

Ces données prennent de la valeur quand les réseaux nécessaires à leur échange et à leur communication se déploient. La valeur des données réside dans l’information qu’elles fournissent soit en propre, soit à travers l’analyse et la corrélation avec d’autres informations. Cela n’est rendu possible que si les deux premières conditions (instrumentation et interconnexion) sont réalisées.

A cet égard, les réseaux électriques intelligents sont un parfait exemple de cette transformation. Les réseaux électriques de transport et le premier niveau des réseaux de distribution sont déjà « intelligents » (et le seront davantage). Les réseaux de distribution moyenne et basse tension ne fournissent quant à eux peu ou pas d’informations directement par manque d’instrumentation.

Avec l’avènement des Smart grids, et en particulier avec le déploiement des projets de compteurs intelligents ou évolués (les compteurs sont par essence des capteurs d’information), se pose la question de la manière de traiter aujourd’hui la problématique suivante : collecter / traiter / analyser les données. La grande volumétrie des informations rend les solutions classiques limitées et inadaptées.

Ces données en grand nombre proviennent de différents capteurs comme les compteurs de consommation, les compteurs pour les énergies renouvelables et/ou mobiles (solaire, éolien, véhicules électriques, stockage, etc.), les instruments de mesures au niveau des ouvrages de réseau (postes asservis, modules de communications, etc.) ou encore les appareils mobiles (smartphones, personal digital assistant, etc.).

Collecter et traiter des données de grande volumétrie : le traitement à la volée en temps réel

L’approche usuelle de collecte et de stockage des données pour pouvoir les traiter et fournir des résultats atteint ses limites dans les grands volumes.

En effet, quand la donnée devient une information nécessaire à une prise de décision (décider d’un changement de topologie réseau sur incident, effacement d’un client conformément à son contrat en cours et en réaction à un changement de consommation locale constatée par rapport à la prévision en cours, etc.), il est nécessaire de la traiter au plus tôt. Dans ce cadre, il ne faut pas attendre que ces données soient disponibles dans un lieu de stockage.

L’état de l’art aujourd’hui pour le traitement massif des données et le traitement des flux à la volée, permet de passer du schéma traditionnel où les traitements s’appliquent sur des données stockées afin de produire des résultats à un nouveau schéma où les données arrivent en mode flux sur lesquels les traitements peuvent s’exécuter pour fournir, au fil de l’eau, des résultats (que l’on choisit ou non de rendre permanents).

Cette approche permet de traiter et d’analyser en temps réel et de façon ultra-performante l'information structurée ou non structurée diffusée par de nombreuses sources, ce qui permet par conséquent d’augmenter la rapidité et l'exactitude du processus décisionnel. Le traitement à la volée, continu et extrêmement rapide, est rendu possible sur de très grands volumes d'information, en filtrant si nécessaire les données issues de sources hétérogènes pour n’extraire que celles qui doivent être conservées et exploitées plus en détail.

Une analyse court terme et très proche de la captation des données est déjà possible, ce qui bouleverse les approches d’architecture habituelles tout en apportant une valeur immédiate de traitement rapide d’information. Les champs d’applications sont vastes et concernent les industries où la prise de décision doit être rapide et dépend d’informations fortement changeantes : les valeurs financières sur les Marchés Financiers ou encore le comportement du réseau de communication chez les opérateurs de téléphonie mobiles en sont des exemples.

Dans le secteur de l’énergie, ces technologies répondent aux besoins d’évolution des systèmes de gestion des réseaux électriques et des systèmes de comptage intelligents. Elles vont permettre une observabilité et une gestion locale de l’infrastructure du réseau jusqu’au niveau le plus fin, grâce à la captation et au traitement local des données, venant des compteurs par exemple, et dans des échelles de temps très court, voire en temps réel.

Stocker de grands volumes de données

Il y a par nature deux grands types de données: des données structurées et celles non structurées.

Les données structurées

Les données structurées sont, par exemple, les descriptions du réseau et de ses ouvrages, de leurs caractéristiques, des grandeurs physiques (comme la consommation, la puissance, l’intensité), des conditions de fonctionnement (indicateurs, événements, alarmes), etc.

Dans ces données structurées, les données de type « série temporelle » font l’objet d’une attention particulière. Un compteur transmettant régulièrement différentes valeurs (index de consommation) au fil du temps (i.e. courbe de charge) en est une bonne illustration. Le stockage de ces données sous un format adapté aux séries temporelles fait donc sens. Cela apporte des performances élevées en écriture de ces informations et limite le volume de stockage nécessaire en évitant les redondances d’informations.

Dans le domaine opérationnel, les technologies de stockage de séries temporelles sont donc naturellement adaptées pour stocker les flux de données collectées sous cette même forme.

Le marché est aujourd’hui demandeur de ce type de technologies qui doit permettre :

  • des usages transactionnels élevés, caractérisés essentiellement par des ajouts/mises à jour des données,
  • des capacités d’acquisition et de stockage performants
  • et un grand nombre d’accès simultanés aux informations (par exemple pour visualisation à travers un portail).

Là encore, les systèmes de comptage intelligents ou les systèmes de gestion du réseau (systèmes SCADA, DMS, etc.) sont amenés à tirer profit de ce type de technologies supportant les séries temporelles pour des besoins opérationnels.

Le grand volume de données aujourd’hui met aussi en avant des technologies de gestion de bases de données fournies par les acteurs du monde des TIC :

  • des machines spécialisées dans certains types de traitement des données, notamment l’analyse poussée des informations ;
  • des approches logicielles spécialisées, beaucoup plus intégrées au matériel qu’auparavant, apportant de la souplesse tout en garantissant un haut niveau de performance nécessaire à la grande volumétrie.

Ces solutions ont comme point commun de rendre possible le stockage et le traitement de très grands volumes de données. Il est en effet facilement concevable que le volume des données Smart grids, toutes informations confondues (réseau, comptage, événements, etc.), en France par exemple, dépassera l’ordre du Peta-Octet (soit 1015) voire au-delà en prenant en compte la dimension historisation (les conceptions des systèmes aujourd’hui vont au-delà de l’échelle Exa, soit 1018).

Les données non structurées

Dans le monde d’aujourd’hui, les clients ou les consommateurs échangent beaucoup d’informations relatives à leurs vies, à leurs usages, notamment vis-à-vis de leur consommation énergétique, de leurs choix d’équipements, etc. D’autres types de données non structurées se trouvent aussi dans toutes les bases de connaissances des entreprises (par exemple dans les systèmes de gestion de maintenance où une riche information se trouve cachée dans les commentaires des personnels de maintenance souvent plus que dans les champs structurés) ou sur Internet et même dans les réseaux sociaux. Ce sont quelques exemples de données non structurées qui sont porteuses de valeur.
Les informations à traiter dans le cadre des Smart grids ne se limitent donc pas aux données que nous pourrions qualifier de techniques, issues des infrastructures (réseau) et des systèmes d’informations du distributeur ou du fournisseur (contrat, rattachement de poste, profil de client, etc.).


Exemple de solution d'analyse de réseaux sociaux (données non structurées)
Source : IBM

Le traitement de ce type de données nécessite des technologies différentes des précédentes.
Pour pouvoir stocker et traiter ces données par nature très réparties, en grande volumetrie et rapidement, il faut une capacité de traitement parallèle alliée à la distribution des données. Les réponses sont venues de grands acteurs de l’Internet avec des technologies comme Hadoop (créé par Yahoo et géré désormais par la fondation Apache) elle-même basée sur des principes d’architecture dits MapReduce introduit par Google : le principe est de paralléliser les traitements (Map) sur de grands volumes de données puis de réconcilier chaque résultat (Reduce) pour bâtir une réponse in fine très rapidement.

Les acteurs du monde des TIC proposent désormais des versions industrielles et robustes de ces technologies, incluant la gestion de ces architectures distribuées qui permet de traiter des informations en grand volume et en parallèle de façon fiable et tolérante aux pannes.

Analyser les données

Il est important de ne pas seulement collecter et stocker l’information, mais fondamentalement de savoir la valeur qu’on peut tirer de celle-ci. « Trop d’information tue l’information » et ne pas pouvoir utiliser l’information la rend inutile.

L’‘analyse des données dans les réseaux évolue selon trois tendances, qu’il faut prendre en compte si l’on veut que l’analyse des données contribue à la prise de décision et à l’action :

  1. L’explosion du nombre de données non structurées collectées via Internet ou provenant de l’instrumentation de l’infrastructure physique. L’analyse de ces gisements de données doit permettre aux entreprises de mieux comprendre, par exemple, les phénomènes variables comme les prévisions de consommation, les prévisions météorologiques ou encore de mieux comprendre les comportements de leurs propres clients, ce qui n’était pas possible auparavant à cette échelle.
  2. Les outils d’analyse doivent pouvoir être utilisés non pas seulement par des spécialistes de l’informatique, mais directement par les métiers, jusqu’au niveau décisionnel de l’entreprise. Les outils d’aujourd’hui doivent être simple d'utilisation et mettre l'utilisateur final en position de construire lui-même ses analyses. La valeur de l’analyse vient plus de l’expertise métier que de la capacité à maitriser un outil. Ainsi un responsable marketing clientèle est le mieux placé pour définir les critères pertinents de segmentation de clientèle. 
  3. Les analyses vont représenter une part très importante de l’utilisation des technologies de l’information et à ce titre, les solutions doivent être simples à mettre en œuvre et à utiliser, tout en garantissant des performances élevées.

Pour cela, nous pouvons considérer plusieurs axes d’analyses.

  • 1) L’analyse des données ou la constitution de rapports et de requêtes sur l’ensemble des données ou leurs agrégations, permettant de synthétiser et de structurer des données sur plusieurs dimensions ou axes (clients, régions, type de contrats, etc.)

Les outils pour le faire à grand volume doivent permettre de produire des résultats dans un temps adapté à la prise de décision. Il s’agit ici d’un domaine « classique » de l’informatique décisionnelle. La particularité tient à l’évolution des capacités des solutions à analyser le grand volume d’informations dans un temps compatible avec une prise de décision ou d’action. C’est un axe de performance technique.

  • 2) Le croisement d’informations entre elles, de sources ou de types éventuellement différents

Cela nécessite, d’une part, une bonne représentation de l’information qui permet de la rendre intelligible à travers plusieurs domaines et, d’autre part, d’avoir des outils de requêtage et/ou de corrélation inter-domaines, à destination ici encore des professionnels métier et non des informaticiens. Autant à petite échelle, il restait concevable de réaliser, statiquement ou manuellement, ce type d’analyse de corrélation. Autant avec la volumétrie, il est nécessaire de recourir à des outils industriels qui permettent de corréler des événements, de définir rapidement et simplement de nouvelles règles pour s’adapter au contexte changeant et supportant réellement la prise de décision. Par exemple, au lieu d’envoyer 1.000 alertes à un opérateur concernant 1.000 événements simultanés, mieux vaut lui transmettre une seule alarme résumant la cause probable de ces événements, lui permettant ainsi d’enclencher les actions adaptées. La personne la mieux placée pour définir ces règles et les adapter est naturellement cet opérateur.

  • 3) L’analyse prédictive

L’utilisation de modèles prédictifs permet de réaliser des prévisions en tenant compte de l’historique ou d’événements passés. Cela permet d’anticiper et de traiter un événement avant même qu’il ne se produise ou d’être en mesure de réagir très vite. Par exemple, envoyer une équipe d’intervention dans le bon secteur en cas de forte probabilité de défaillance d’un départ (alors que l’ouvrage est toujours en état de fonctionnement) permet de diminuer le temps de restauration du service à la clientèle, voire d’éviter l’interruption de service.

  • 4) La fiabilité de l’analyse

De plus en plus, les projections ne seront plus suffisantes. La tendance est effectivement de rechercher un taux de fiabilité associé à des recommandations et des réponses: « Quel est le taux de fiabilité de ce résultat ? Quel est le degré de précision de cette prévision locale : 1000 MW plus ou moins 10 ou 1000 MW plus ou moins 100 ? » Associé à des analyses, le degré de confiance dans les résultats devient un élément important de décision en environnement contraint.

  • 5) La prise en compte du retour d’expérience et la capacité d’apprentissage dans l’analyse

Enfin, l’analyse des retours d’expérience et des effets d’apprentissage est cruciale. Comprendre la valeur des données. Quelles méthodes de modélisation et d’analyse sont les plus efficaces pour fournir une information utile et utilisable ? Comment prendre en compte les retours d’expériences pour améliorer le processus de modélisation ? A titre d’exemple, le développement des énergies renouvelables (solaire, éolien, etc.) nécessitera une gestion plus locale du réseau. Le pilotage du réseau devra s’adapter en permanence aux évolutions de la production locale par rapport aux prévisions. Cette prévision constituée sur une base historique doit pouvoir s’actualiser, idéalement de façon dynamique, si des écarts prévision/constaté sont détectés,

Conclusion

Les bénéfices des Smart grids résident plus dans l’information fournie par les données de comptage relatives à la consommation et aux usages de l’énergie que dans le volume des données lui-même.
Ils permettront une amélioration de l’efficacité énergétique, une meilleure gestion de l’énergie et de meilleurs résultats pour les entreprises énergétiques.

Sans être exhaustif (nous n’avons pas abordé les problématiques de solution d’archivage des données par exemple), le panorama précédent a précisé que les solutions technologiques sont aujourd’hui disponibles sur le marché pour répondre aux besoins de gestion des grands volumes de données liés au déploiement des NTIC dans les réseaux.

Si nous prenons l’exemple du système Linky, la croissance en terme de nombres de capteurs (compteurs) et d’événements (donc de données) est sans commune mesure avec la situation actuelle. Cela nécessite des technologies industrielles, capables de gérer la dimension d’un tel système de comptage et rendre les informations utilisables par les différents acteurs selon leur rôle.


Source : IBM

Il reste néanmoins des points majeurs à traiter, tels que la normalisation, pour réaliser ces évolutions.
Un réseau intelligent est par définition un système de systèmes, chacun ayant sa propre représentation des données pour son propre usage. Afin de pouvoir échanger entre eux, il est, donc, nécessaire que ces systèmes partagent des modèles d’information communs de sorte que la valeur de l’information associée à ces données puisse être extraite et utilisée.
La normalisation est donc très importante et permet de s’entendre sur une modélisation pérenne et, donc, des systèmes pérennes (ce sujet global ne se limite évidemment pas à la problématique des données). Sans modèle d’information commun, le réseau intelligent ne pourra pas apporter sa pleine valeur dans un contexte de tour de Babel de l’information.

Grâce aux informations et à la possibilité de les exploiter, les Smart grids contribueront à :

  • intégrer la production issue des EnR ;
  • optimiser la gestion du réseau grâce à des informations précises et exploitables ;
  • garantir la sécurité du réseau et maintenir la qualité de fourniture, compte-tenu notamment de l’émergence des EnR ;
  • mieux connaître l’état du réseau et son fonctionnement notamment pour optimiser d’un point de vue technico-économique son plan de développement ;
  • aider au bon fonctionnement du marché et de la relation client avec la prise en compte des informations au pas de temps nécessaire et leur mise à disposition auprès des différents acteurs (consommateurs, fournisseurs, responsables d’équilibres, etc.) ;
  • encourager le consommateur à être acteur du système électrique avec une capacité de décision fondée sur une information sur sa consommation réelle. Grâce aux systèmes tels que le compteur évolué Linky, l’information disponible facilitera le passage du modèle « compteuràfacture » à celui plus représentatif du modèle visé « logement -> participant ».

Enfin, la bonne gestion de ces grands volumes d’information contribuera à l’atteinte des objectifs des « 3 x 20 » de l’Union européenne.



Cette fiche a été rédigée par IBM




«Page 8 de 18»

Rechercher

Se tenir informé

Abonnez-vous à notre liste de diffusion pour être informé régulièrement des mises à jour du site.

S'abonner

Participer au site

Vous souhaitez participer à notre site ou réagir à un dossier, contactez-nous dès aujourd'hui.

Nous contacter

Les forums de la CRE

La CRE organise des forums, associés à chaque nouveau dossier, pour donner la parole aux experts des Smart grids.
Se tenir informé des prochains forums

Nos contributeurs

Notre site se nourrit aussi de vos contributions. Nous tenons donc à remercier "GRTgaz" qui fait partie de nos 168 contributeurs.
Découvrir nos contributeurs