Doctorat en “Algorithmes de consensus pour les systèmes de stockage distribués” – Programme MSCA Cofund SEED

Les connexions à faible latence et les serveurs décentralisés présentent actuellement un nouveau potentiel pour l’informatique distribuée. En particulier, la mobilité et la connectivité intermittente des ressources informatiques créent un besoin en mécanismes de stockage distribué résilients à l’isolement du réseau.

Cependant, le développement de systèmes intégrés capables d’exploiter des ressources hautement distribuées nécessite que les développeurs et les fournisseurs de services fassent face au manque de fiabilité des nœuds de calcul et de l’infrastructure réseau, et doit être pris en compte dès la phase de conception des systèmes. De plus, des contraintes plus pressantes en matière de consommation d’énergie et de ressources favoriseront le besoin d’un calcul distribué avec des capacités restreintes, s’appuyant par exemple sur de petits nœuds de serveur éteints ou déconnectés la plupart du temps.

Les problèmes de coordination et de consensus sont au cœur des algorithmes distribués. Dans le contexte des infrastructures côté serveur et notamment des systèmes de stockage hautement distribués, nous identifions deux contributions principales dans le cadre de cette proposition de sujet :

1. Consensus sans leader pour les logiciels côté serveur : de nombreux algorithmes distribués déployés aujourd’hui reposent sur une forte coordination et sur l’élection des leaders : il s’agit d’une approche coûteuse qui n’est pas compatible avec des nœuds de calcul et un réseau peu fiables. En revanche, des approches de coordination faibles et un consensus sans leader sont attrayants dans cette situation. Cependant, ils ont principalement été appliqués dans le contexte d’applications locales côté client. Nous prévoyons d’étendre ce travail pour développer de meilleurs logiciels distribués côté serveur légers avec un temps d’accès plus rapide et une consommation de ressources légère, même dans des situations qui rendent la coordination difficile.
2. CRDT pour les systèmes de stockage et de cluster : lorsqu’une forme de coordination encore plus faible est tolérable, les types de données répliquées sans conflit (CRDT) [3] fournissent un bon support système pour la connectivité intermittente. Les CRDT sont utilisés dans les schémas de synchronisation, car les répliques peuvent être mises à jour indépendamment et simultanément sans coordination directe [4,5]. Nous prévoyons d’étudier et de formaliser l’utilisation des CRDT dans les systèmes de stockage et les clusters virtuels.

Le principal cas d’utilisation motivant pour ce travail est le logiciel Garage, un service de stockage d’objets distribué open source adapté aux infrastructures hautement distribuées [6]. Le garage est développé par Deuxfleurs.

Garage utilise déjà les CRDT pour tolérer les déconnexions du réseau, mais nécessiterait parfois un modèle de coordination plus fort. Par exemple, Garage permet actuellement à deux utilisateurs de créer des espaces de stockage en conflit sur deux nœuds différents, et le conflit n’est découvert que lorsque les modifications sont propagées. Une approche légère de « consensus sans leader » offrirait plus de garanties, tout en étant moins sensible à la latence et aux déconnexions du réseau par rapport à Paxos ou Raft.

Un autre problème intéressant dans Garage est : comment maintenir la cohérence des réplicas de données lorsque des nœuds de stockage sont ajoutés ou supprimés ? Tout changement d’adhésion peut entraîner une mise à jour de l’emplacement des réplicas, mais le déplacement réel des données prendra du temps. Pendant ce temps, tous les nœuds doivent maintenir le niveau de cohérence souhaité tout en tenant compte de l’ancien et du nouvel emplacement. Ce problème n’a pas été étudié en profondeur pour le modèle de cohérence lecture après écriture utilisé dans Garage.

Le sujet proposé devrait contribuer à l’état de l’art algorithmique autour des systèmes de stockage distribués, ce qui bénéficierait indirectement à tous ces systèmes. Un autre objectif de la thèse est d’implémenter les solutions proposées dans le logiciel Garage lui-même.

Ce travail peut également être appliqué aux clusters virtuels (Namespaces) dans des piles logicielles de type Kubernetes. Les espaces de noms présentent les services et les déploiements que les utilisateurs utilisent pour créer et exécuter leurs applications. La capacité de déployer efficacement un cluster virtuel sur des ressources géographiquement distribuées pourrait permettre la collaboration entre conteneurs en exposant une ressource créée sur un site à un autre avec un minimum de modifications de code.