Soutenance de projet

Surveillance et optimisation du trafic réseau

I Introduction

Les réseaux posent des problèmes aussi intéressants qu'ils sont extrêmement complexes. Le plus important d'entre eux est sans contexte la sécurité, domaine qui m'intéresse le plus et qui m'a décidé à m'orienter vers les réseaux. Elle doit assurer trois fonctions principales : confidentialité, intégrité et disponibilité. Je me suis concentré sur le dernier aspect, par le biais de la surveillance et mesure de trafic. En effet, un réseau saturé devient inutilisable. Celle-ci peut donc servir pour détecter des erreurs de conception du réseau, créant des «embouteillages», mais dans mon cas, il s'est agi de surveiller les consommateurs en vue d'intervenir pour limiter les abus.

II Contexte professionnel

• Le centre de recherche J'étais en poste dans une grande école d'ingénieur, avec de nombreuses formations, axées sur les technologies de l'information et de la communication, forte de 110 enseignants chercheurs associés à une centaine de vacataires et 450 intervenants d'entreprises.
• Le réseau

Particulièrement hétérogène, le réseau de l'école doit concilier les besoins des services administratifs et de départements tels que :

1. l'économie et les sciences humaines
2. électronique
3. intelligence artificielle
4. image et traitement de l'information
5. informatique
6. langues
7. micro-ondes
8. optique
9. signal et communication.

Les équipements sont constamment mis à jour pour rester à la pointe de la technologie. Presque tous les réseaux sont reliés en Giga Ethernet, IPV6 est à l'essai (permettant de coder les adresses réseau sur 6 octets au lieu de 4, pour éviter d'être prochainement à cours d'adresses), les serveurs Linux côtoient les stations Sun. Les clients fonctionnent généralement sous NT 4, mais les besoins particuliers des chercheurs amènent ces derniers à personnaliser leur poste de travail, sans consultation du service informatique, obligeant l'architecture à être très ouverte sans pour autant offrir de failles de sécurité, le travail de l'un ne devant pas être interrompu lorsqu'un autre essaye la dernière version du noyau Linux.

• Le problème L'école fait partie d'un réseau présent dans différentes villes de France, dont les différentes entités travaillent intimement ensemble. La récente connexion du site au réseau régional 20 mb/s permet de développer :

1. vidéoconférences
2. travail sur grandes bases de données Oracle.

Pour cela, la bande passante est subdivisée :

1. 4Mb/s de la bande sont dédiés à une utilisation en ATM. Cette portion sert pour les échanges avec l'école de Rennes. Ainsi, même le trafic IP passe par là, ainsi que les visio-conferences (nécessite 1,5 mb/s pour une bonne qualité).
2. Presque 16Mb/s sont en IP. Les applications devant utiliser ce protocole disposent donc d'une largeur de bande importante. Seulement, celle-ci sert principalement à l'accès Internet, dont le débit a vite été mis à profit par les élèves, qui disposent de salles d'accès libre et d'une connexion à partir de leur chambre.
3. Enfin, 256kb/s sont réservés au site de Lannion. En effet, pour que le groupe ne soit pas obligé de réinvestir dans des équipements de sécurité pour la connexion au réseau des réseaux de ce campus, Lannion envoie ses requêtes de sortie vers le site dans lequel j'étais par le biais de ce réseau privé virtuel, celui-ci les traite et renvoie les résultats. En effet, tout site constituant un « noeud » d'Internet doit être parfaitement protégé, alors qu'un réseau privé virtuel, bien que circulant aux cotés du réseau public, ne peut être que très difficilement intercepté.

Les très hauts débits fournis (20 mb/s) sont donc pleinement exploités, et il se peut que les services de l'école en fassent les frais et aient des problèmes à communiquer par les moyens pré-cités face à la consommation à but « documentaire » de certains, grande utilisatrice de bande passante.

Le département informatique et logistique qui m'a intégré désirait donc mettre en place une solution gratuite permettant d'intervenir s'il arrive que des communications importantes soient mises en péril.

III Les solutions

1. Avec les équipements dont l'école dispose, les restrictions de flux vers l'extérieur ne peuvent s'appliquer que sur des adresses ou des ports précis, de façon globale. Cela se fait sur le routeur raccordant le réseau local au régional. Or de nombreuses applications multimédia changent les adresses et ports utilisés de manière dynamique, certains utilisateurs devraient aussi avoir plus de droits que d'autres. Mais par dessus tout, toute forme de restriction systématique serait très mal appréciée dans une école de télécommunications dont l'ouverture sur l'extérieur est une philosophie et dont les membres sont de très haute qualification, sans compter le problème de la distinction de ce qui relève du travail ou du loisir.
2. On peut aussi surveiller, de façon à n'intervenir (avec diplomatie) qu'en cas d'abus caractérisé, solution qui avait les faveurs du service.

J'ai donc décidé de mettre en place un outil de surveillance permettant de repérer les grands consommateurs et donc d'intervenir en cas de besoin.

• Les possibilités

1. On peut exploiter les statistiques produites par les proxies. Un proxy est un ordinateur qui stocke les pages web les plus consultées de façon à diminuer le trafic extérieur d'une part, et sort sur Internet lui-même d'autre part avant de renvoyer les résultats aux demandeurs. L'école en dispose d'un pour les sorties depuis les locaux de travail et d'un autre pour l'accès depuis les chambres. Mais un proxy ne s'occupe que des accès au Web, et en plus son utilisation peut-être contournée par les utilisateurs, qui n'entrent donc pas dans ce cas dans les statistiques.
2. 
   On peut exploiter les statistiques fournies par les équipements (routeurs, commutateurs) présents à de nombreux endroits du réseau, mais celles-ci sont surtout volumétriques et globales et ne tracent pas les demandeurs.
3. On peut utiliser un sniffeur, qui surveille directement ce qui passe sur le réseau et analyse les trames. Les plus perfectionnés se présentent comme des équipements, les autres sont des programmes. Certains affichent les trames qui circulent de façon brute à l'écran, d'autres en font des statistiques plus ou moins bien présentées. Certains des membres du service avaient déjà repéré les principaux outils disponibles mais n'avaient pas le temps d'approfondir le sujet.

Les deux premières solutions ont été testées par le service et ne sont pas satisfaisantes pour les raisons mentionnées. Mon but était donc de comparer les sniffeurs gratuits sur tous les aspects, d'en découvrir de nouveaux, de les tester et de choisir celui répondant le plus aux objectifs, ceux-ci étant par conséquent :

1. d'offrir un état instantané du trafic, pour pouvoir intervenir auprès des consommateurs excessifs
2. de créer des statistiques sur le long terme, pour pouvoir faire des récapitulatifs et visualiser graphiquement le trafic global le tout sur le plus grand nombre de protocoles pour pouvoir utiliser le dispositif dans le futur sur d'autres segments du réseau, afin de traiter d'éventuels goulots d'étranglement en déplaçant uniquement le point de mesure du trafic.
3. Tous les programmes devaient être gratuits, y compris le système d'exploitation.

Les produits disponibles

• Clients SNMP : SNMP est un protocole permettant d'interroger des équipements à distance. Tout routeur, commutateur, contient un agent SNMP qu'un client peut interroger pour différentes raisons : contrôle de l'état, création de statistiques. Seulement, ils sont limités par les informations fournies par l'agent, ceux-ci ne relèvent notamment pas les générateurs de trafic.
• Multi Router Traffic Grapher (MRTG) : Cet outil mélange les techniques de sniffing et  d'interrogation d'équipements. Il peut d'ailleurs être utilisé pour présenter des statistiques non informatiques, météorologiques par exemple. Le service l'avait mis en place, il produit des pages web, on constate que la bande passante est bien utilisée en consultant le débit du routeur qui sert à raccorder l'école au réseau régional : ça atteint les 10 mb/s de moyenne sur certaines tranches de 5 mn. Mais logiquement, il est dépendant des informations renvoyées par les équipements d'une part et il ne s'intéresse qu'aux quantités d'autre part. On ne sait donc toujours pas dans quelle proportion chacun participe au flot.
• IPTrafic : Il est clair que Iptrafic s'impose par ses possibilités statistiques : tous les résultats sont stockés classés par date et pour chaque tranche horaire, on peut connaître les plus grands consommateurs. Pour cela, il est constitué d'une architecture client-serveur. Le serveur stocke les mesures dans des tables, que le client consulte à intervalles réguliers et rend accessible de façon conviviale en les convertissant en pages web.

On dispose ainsi de résultats présentés par tranches de quelques heures. Ceci ne permet donc pas d'avoir un instantané en temps réel de l'état du trafic. De plus :

1. l'interface se révèle négligée dès que l'on veut rentrer dans certains détails, comme des calculs de statistiques sur une période précise. Ceux-ci se font par des scripts, or certains d'entre eux codent les mois de 0 à 11 alors que d'autres le font de 1 à 12, ce qui donne des résultats farfelus, ou désignent de mêmes fichiers avec des orthographes différente. Les années supérieures à 2000 n'apparaissent pas non plus correctement.
2. les consommations de chaque machine, les sites distants contactés sont présentés en mode texte, avec des volumes d'échange notés sous forme scientifique ce qui les rend difficilement manipulables.

• Ntop : Ntop est l'opposé : Il ne stocke rien, mais affiche en quelques minutes l'état précis du trafic de façon très professionnelle. La consommation détaillée de chaque client d'un coté, les sites extérieurs contactés de l'autre.

De nombreuses statistiques volumétrique sont aussi présentées, elles sont beaucoup plus détaillées et attractives que celles d'IPTrafic avec des barres représentant le taux d'occupation de la bande passante de chaque machine. Le problème est qu'il ne garde pas les informations d'une session à l'autre, il faut donc absolument que le système fonctionne sans la moindre interruption. Enfin, il reconnaît beaucoup de protocoles.

IV Solution retenue Les types de statistiques présentées par les deux produits sont à peu près les mêmes, mais Ntop en offre une plus grande variété, elles sont surtout beaucoup plus agréables à consulter. Il prend également l'avantage sur le nombre de protocoles distingués (même Napster a sa propre colonne). Il rafraîchit régulièrement les pages pour qu'elles tiennent compte des nouveaux relevés mais il est presque impossible d'en déduire la consommation instantanée, car les mesures se fondent dans les statistiques déjà présentes. Par contre, IPTrafic permet de connaître les consommations exactes sur une tranche précise, et tout cela est stocké physiquement, classé par date. Mais cela est au prix de plusieurs heures d'attente entre deux rafraîchissements.

Ntop : Tailles des trames constatées

J'ai donc choisi de garder les deux outils pour que les administrateurs appellent celui qui convient à leurs besoins

• Réalisation technique

1. Le seul matériel de valeur utilisé est la machine, qui dispose d'un Pentium III, de 128mo de mémoire vive et de deux cartes réseau. La première est raccordée au réseau local, l'autre fait les mesures sur le réseau régional, en mode dit «promisc». J'y ais installé le système d'exploitation Red Hat, qui est une distribution de Linux réputée pour sa stabilité. (Hélas, Anandtech fait état d'un désir de rachat de cet OS par AOL :'-( . Quelles en seront les conséquences ? A cet heure, mardi 22 janvier 2002 à 18 h 12, je suis très inquiet.)
2. J'ai alors fait des recherches sur Internet sur le sniffing (terme du jargon informatique signifiant capturer les trames qui circulent), écarté les produits qui ne répondaient manifestement pas aux besoins (coût, utilisation obligatoire de SNMP) et essayé ceux qui semblaient le faire après les avoir téléchargé, configuré et compilés.
3. En effet, les produits libres sont fournis sous forme de code pour que les informaticiens qui le désirent puissent y apporter des modifications. Pour pouvoir les exécuter, il faut donc remplir les fichiers de configuration en fonction des capacités de l'ordinateur, de la version du système d'exploitation et des librairies dont il dispose. Des fichiers explicatifs sont en général fournis, détaillant la démarche à suivre. Si d'indispensables bibliothèques manquent, elles doivent être installées. On lance la commande « make » pour enclencher la compilation qui dure entre une et deux minutes. Si les fichiers ont été correctement configurés, le produit est prêt à être utilisé. Sinon, il faut corriger les erreurs ou les manques avant de relancer la compilation.
4. Quant à Iptrafic, il est très compliqué dans le sens où il ne crée pas automatiquement les différents dossiers dans lesquels ses fichiers doivent être répartis. Il faut donc le faire à la main en créant l'architecture de dossiers comme le client d'une part (celui qui présente et stocke les résultats) et le serveur d'autre part (celui qui "sniffe") l'exigent, et soit on place directement les fichiers là où il le faut, soit on crée des liens dans ces répertoires pointant vers les originaux dans le dossier d'origine. En effet, certains fichiers de données sont utilisés à la fois par le serveur et le client, on peut ainsi en garder un exemplaire unique et faire croire à chacun d'entre eux qu'ils l'ont sous la main. C'est l'une des fonctions les plus pratiques d'UNIX, inégalée par ses concurrents. Le principal avantage, bien plus que le gain de place, est le besoin, en cas de mise à jour, de ne modifier le fichier qu'à la source, les changements se répercutant sur les produits qui l'utilisent. On rentre ensuite le nom exact que l'on a donné aux dossiers dans les scripts du logiciel. Tout cela nécessite beaucoup d'organisation pour ne pas se mélanger les pinceaux et j'ai dû re-vérifier tout ceci, le produit ne fonctionnant pas s'il ne trouve pas les fichiers là où il s'y attend, ou si il ne sait pas où enregistrer les résultats.
5. Cette machine étant destinée à être placée dans une salle dédiée, les résultats doivent être consultables à distance. Pour cela, j'ai configuré le service Apache intégré à Linux. Apache est un serveur web, permettant de distribuer les pages à des clients se connectant avec un navigateur (il équipe la très grande majorité des sites web). En effet, tout serveur web est un service qui fonctionne sur un ordinateur et qui, lorsqu'on l'appelle en passant par un port particulier, quatre-vingts en général, renvoie uniquement les pages web situées à un emplacement bien précis. Ainsi, les résultats peuvent être visualisés de n'importe quel poste du réseau, sans qu'il soit nécessaire de prendre le contrôle total de la machine. Pour cela, il faut là encore remplir un fichier de configuration en indiquant où se trouvent sur le disque les pages web à publier, quels seront les droits des visiteurs. Dans ce domaine, je protège certaines pages par mot de passe, car elles permettent d'envoyer des ordres aux logiciels.
6. Ntop, lui, diffuse ses pages web lui même, sur un port au choix.

• Difficultés La documentation a été très difficile à trouver pour la plupart des produits, beaucoup n'en possèdent pas ou alors elle est très succincte, les auteurs n'ayant sans doute pas le temps de s'en occuper. Il est souvent difficile d'avoir un aperçu du type de résultats produits par le programme, de la façon dont il fonctionne, m'obligeant à l'essayer. Beaucoup sont conçus dans l'idée que l'utilisateur connaît le langage C, dans lequel ils sont en général programmés, et peut donc facilement comprendre leur mode de fonctionnement en consultant leur code. Quelques spécificités, détails de Linux m'ont fait perdre du temps. Heureusement, l'ingénieur réseau pouvait me renseigner et m'a donné quelques cours qu'il fait pour ses étudiants, en particulier pour la syntaxe et les différences entre les nombreux outils de décompression. Il m'a aussi secouru pour les corrections des scripts buggés d'iptrafic (en shell, Perl et cgi). Je me suis abonné aux listes de discussion des deux produits, celle d'Iptrafic m'ayant été que d'un très faible secours, le produit semble être en sommeil. Celle d'Ntop fourmille de questions, mais elles ne trouvent pas toutes une réponse.

IV Conclusion Les résultats sont conformes à ce que l'on pouvait imaginer, les principaux consommateurs de bande passante sont :

1. le proxy permettant aux élèves de surfer depuis leur chambre pour une très large part
2. le proxy pour l'accès depuis les locaux de travail
3. différents équipements ou chercheurs ne passant pas par le proxy.

Pour connaître les principaux consommateurs passant par les proxies ou les équipements, les statistiques de ceux-ci peuvent être consultées, le sniffeur peut aussi être raccordé sur ces segments du réseau au lieu de sniffer le «backbone». On aurait à disposition dans ce cas, avec la même présentation, du nom des machines envoyant le plus de requêtes aux proxies pour surfer. Pour éviter d'avoir à choisir entre deux produits, il aurait fallu q'un sniffeur mêle la convivialité de Ntop et les possibilités d'archivage d'Iptrafic. Des outils payants comme HP Open View ou les sniffeurs matériels s'en rapprochent, mais coûtent bien trop cher pour le campus, qui préfère investir dans du matériel que les utilisateurs ont en main plutôt que dans des outils internes à la logistique, pour qui la culture du logiciel libre est presque une religion. Mise en page par feuilles de styles Stéphane Ascoët Conseils pour que la technologie profite a tous (trouvez-vous raisonnable que des appareils tres polluants soient jetes seulement parce qu'ils ne sont plus tres "frais" ? Les US deversent les leur en Asie, tout est gravement pollue et dangereux. En ce qui me concerne, je veux bien les recuperer, Emmaus, le secours populaire le font aussi). Merci de me donner votre avis, aussi bien sur le fond que sur la forme et de me dire si vous voulez être prévenu lorsque cette page est mise à jour.