Dans cette thèse, nous nous intéressons à plusieurs méthodes pour améliorer la sécurité des réseaux sans fil ad hoc. Ces réseaux, ainsi que la sous-famille des réseaux de capteurs sans fil, sont une des solutions les plus intéressantes pour de nombreux problèmes, comme par exemple la collecte de données dans une large zone, ou bien la création d'infrastructure de communication après une catastrophe. Ces réseaux sont par nature collaboratifs, ce qui les rend très vulnérables à d'éventuels attaquants. Pour les protéger, nous étudions la sécurité des protocoles conçus pour ces réseaux.

Premièrement, nous proposons SR3 (Secure and Resilient Reputation-based Routing), un algorithme de routage sécurisé et résilient pour le routage convergeant (tous-vers-un) dans les réseaux de capteurs sans fil. SR3 route ses messages selon une mesure de réputation qui est bâtie sur des informations fiables. Ce protocole garantit la confidentialité de ses données, et l'inforgeabilité de ses paquets. Nous avons prouvé formellement ces propriétés avec deux outils de vérification : Scyther et CryptoVerif. Nous avons montré expérimentalement à l'aide de Sinalgo, un simulateur à évènements discrets, la résilience de SR3 quand confronté à divers scénarios d'attaque, et nous avons comparé nos résultats à plusieurs algorithmes de routage de la littérature. L'évaluation a montré que la résilience et l'équité fournies par SR3 sont meilleures que celles des autres protocoles, et cette distinction est accentuée si le réseau est peu dense. De plus, et contrairement aux autres protocoles, SR3 est capable de s'auto-adapter aux changements de comportement des attaquants afin d'assurer une qualité de service satisfaisante.

Les analyses de la sécurité des protocoles de routage reposent presque toujours sur des simulations, qui évaluent la capacité du protocole à délivrer ses messages aux bons noeuds. Il existe plusieurs définitions différentes pour concevoir la sécurité du routage, mais à notre connaissance, elles considèrent seulement les protocoles de source routing, où les routes sont déterminées avant que le message ne soit envoyé. Nous proposons la notion de corruptibilité, une définition calculatoire et quantitative pour la sécurité du routage basée sur la capacité d'un attaquant à altérer les routes empruntées par un message. Nous illustrons ensuite ces définitions par plusieurs analyses de protocoles.

Enfin, nous étudions les systèmes de détection d'intrusions (IDS) pour réseaux sans fil ad hoc, et plus spécifiquement les sources de données utilisées pour leurs mécanismes de décision. Nous classifions celles-ci en fonction du niveau de coopération qu'elles requièrent, et en fonction de l'origine de leurs données. Nous proposons ensuite InDICE, un outil d'aide à la décision qui étant donné un IDS, permet de découvrir automatiquement quelles attaques seront indétectables par les sources de données qu'utilise cet IDS. Enfin, nous utilisons cet outil pour découvrir deux vulnérabilités dans des IDS de la littérature.