Infiniband

Installation

  sudo apt-get install ibverbs-utils infiniband-diags rdmacm-utils opensm
  sudo apt-get install libibverbs-dev libmlx4-dev librdmacm-dev libibmad-dev libibumad-dev

Puis ajouter les modules à /etc/modules (copier la liste d'une autre machine)

Et mettre ib0 en allow-hotplug dans /etc/network/interfaces

Groupe RDMA

Pour pouvoir faire du RDMA, il faut être dans le groupe Unix “rdma” pour pouvoir accéder au device Infiniband et pour augmenter la limite maximale de quantité de mémoire verrouillable. Pour ce faire, il suffit d'utiliser la commande suivante sur les machines équipées d'IB :

sudo adduser benchmarks rdma
sudo adduser <login> rdma

Tester le réseau Infiniband

Pour vérifier que le réseau Infiniband est opérationnel, utiliser la commande :

% ibv_devinfo

Si la ligne correspondant au port 1 indique PORT_ACTIVE, c'est que le réseau fonctionne. S'il est indiqué PORT_INIT, il y a un problème de routage. Pour corriger le problème, redémarrer le démon opensmd à l'aide de la commande /etc/init.d/infiniband

Mise à jour Firmware

Il faut que le firmware soit récent et que les adresses MAC des ports aient été définis. Voir la page firmware.

Passage en Ethernet

S'assurer que mlx4_core est chargé (cf lsmod). Sinon

$ modprobe mlx4_core

Mettre les deux ports en mode Ethernet (nos cartes ne supportent pas un mode mixte)

$ echo eth > /sys/class/infiniband/mlx4_0/device/mlx4_port1
$ echo eth > /sys/class/infiniband/mlx4_0/device/mlx4_port2

Des interfaces devraient maintenant être disponibles.

infiniband.txt · Last modified: 2018/07/10 10:20 by goglin
 
Recent changes RSS feed Donate Powered by PHP Valid XHTML 1.0 Valid CSS Driven by DokuWiki