Skip to content

02. Configuration du réseau (ports réseaux, switchs ...)

Jump to bottom
denis-b edited this page Dec 6, 2018 · 25 revisions

L'idée :

Pour chaque serveur la configuration :

  • 3 ports pour Ceph (sur un bond en LACP bond0 ci-après, le réseau SN)
  • 2 ports pour le réseau (sur un bond en LACP nommé bond1 ci après, le réseau NET)
  • 1 port pour la synchronisation des noeuds (le réseau SYNC)
  • 1 port pour iLo

Connexion sur les switchs :

  • Les 2 ports du bond1 sont à cablés sur un agrégat (trunk) d'un switch gigabit de tête de réseau du bahut
  • Les ports iLo : ou on veut, éventuellement sur le réseau pédago, éventuellement sur le réseau d'amin des switchs ...
  • Les ports du bond0 : sur un switch gigabit sur un vlan à part (SN, vlan98 ici )
  • le port de synchro sur un vlan à part (SYNC sur le vlan99 ici)

Config des switchs

  • 2 switchs Giga pour les réseaux SN et SYNC, un vlan pour chaque et inutile de faire des trunks (agrégats) puisque l'on tourne en balance-ald sur ceph... en revanche, répartir sur les 2 switchs les ports Ceph pour un max de redondance. (cela ne fonctionne pas !!!)

  • Le réseau NET (qui sera taggé dans les vlans dont on aura besoin) : là il faut faire un agrégat sur le switchs de tête de réseau (nécessite donc 6 ports puisque 2 ports agrégés par serveur).

proposition de config redondante Validée

98 est le reseau SN et 99 SYNC (perfs max et redondance) On fait un double bond en mode active-backup qui permet d'avoir une répartition optimale en service normal et un mode dégradé sans pertes de connectivité.

On utilise le monitor ARP (niveau 2), ce qui permet de détecter une panne de switch, et non pas seulement un cable débranché. En fait l'arp pose problème, cela fonctionne bien, mais j'ai des tonnes de messages dans les logs comme quoi l'interface est down... Mais c's peutêtre lié à ma config. Pour le moment restons donc en miimon...

interfaces

  • ilo1 : iLo -> SW2 untagged vlan 1
  • eno1,2 : NET Bond mode 4 lacp -> SW tete tagged vlan x,y,z
  • eno49,50,51 : Bond mode 4 -> 3 ports SW1 trk1 tagged vlan 98,99
  • eno52 : -> SW2 tagged vlan 98,99

bonds linux

  • bond1 : eno1, eno2 lacp mode 4
  • bond0 : eno49,50,51 lacp mode 4
  • bond2 : bond0.98, eno52.98, bond_primary bond0.98 bond_mode active-backup 192.168.98.x
  • bond3 : eno52.99, bond0.99, bond_primary eno52.99 bond_mode active-backup 192.168.99.x

config des switches

  • uplink SW1 : port 10 untagged 1 172.16.1.x/24
  • uplink SW2 : port 10 untagged 1 172.16.1.y/24
  • SW1 trk1 lacp ports 1,2,3 tagged 98,99
  • SW1 trk2 lacp ports 4,5,6 tagged 98,99
  • SW1 trk3 lacp ports 7,8,9 tagged 98,99
  • SW2 ports 1,2,3 tagged 98,99 ->SN + SYNC
  • SW2 ports 4,5,6 untagged 1 -> ilo

La config correspondante :

auto lo
iface lo inet loopback

iface eno1 inet manual

iface eno50 inet manual

iface eno51 inet manual

iface eno52 inet static

iface eno49 inet manual

iface eno2 inet manual

iface eno52.98 inet manual

iface eno52.99 inet manual

auto bond0
iface bond0 inet manual
        slaves eno49 eno50 eno51
        bond_miimon 100
        bond_mode 802.3ad
        bond_xmit_hash_policy layer3+4

auto bond1
iface bond1 inet manual
        slaves eno1 eno2
        bond_miimon 100
        bond_mode 802.3ad
        bond_xmit_hash_policy layer3+4

iface bond0.98 inet manual

iface bond0.99 inet manual

auto bond2
iface bond2 inet static
        address  192.168.98.5
        netmask  255.255.255.0
        slaves bond0.98 eno52.98
        bond_mode active-backup
        bond_primary eno52.98
        pre-up ifup bond0.98 eno52.98
        bond_miimon 100
#       bond_arp-interval 100
#        bond_arp-ip-target 192.168.98.4 192.168.98.6

auto bond3
iface bond3 inet static
        address  192.168.99.5
        netmask  255.255.255.0
        slaves bond0.99 eno52.99
        bond_mode active-backup
        bond_primary bond0.99
        pre-up ifup bond0.99 eno52.99
        bond_miimon 100
#        bond_arp-interval 100
#        bond_arp-ip-target 192.168.99.4 192.168.99.6

L'ip sur serveur sera sur bond.x, qui correspond au vlan PEDA

Par exemple, ljoly propose :

Les 4 ports du haut de gauche à droite :

  • Eno52 : sync
  • Eno51 : bond0
  • Eno50 : bond0
  • Eno49 : bond0

avec Bond0 : réseau SN pour ceph

Les 3 Ports du bas de gauche à droite :

  • Port iLO
  • Eno1 : bond1
  • Eno2 : bond1

avec Bond1 : agrégat LACP vers le routeur du lycée

Pour la mise à jour des firmware des switchs Aruba HP-2530-8G-PoEP :

Pour flasher le switch, il faut un serveur tftp .

Télécharger le firmware à l'adresse suivante : https://h10145.www1.hpe.com/support/SupportLookUp.aspx. Connecté en CLI sur le switch, passer en mode configuration. La commande est de la forme suivante : copy tftp flash ip_tftp nom_flash.swi

conf à ljoly !!

A faire sur le switch 8G :

  • Switch 1 : réseau SN (ceph) à 8 ports

  • Switch 2 : réseau SN (ceph) à 4 ports et réseau Sync à 4 ports (synchro proxmox)

Pensez à changer l’adresse ip et le hostname des switchs pour les mettre en conformité avec votre réseau.

Pensez à flasher vos switchs en vers YA.16.05.0008 pour switch J997A

Il faut que vous définissiez un identifiant et un mot de passe pour vos switchs

(password manager user-name Admin en cli)

Seul le vlan 1 gestion est transmis aux autres switchs du réseau pour permettre la gestion des switchs et des logs à distance. Il est possible que l’on doive rajouter l’ip igmp sur le vlan 98.

J’ai mis un exemple de configuration avec serveur sntp et rsyslog externe (ce qui est le cas chez moi)



switch 1 base.txt

; J9774A Configuration Editor; Created on release #YA.16.05.0008
; Ver #12:00.04.19.02.13.98.82.34.61.18.28.f3.84.9c.63.ff.37.27:06
hostname "RGA-SRV-SW1"
snmp-server community "public" unrestricted
snmp-server location "A029BIS"
vlan 1
   name "Gestion"
   no untagged 1-8
   untagged 9-10
   ip address 192.168.1.239 255.255.255.0
   exit
vlan 98
   name "SN"
   untagged 1-8
   no ip address
   exit
vlan 99
   name "Sync"
   no ip address
   exit
spanning-tree
no dhcp config-file-update
no dhcp image-file-update
no dhcp tr69-acs-url
activate software-update disable
activate provision disable
password manager


switch 1 galilee.txt

; J9774A Configuration Editor; Created on release #YA.16.05.0008
; Ver #12:00.04.19.02.13.98.82.34.61.18.28.f3.84.9c.63.ff.37.27:06
hostname "RGA-SRV-SW1"
logging 192.168.1.99
logging facility local0
timesync sntp
sntp unicast
sntp server priority 1 192.168.1.99
time timezone 120
snmp-server community "public" unrestricted
snmp-server location "A029BIS"
vlan 1
   name "Gestion"
   no untagged 1-8
   untagged 9-10
   ip address 192.168.1.239 255.255.255.0
   exit
vlan 98
   name "SN"
   untagged 1-8
   no ip address
   exit
vlan 99
   name "Sync"
   no ip address
   exit
spanning-tree
no dhcp config-file-update
no dhcp image-file-update
no dhcp tr69-acs-url
activate software-update disable
activate provision disable
password manager


switch 2 base.txt

; J9774A Configuration Editor; Created on release #YA.16.05.0008
; Ver #12:00.04.19.02.13.98.82.34.61.18.28.f3.84.9c.63.ff.37.27:06
hostname "RGA-SRV-SW2"
snmp-server community "public" unrestricted
snmp-server location "A029BIS"
vlan 1
   name "Gestion"
   no untagged 1-8
   untagged 9-10
   ip address 192.168.1.238 255.255.255.0
   exit
vlan 98
   name "SN"
   untagged 1-4
   no ip address
   exit
vlan 99
   name "Sync"
   untagged 5-8
   no ip address
   exit
spanning-tree
no dhcp config-file-update
no dhcp image-file-update
no dhcp tr69-acs-url
activate software-update disable
activate provision disable
password manager




switch 2 galilee.txt

; J9774A Configuration Editor; Created on release #YA.16.05.0008
; Ver #12:00.04.19.02.13.98.82.34.61.18.28.f3.84.9c.63.ff.37.27:06
hostname "RGA-SRV-SW2"
logging 192.168.1.99
logging facility local0
timesync sntp
sntp unicast
sntp server priority 1 192.168.1.99
time timezone 120
snmp-server community "public" unrestricted
snmp-server location "A029BIS"
vlan 1
   name "Gestion"
   no untagged 1-8
   untagged 9-10
   ip address 192.168.1.238 255.255.255.0
   exit
vlan 98
   name "SN"
   untagged 1-4
   no ip address
   exit
vlan 99
   name "Sync"
   untagged 5-8
   no ip address
   exit
spanning-tree
no dhcp config-file-update
no dhcp image-file-update
no dhcp tr69-acs-url
activate software-update disable
activate provision disable
password manager

Remarque: Si on suit la config présentée ici, les deux ports n°9 des deux switchs doivent être taggué dans les trois vlans (gestion,98 et 99). On reliera les ports n°9 de chaque switch ensemble.

Le port n°10 (untagged) d'UN des deux switchs sera à raccorder sur un port trunk d'un switch du réseau. On reliera SEULEMENT un des deux switchs au reste du réseau. Si on relie les deux, alors on crée une boucle qui va désynchroniser les lames (ceph passera à l'orange, et les logs vont gonfler sur la carte sd).

On pourra raccorder sur le switch n°1 deux des ports ceph de chaque lame , le troisième étant relié à l'un des ports de la vlan ceph du deuxième (port 1 à 4).

Clone this wiki locally