| ... | ... | @@ -91,9 +91,29 @@ iface vmbr0 inet manual |
|
|
|
|
|
|
|
## Config des switchs
|
|
|
|
|
|
|
|
Les 2 switchs sont branchés sur le coeur de réseau ou un fédérateur, si possible en 10Gb, ou lacp 2Gb.
|
|
|
|
|
|
|
|
- sur le 48G, on fait 1 trunk lacp avec N-1 ports par serveur.
|
|
|
|
- sur le 8G pas de trunk.
|
|
|
|
Tous les ports sont tagged sur les vlans qui nous intéressent
|
|
|
|
Tous les ports sont tagged sur les vlans qui nous intéressent : par exemple dans mon cas avec 6 serveurs proxmox
|
|
|
|
```
|
|
|
|
vlan 3
|
|
|
|
name "Serveurs Peda"
|
|
|
|
tagged 1-6,10
|
|
|
|
no ip address
|
|
|
|
exit
|
|
|
|
```
|
|
|
|
pour le 8G, et
|
|
|
|
```
|
|
|
|
vlan 3
|
|
|
|
name "Serveurs Peda"
|
|
|
|
tagged Trk1-Trk6,49-52
|
|
|
|
no ip address
|
|
|
|
exit
|
|
|
|
```
|
|
|
|
pour le 48G. En pratique la conf est exactement la même que celle des switches fédérateurs.
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
## transition depuis l'ancienne config :
|
|
|
|
Il faut disposer d'au moins un nouveau switch. Idéalement le 48G.
|
| ... | ... | @@ -108,326 +128,6 @@ Jusque là aucun changement de conf n'est à faire sur les lames. tout doit cont |
|
|
|
- modifier la conf des vm pour choisir le vlan de l'interface réseau virtuelle.
|
|
|
|
- démarrer les vm.
|
|
|
|
- si tout est ok, faire les autres lames.
|
|
|
|
# Ancienne config
|
|
|
|
Pour chaque serveur la configuration :
|
|
|
|
- 3 ports pour Ceph (sur un bond en LACP bond0 ci-après, le réseau SN)
|
|
|
|
- 2 ports pour le réseau (sur un bond en LACP nommé bond1 ci après, le réseau NET)
|
|
|
|
- 1 port pour la synchronisation des noeuds (le réseau SYNC)
|
|
|
|
- 1 port pour iLo
|
|
|
|
|
|
|
|
Connexion sur les switchs :
|
|
|
|
- Les 2 ports du bond1 sont à cablés sur un agrégat (trunk) d'un switch gigabit de tête de réseau du bahut
|
|
|
|
- Les ports iLo : ou on veut, éventuellement sur le réseau pédago, éventuellement sur le réseau d'amin des switchs ...
|
|
|
|
- Les ports du bond0 : sur un switch gigabit sur un vlan à part (SN, vlan98 ici )
|
|
|
|
- le port de synchro sur un vlan à part (SYNC sur le vlan99 ici)
|
|
|
|
|
|
|
|
Config des switchs
|
|
|
|
|
|
|
|
- 2 switchs Giga pour les réseaux SN et SYNC, un vlan pour chaque et inutile de faire des trunks (agrégats) puisque l'on tourne en balance-ald sur ceph... en revanche, répartir sur les 2 switchs les ports Ceph pour un max de redondance. (cela ne fonctionne pas !!!)
|
|
|
|
|
|
|
|
- Le réseau NET (qui sera taggé dans les vlans dont on aura besoin) : là il faut faire un agrégat sur le switchs de tête de réseau (nécessite donc 6 ports puisque 2 ports agrégés par serveur).
|
|
|
|
|
|
|
|
## proposition de config redondante **Validée**
|
|
|
|
|
|
|
|
98 est le reseau SN et 99 SYNC (perfs max et redondance)
|
|
|
|
On fait un double bond en mode active-backup qui permet d'avoir une répartition optimale en service normal et un mode dégradé sans pertes de connectivité.
|
|
|
|
|
|
|
|
On utilise le monitor ARP (niveau 2), ce qui permet de détecter une panne de switch, et non pas seulement un cable débranché.
|
|
|
|
__En fait l'arp pose problème, cela fonctionne bien, mais j'ai des tonnes de messages dans les logs comme quoi l'interface est down... Mais c's peutêtre lié à ma config. Pour le moment restons donc en miimon...__
|
|
|
|
|
|
|
|
|
|
|
|
### interfaces
|
|
|
|
- ilo1 : iLo -> SW2 untagged vlan 1
|
|
|
|
- eno1,2 : NET Bond mode 4 lacp -> SW tete tagged vlan x,y,z
|
|
|
|
- eno49,50,51 : Bond mode 4 -> 3 ports SW1 trk1 tagged vlan 98,99
|
|
|
|
- eno52 : -> SW2 tagged vlan 98,99
|
|
|
|
### bonds linux
|
|
|
|
- bond1 : eno1, eno2 lacp mode 4
|
|
|
|
- bond0 : eno49,50,51 lacp mode 4
|
|
|
|
- bond2 : bond0.98, eno52.98, bond_primary bond0.98 bond_mode active-backup 192.168.98.x
|
|
|
|
- bond3 : eno52.99, bond0.99, bond_primary eno52.99 bond_mode active-backup 192.168.99.x
|
|
|
|
### config des switches
|
|
|
|
- uplink SW1 : port 10 untagged 1 172.16.1.x/24
|
|
|
|
- uplink SW2 : port 10 untagged 1 172.16.1.y/24
|
|
|
|
- SW1 trk1 lacp ports 1,2,3 tagged 98,99
|
|
|
|
- SW1 trk2 lacp ports 4,5,6 tagged 98,99
|
|
|
|
- SW1 trk3 lacp ports 7,8,9 tagged 98,99
|
|
|
|
- SW2 ports 1,2,3 tagged 98,99 ->SN + SYNC
|
|
|
|
- SW2 ports 4,5,6 untagged 1 -> ilo
|
|
|
|
|
|
|
|
La config correspondante :
|
|
|
|
|
|
|
|
```
|
|
|
|
auto lo
|
|
|
|
iface lo inet loopback
|
|
|
|
|
|
|
|
iface eno1 inet manual
|
|
|
|
|
|
|
|
iface eno50 inet manual
|
|
|
|
|
|
|
|
iface eno51 inet manual
|
|
|
|
|
|
|
|
iface eno52 inet static
|
|
|
|
|
|
|
|
iface eno49 inet manual
|
|
|
|
|
|
|
|
iface eno2 inet manual
|
|
|
|
|
|
|
|
iface eno52.98 inet manual
|
|
|
|
|
|
|
|
iface eno52.99 inet manual
|
|
|
|
|
|
|
|
auto bond0
|
|
|
|
iface bond0 inet manual
|
|
|
|
slaves eno49 eno50 eno51
|
|
|
|
bond_miimon 100
|
|
|
|
bond_mode 802.3ad
|
|
|
|
bond_xmit_hash_policy layer3+4
|
|
|
|
|
|
|
|
auto bond1
|
|
|
|
iface bond1 inet manual
|
|
|
|
slaves eno1 eno2
|
|
|
|
bond_miimon 100
|
|
|
|
bond_mode 802.3ad
|
|
|
|
bond_xmit_hash_policy layer3+4
|
|
|
|
|
|
|
|
iface bond0.98 inet manual
|
|
|
|
|
|
|
|
iface bond0.99 inet manual
|
|
|
|
|
|
|
|
auto bond2
|
|
|
|
iface bond2 inet static
|
|
|
|
address 192.168.98.5
|
|
|
|
netmask 255.255.255.0
|
|
|
|
slaves bond0.98 eno52.98
|
|
|
|
bond_mode active-backup
|
|
|
|
bond_primary eno52.98
|
|
|
|
pre-up ifup bond0.98 eno52.98
|
|
|
|
bond_miimon 100
|
|
|
|
# bond_arp-interval 100
|
|
|
|
# bond_arp-ip-target 192.168.98.4 192.168.98.6
|
|
|
|
|
|
|
|
auto bond3
|
|
|
|
iface bond3 inet static
|
|
|
|
address 192.168.99.5
|
|
|
|
netmask 255.255.255.0
|
|
|
|
slaves bond0.99 eno52.99
|
|
|
|
bond_mode active-backup
|
|
|
|
bond_primary bond0.99
|
|
|
|
pre-up ifup bond0.99 eno52.99
|
|
|
|
bond_miimon 100
|
|
|
|
# bond_arp-interval 100
|
|
|
|
# bond_arp-ip-target 192.168.99.4 192.168.99.6
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
```
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
L'ip sur serveur sera sur bond.x, qui correspond au vlan PEDA
|
|
|
|
|
|
|
|
|
|
|
|
# Par exemple, ljoly propose :
|
|
|
|
|
|
|
|
|
|
|
|
Les 4 ports du haut de gauche à droite :
|
|
|
|
- Eno52 : sync
|
|
|
|
- Eno51 : bond0
|
|
|
|
- Eno50 : bond0
|
|
|
|
- Eno49 : bond0
|
|
|
|
|
|
|
|
avec Bond0 : réseau SN pour ceph
|
|
|
|
|
|
|
|
Les 3 Ports du bas de gauche à droite :
|
|
|
|
- Port iLO
|
|
|
|
- Eno1 : bond1
|
|
|
|
- Eno2 : bond1
|
|
|
|
|
|
|
|
avec Bond1 : agrégat LACP vers le routeur du lycée
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
## Pour la mise à jour des firmware des switchs Aruba HP-2530-8G-PoEP :
|
|
|
|
**Pour flasher le switch, il faut un serveur tftp .**
|
|
|
|
|
|
|
|
Télécharger le firmware à l'adresse suivante : https://h10145.www1.hpe.com/support/SupportLookUp.aspx. Connecté en CLI sur le switch, passer en mode configuration. La commande est de la forme suivante : ```copy tftp flash ip_tftp nom_flash.swi```
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
# conf à ljoly !!
|
|
|
|
|
|
|
|
A faire sur le switch 8G :
|
|
|
|
|
|
|
|
* Switch 1 : réseau SN (ceph) à 8 ports
|
|
|
|
|
|
|
|
* Switch 2 : réseau SN (ceph) à 4 ports et réseau Sync à 4 ports (synchro proxmox)
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Pensez à changer l’adresse ip et le hostname des switchs pour les mettre en conformité avec votre réseau.
|
|
|
|
|
|
|
|
Pensez à flasher vos switchs en vers YA.16.05.0008 pour switch J997A
|
|
|
|
|
|
|
|
Il faut que vous définissiez un identifiant et un mot de passe pour vos switchs
|
|
|
|
|
|
|
|
(password manager user-name Admin en cli)
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Seul le vlan 1 gestion est transmis aux autres switchs du réseau pour permettre la gestion des switchs et des logs à distance. Il est possible que l’on doive rajouter l’ip igmp sur le vlan 98.
|
|
|
|
|
|
|
|
J’ai mis un exemple de configuration avec serveur sntp et rsyslog externe (ce qui est le cas chez moi)
|
|
|
|
|
|
|
|
|
|
|
|
```
|
|
|
|
|
|
|
|
|
|
|
|
switch 1 base.txt
|
|
|
|
|
|
|
|
; J9774A Configuration Editor; Created on release #YA.16.05.0008
|
|
|
|
; Ver #12:00.04.19.02.13.98.82.34.61.18.28.f3.84.9c.63.ff.37.27:06
|
|
|
|
hostname "RGA-SRV-SW1"
|
|
|
|
snmp-server community "public" unrestricted
|
|
|
|
snmp-server location "A029BIS"
|
|
|
|
vlan 1
|
|
|
|
name "Gestion"
|
|
|
|
no untagged 1-8
|
|
|
|
untagged 9-10
|
|
|
|
ip address 192.168.1.239 255.255.255.0
|
|
|
|
exit
|
|
|
|
vlan 98
|
|
|
|
name "SN"
|
|
|
|
untagged 1-8
|
|
|
|
no ip address
|
|
|
|
exit
|
|
|
|
vlan 99
|
|
|
|
name "Sync"
|
|
|
|
no ip address
|
|
|
|
exit
|
|
|
|
spanning-tree
|
|
|
|
no dhcp config-file-update
|
|
|
|
no dhcp image-file-update
|
|
|
|
no dhcp tr69-acs-url
|
|
|
|
activate software-update disable
|
|
|
|
activate provision disable
|
|
|
|
password manager
|
|
|
|
|
|
|
|
|
|
|
|
switch 1 galilee.txt
|
|
|
|
|
|
|
|
; J9774A Configuration Editor; Created on release #YA.16.05.0008
|
|
|
|
; Ver #12:00.04.19.02.13.98.82.34.61.18.28.f3.84.9c.63.ff.37.27:06
|
|
|
|
hostname "RGA-SRV-SW1"
|
|
|
|
logging 192.168.1.99
|
|
|
|
logging facility local0
|
|
|
|
timesync sntp
|
|
|
|
sntp unicast
|
|
|
|
sntp server priority 1 192.168.1.99
|
|
|
|
time timezone 120
|
|
|
|
snmp-server community "public" unrestricted
|
|
|
|
snmp-server location "A029BIS"
|
|
|
|
vlan 1
|
|
|
|
name "Gestion"
|
|
|
|
no untagged 1-8
|
|
|
|
untagged 9-10
|
|
|
|
ip address 192.168.1.239 255.255.255.0
|
|
|
|
exit
|
|
|
|
vlan 98
|
|
|
|
name "SN"
|
|
|
|
untagged 1-8
|
|
|
|
no ip address
|
|
|
|
exit
|
|
|
|
vlan 99
|
|
|
|
name "Sync"
|
|
|
|
no ip address
|
|
|
|
exit
|
|
|
|
spanning-tree
|
|
|
|
no dhcp config-file-update
|
|
|
|
no dhcp image-file-update
|
|
|
|
no dhcp tr69-acs-url
|
|
|
|
activate software-update disable
|
|
|
|
activate provision disable
|
|
|
|
password manager
|
|
|
|
|
|
|
|
|
|
|
|
switch 2 base.txt
|
|
|
|
|
|
|
|
; J9774A Configuration Editor; Created on release #YA.16.05.0008
|
|
|
|
; Ver #12:00.04.19.02.13.98.82.34.61.18.28.f3.84.9c.63.ff.37.27:06
|
|
|
|
hostname "RGA-SRV-SW2"
|
|
|
|
snmp-server community "public" unrestricted
|
|
|
|
snmp-server location "A029BIS"
|
|
|
|
vlan 1
|
|
|
|
name "Gestion"
|
|
|
|
no untagged 1-8
|
|
|
|
untagged 9-10
|
|
|
|
ip address 192.168.1.238 255.255.255.0
|
|
|
|
exit
|
|
|
|
vlan 98
|
|
|
|
name "SN"
|
|
|
|
untagged 1-4
|
|
|
|
no ip address
|
|
|
|
exit
|
|
|
|
vlan 99
|
|
|
|
name "Sync"
|
|
|
|
untagged 5-8
|
|
|
|
no ip address
|
|
|
|
exit
|
|
|
|
spanning-tree
|
|
|
|
no dhcp config-file-update
|
|
|
|
no dhcp image-file-update
|
|
|
|
no dhcp tr69-acs-url
|
|
|
|
activate software-update disable
|
|
|
|
activate provision disable
|
|
|
|
password manager
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
switch 2 galilee.txt
|
|
|
|
|
|
|
|
; J9774A Configuration Editor; Created on release #YA.16.05.0008
|
|
|
|
; Ver #12:00.04.19.02.13.98.82.34.61.18.28.f3.84.9c.63.ff.37.27:06
|
|
|
|
hostname "RGA-SRV-SW2"
|
|
|
|
logging 192.168.1.99
|
|
|
|
logging facility local0
|
|
|
|
timesync sntp
|
|
|
|
sntp unicast
|
|
|
|
sntp server priority 1 192.168.1.99
|
|
|
|
time timezone 120
|
|
|
|
snmp-server community "public" unrestricted
|
|
|
|
snmp-server location "A029BIS"
|
|
|
|
vlan 1
|
|
|
|
name "Gestion"
|
|
|
|
no untagged 1-8
|
|
|
|
untagged 9-10
|
|
|
|
ip address 192.168.1.238 255.255.255.0
|
|
|
|
exit
|
|
|
|
vlan 98
|
|
|
|
name "SN"
|
|
|
|
untagged 1-4
|
|
|
|
no ip address
|
|
|
|
exit
|
|
|
|
vlan 99
|
|
|
|
name "Sync"
|
|
|
|
untagged 5-8
|
|
|
|
no ip address
|
|
|
|
exit
|
|
|
|
spanning-tree
|
|
|
|
no dhcp config-file-update
|
|
|
|
no dhcp image-file-update
|
|
|
|
no dhcp tr69-acs-url
|
|
|
|
activate software-update disable
|
|
|
|
activate provision disable
|
|
|
|
password manager
|
|
|
|
|
|
|
|
```
|
|
|
|
|
|
|
|
Remarque:
|
|
|
|
Si on suit la config présentée ici, les deux ports n°9 des deux switchs doivent être taggué dans les trois vlans (gestion,98 et 99). On reliera les ports n°9 de chaque switch ensemble.
|
|
|
|
|
|
|
|
Le port n°10 (untagged) d'UN des deux switchs sera à raccorder sur un port trunk d'un switch du réseau. On reliera SEULEMENT un des deux switchs au reste du réseau. Si on relie les deux, alors on crée une boucle qui va désynchroniser les lames (ceph passera à l'orange, et les logs vont gonfler sur la carte sd).
|
|
|
|
- finir de brancher les 2 autre cables par lames sur le 48G
|
|
|
|
- finaliser la config du 8g si besoin
|
|
|
|
|
|
|
|
On pourra raccorder sur le switch n°1 deux des ports ceph de chaque lame , le troisième étant relié à l'un des ports de la vlan ceph du deuxième (port 1 à 4). |
