Étiquette : Proxmox

Construisez votre cluster de virtualisation AMD au format Mini-ITX

Publié le par Guy VANDENBERGHE

Ce n’est pas nouveau, mais beaucoup d’ingénieur en informatique ou développeur cherche perpétuellement la bonne configuration pour construire son serveur pour un lab ou plus.

La problématique est que l’encombre d’un serveur au format tour ou rack est avéré.
Si l’on cherche à se retrouver seul chez soi avec son serveur, au lieu de la personne avec qui nous vivons, c’est la bonne démarche !

Après une configuration à base de Shuttle et d’intel I7-8700 créée en 2017, je vous propose un nouveau challenge:
Un VRAI serveur AMD en format Mini-ITX.
Vous allez me rétorquer, “Pffffuu, facile….”. Mais là je vous parle d’un VRAI serveur avec une carte serveur sans l’équipement de carte vidéo.
“Aahhhh ?”. Eh bien oui ! 🙂

Après sa fameuse carte mère X470D4U au format ATX, ASRock Rack, la filiale d’ASRock, a publié courant janvier une nouvelle version de cette fameuse carte mère. Plus rapide et pourvu du chipset X570 devenu un standard pour les cartes mères à base de processeurs AMD.
Mais cela n’est pas tout. Cette carte est au format Mini-ITX.

Cette nouvelle au final avec les problématiques de COVID, à pris beaucoup…beaucoup de retard sur la production venant de Chine.
Les premières livraisons sont arrivées au compte-gouttes courant Juin dans certains pays en Europe, et Juillet/Aout en France.

Pour couronner le tout, certains composants comme les alimentations se sont fait attendre également. Autant dire que les approvisionnements sont tendues à cause de ces épisodes d’épidémies et partout dans le monde.

Voici donc un exemple de configuration que je vous propose en versus Mini-ITX.

Le cahier des charges

Un serveur avec un processeur AMD et dépassant 10 cœurs.
Pas de blocage d’évolution de la RAM à 32 ou 64GB
La possibilité de mettre plus de deux disque de stockage
Un budget raisonnable pour ce genre de configuration

La carte mère

Cette X570D4I-2T est une bombe, et propose tous de sa petite sœur la X470. Attention cependant, cette carte mère est le premier centre de coût après le processeur. Comptez plus de 300€.:

X570D4I-2T

1 socket AMD AM4 pour processeur AMD Ryzen 3000
4 Slots mémoire DDR4 2133/2400/2666/2933 MHz  Dual-Channel (128 Go max.)
8 SATA 6Gb/s (par  OCulink) avec le support RAID 0/1/10
1 x M.2 PCIe 4.0 x4 / SATA 6 Gbps
1 port PCI-Express 4.0 16x
2 LAN 10 GbE Intel X550-AT2
1 port LAN mangement IPMI Realtek RTL8211E
1 Contrôleur Aspeed AST2500

Et oui, cette carte serveur possède sa carte graphique. Inutile de monopoliser un port PCI pour une carte graphique, car comme vous le savez, seul les AMD de la série Vega intègre le processeur graphique. Un sacré gain de place, de consommation. Et il nous reste un port PCI utilisable pour soit une carte graphique dédié pour du calcul GPU ou autre.

Il s’agit bien ici d’une carte mère serveur, car il y a la présence d’un BMC, car comme on peut le voir, un troisième port Ethernet est disponible. Il s’agit d’un port de management qui permet, comme beaucoup de carte mère serveur de prendre la main à distance (RSA, iLO, et cie). Et surtout de démarrer la carte mère et ses périphériques.

Add’On

Pour ajouter un petit plus (qui existait dans la configuration Shuttle), une carte Wifi en port PCI avec un chipset Intel, et … une puce bluetooth. De quoi être complet, non !?!

Le processeur

Deuxième centre de coût.

Mon objectif était de monté en puissance après ma configuration Shuttle à base d’Intel I7-8700.
Ainsi, de 12 Thread sur 6 Cœurs, j’ai fais le choix rapport/prix de passer à 12 Cœurs 24 Thread, soit doubler le compute.
Les EPYC étant trop cher, j’ai sélectionner le Ryzen 9 3900X 3800MHz.

La RAM

Troisième centre de coût. Le choix important et doit-être en compatibilité avec les recommandations constructeurs.
Deux barettes Crucial CT2K32G4SFD8266 propose ainsi 64 GB de RAM. Ainsi deux emplacements reste libre pour monter à 128GB la capacité maximale mémoire.

L’alimentation

Pour faire fonctionner cela, une bonne alimentation au format TFX, car au format Mini-ITX, c’est le format implicite.
J’ai choisi un bon rendement pour jouer la carte budget électrique et éviter des pertes dû au mauvais rendement. La TFX Power 2 300W Gold de chez BeQuiet me semblait une évidence pour rester dans un budget convenable. 300W, cela parait faible, mais cela est très suffisant, a moins d’utiliser des disques dur mécanique)

Le boitier

C’est très secondaire, mais au final, non. Il va accueillir tous l’ensemble et doit-être d’encombrement minimal. J’ai choisi le boitier BU12 de Chieftec, bien sur sans l’alimentation. Le boitier est de bonne facture pour un prix très raisonnable. Si on cherche à héberger beaucoup de disque dur il faudra changer pour un boitier un peu plus haut. Pour mon besoin, je suis parti pour deux unités à fortes capacités. (Nous en parlerons plus tard)

  • BU12 / Vue de derriere
  • BU12 / Vue de face

Ce boitier possède des emplacements 2,5″, 3,5″ et un pseudo 5 1/4″. Avec des berceaux d’adaptations à prix modique, il est donc possible de mettre en deux à quatre disque 2,5″.

Le Refroidissement

C’est un choix important pour éviter d’avoir trop de bruit et avoir une ventilation efficace. Par rapport à la hauteur du boitier, le choix est très dirigé.

C7 Cu

ATTENTION, ASRock impose un montage des ventilateurs au format LGA15xx, alors que le processeur est au format M2.

Certains constructeur de système de refroidissement propose des ventilateurs, ou ventirad pour les puristes, adaptables pour de nombreux format et cela peut import le socket du processeur.

C’est le cas du C7 de chez Cryorig, qui possède un look très sympa, sans cloisonnement qui provoque lorsque le ventilateur se voile, des bruits de frottement. La hauteur de ce ventirad nous laisse encore un petit de mou.

Le stockage

Comme je vous l’ai dit, j’ai choisi deux disques SATA SSD à fortes capacités. Selon son besoin, ils pourront être montés en RAID1 ou non en fonction. J’ai choisi un volume par disque Segate Baracuda 120 SSD. Ce choix est le meilleur compromis/prix avec IO supérieurs à Western Digital ou Crucial par exemple.

Enfin pour éviter de monopoliser l’un de ces pour le système de virtualisation, un disque M2 de 250 GB WD blue que je possédais. Très largement suffisant.

L’intégration

La carte mère s’intègre sans complication sur le boitier.
C’est côté alimentation que l’intégration doit-être soignée, car la place disponible est faible. Notamment près du ventilateur du boitier.
Une attention toute particulière est aussi sur le raccordement. Fourni avec l’alimentation TFX, BeQuiet! propose un adaptateur ATX vers ATX 12V. Il ne faut pas non plus oublier l’alimentation 12v du CPU, sinon la carte mère s’allumera de facto, mais sans CPU rien ne fonctionnera et sans aucune alerte sur la partie BMC.

Comme on peut le voir sur les illustrations, le raccordement des unités de disques de stockage SATA s’effectue par un câble OnLink. Attention ce câble est assez fin et peu, vite s’abimer. Via ce câble, quatre connexions SATA sont disponibles.

ATTENTION également, ASRock recommande d’utiliser les câbles d’alimentations venant de l’alimentation à découpage TFX et non de la carte mère pour éviter des dégradations de la carte mère. Tous dépends de l’alimentation utilisée ATX ou ATX12V.

Installation de l’hyperviseur

Aspeed AST2500 oblige, il faudra se contenter d’un port vidéo VGA. Mais cela n’est pas forcément utile, car nous disposons de notre BMC. Et là tout se fait à distance !
Précaution, tout de même, utilisez la version Java de la prise à distance. Cela vous permettra d’avoir plus d’options à disponibilité.

Cela parait simple, mais il y a toujours des mauvaises estimations de compatibilité avec un hyperviseur ou un autre.

ESXi 7

Avant l’achat, il est évident que des vérifications de compatibilités ont été réalisé notamment avec VMware. L’objectif était également de pouvoir installer un ESXi 7. Comme vous le savez, les drivers de l’ESXi 7 ont été complètement ré-écrit, ce qui ne peut pas forcément arranger les choses.

Force de dire que l’installation passe comme une lettre à la poste. Même la carte WIFI grace à son chipset Intel, est reconnue.

J’ai poussé le bouchon un peu plus loin en virtualisant un hyperviseur Linux, Proxmox. Bien évidement il est important d’activer le partage de l’hyper threading et affecter un nombre suffisant de CPU dédié à cette VM.

Ainsi nous disposons, d’un hyperviseur ESXi, et d’un hyperviseur Proxmox afin de virtualiser des containers LXC/LXD.

Chacun y trouvera son compte.

Proxmox 6.2.x

Installer un Proxmox au lieu d’un ESXi 7, ne pose aucun soucis de facto non plus. Noyau Linux oblige, c’est du gâteau !
Là aussi, tout est reconnu. Le petit plus, par rapport à une config Shuttle Intel, aucun besoin de toucher au configuration IOMMU pour éviter des instabilités, car ici TOUT est disponible et fonctionne sans rien faire.

Ainsi le partage en Pass-Thru des add’on PCI ou USB pour une VM, est fonctionnel.

Deux exemples de VM avec leur port PCI ou USB en mode Pass-Thru.

Installer un ESXi en mode Nested ne pose non plus aucun soucis. Il suffit de réserver un certains nombre de ressources CPU en mode CPU-Host par exemple pour profiter d’un hyperviseur VMware sous Proxmox.

Pour rappel sous linux, il est impératif de paramétrer les modules modprobe en fonction du fondeur du cpu:

Activation du support nested

Il faut commencer par contrôler si le paramètre nested est activé ou pas dans le processeur :

cat /sys/module/kvm_intel/parameters/nested
ou
cat /sys/module/kvm_amd/parameters/nested
# N ou 0

S’il est à N ou à 0, c’est qu’il n’est pas activé.

Pour activer l’activer, il suffit de positionner la variable à 1 à l’aide de la commande; Remplacez xxxx par le fondeur du cpu:

echo "options kvm-xxxx nested=1" > /etc/modprobe.d/kvm-xxxx.conf

Il faut ensuite redémarrer le module kvm. Pour cela il faut que toutes les vms soient arrêtée sur le serveur.

modprobe -r kvm-intel ou modprobe kvm-intel

On vérifie :

cat /sys/module/kvm_intel/parameters/nested
# Y ou 1

Côté hyperviseur, on est prêt !

Coté guest-OS, plus particulièrement l’hyperviseur virtualisé, il est impératif de paramétrer au niveau de l’enveloppe du guest le type de cpu à host.

Puis également, même si ce n’est pas forcément impératif, ajouter le paramètre : args: -enable-kvm dans le fichier de conf de la vm (Par exemple : /etc/pve/qemu-server/106.conf

C’est tout ! Vous voilà prêt pour virtualiser un hyperviseur…Heu mais que dis-je ? 🙂

La boucle est bouclée !

Un Datacenter chez vous ?!

Un Datacenter chez vous ?!

Publié le par Guy VANDENBERGHE

Un datacenter … bien sur c’est un peu exagéré, mais tout de même, oui et c’est possible !  Nous parlerons plutôt d’un “home-lab”. Effectivement plut adapté.
Comment est-ce possible ?  Grâce à la virtualisation bien sur !

En fonction du choix de la solution solution d’hypervision, il est fort possible de monter son propre Cloud privé.
Avec la solution Proxmox, par exemple, et la solution Cloud-Init, un vrai outil Cloud qui permet de configurer les machines virtuelles KVM aussi facilement que le containers LXC. Il n’est plus nécessaire de se connecter via la console de l’hyperviseur pour configurer une machine virtuelle.
Cloud-Init est d’autant plus pratique lorsqu’il s’agit de déployer une machine virtuelle nécessitant une configuration réseau particulière.

En batterie ou seul

Pour cela il suffit de bien sélectionner son matériel et son budget. A l’heure du cloud et de l’hébergement chez un fournisseur payant de VM, est-il intéressant d’avoir sa propre infrastructure chez soi ou dans son entreprise ?
Oui, par exemple dans le cas de Labs utilisés par vous, ou des équipes de développeurs ou intégrateurs. Nul besoin d’équipes opérationnelles ou d’infogérants pour gérer cela. Seul hic, à vous de faire la soupe !
Un ou plusieurs miniPC interconnectés ou non, gérant 16/32/64GB de RAM, ports mPCI, SATA, CPU 6,8,12 cœurs, Intel ou AMD, interface.s réseau.x Gigabit; De quoi monter un mini datacenter.
Qu’il soit isolé ou en batterie de clusters, construire son archipel d’hyperviseur sans surcoût logiciel est assez aisé et rentable.De nos jours quelques constructeurs de miniPC vous proposent des matériels permettant de faire cela.

Non au NUC !

Nous ne parlerons pas de miniPC comme les NUC et autres assez limités en terme de ressources. Nous parlons ici de matériels proposant 32 Gb de RAM minimum et permettant d’avoir des processeurs 8, 12, 16 vCPU et en multi-thread s’il vous plait ! Imaginez, à moins de 700/1000€ vous disposez d’un vrai hyperviseur ayant la faculté de virtualiser une dizaine de VM !
VMWare, Proxmox, Hyper-V, vous propose de monter vos hyperviseurs et cela gratuitement ! (Microsoft vous demandera un licence pour le système d’exploitation).

Mise à jour Février 2020: Les Shuttle passent aussi la frontière des 32GB !

Mise à jour Novembre 2019: les NUC passent la frontières des 32GB. Bonne nouvelle Shuttle à priori aussi ! Tel que le DH310v2 qui le permet. Bien entendu, Shuttle doit valider cela, malgré que les chipsets des cartes mères le permettent. Des tests poussés doivent être réaliser pour valider cela. A noter que les barrettes de 32GB sont assez ressentes, ce qui cela.

Passons à la configuration

Prenons un exemple de configuration. Nous partirons sur la marque Shuttle. Cet intégrateur permet de mettre à disposition des configurations beaucoup plus ouvertes que d’autres constructeurs. Il est possible de choisir, le processeur, la mémoire, le stockage, et potentiellement les familles de réseaux tierces comme le bluetooth, Wifi et cie.
Shuttle à le fort avantage de vous laisser le choix du processeur lié au socket compatible. C’est un plus et un moins si le marché du processeur est tendu.
Nous partirons sur le DHT310v1 (à savoir que le v2 est disponible depuis peu). A noter qu’il possible de choisir jusqu’a l’Intel® Core™ i9-9900T ou l’Intel® Core™ i9-9900. Soit 8 cœurs 16 thread ! soit 16 vCPU. Rappelons que les versions T sont les versions économique en consommation électrique (35W contre 60W). 

Configuration matérielle:
Processeur: 
Supports LGA 1151v2 "Coffee Lake"
processeurs jusqu’à max. TDP 65 W
 Supports Core i7 / i5 / i3, Pentium, Celeron
Heatpipe cooling system avec deux ventilateurs
Chipset Intel H310 Chipset

Mémoire
2x 260-pin SO-DIMM slot
Supports DDR4-2400/2666, max. 2x 16 GB
Carte Graphique
Intel HD graphics, 4K support
Support deux écran indépendants


Options:
WLAN Module (WLN-M)

Stockage:
1x 2.5” baie pour SATA ou SSD
M.2 slots
1x M.2 2280M slot (PCIe x4, SATA)
1x M.2 2230E for optionel WLAN (WLN-M)


Connectiques:
HDMI 2.0, DisplayPort 1.2
Lecteur SD card, 2x audio (Sortie, Mic)
4x USB 3.0, 4x USB 2.0, 1x USB 2.0 onboard
2x Intel Gigabit LAN (RJ45)
2x COM port (RS232 + RS232/RS422/RS485)

Alimentation:
90W/19V Externe

L’ ajout l’optionnel de la carte WiFi peut sembler dispensable, certes. Ici nous allons démontrer qu’il possible d’utiliser cette interface en pass-throw pour une VM. Cela se fera non pas par un port USB mais directement en M.2-2230.

Le M2 un sacré format !

Le format M.2 devient courant, notamment pour les SSD. Mais attention se cache une multitude de possibilités derrière cette norme: largeur, longueur, épaisseur, etc. Auparavant connu sous NGFF (Next Generation Form Factor), et proposé par Intel en 2012, le M.2 se démocratise sur les cartes mères des ordinateurs de bureau, et bien sur des portables. Ce type de support s’ouvre à beaucoup de possibilités : Disque dur SSD, carte Wi-Fi et/ou Bluetooth, modem 4G, récepteurs GPS, ports USB, Ethernet Gigabit, etc. Ainsi ce format M.2 prend le relais des mSATA et mPCIe.
Vous l’aurez compris, la carte WiFi sera prise en compte comme une carte PCI, mPCI plus exactement. Mieux que de l’USB, non ?!
Bien entendu c’est toute la force du mPCI qui va être géré…via le mode PassThu des Hyperviseurs, surtout Proxmox et les Xen-hyperviseurs.

Pour continuer sur ce fameux format M2, et pour démontrer et exploiter toutes les possibilités du DHT310. Nous allons lui adjoindre deux différents type de stockage. Cela afin d’affirmer que ce boitier, est tout à fait compatible avec la virtualisation. Nous allons lui ajouter un disque SSD en format M2 et un disque SATA SSD. Pourquoi ce choix ? Nous dédions un disque SATA SSD pour le système de l’hyperviseur, (et cela ne coûte rien). Enfin un SSD M2 mPCI pour les données, c’est a dire les VM !.
Ainsi nous exploitons bien les bus d’échanges PCI pour chaque type de données. Bien sur ce choix c’est luxueux. Rappel, nous faisons une démonstration !
En fonction de l’hyperviseur choisi, cela peut-être très utile, sans compter de pouvoir le réinstaller, mettre à jour un hyperviseur sans toucher aux données des VM, du ou des datastore.

Pour notre configuration, nous partons sur un disque SATA SSD de 32 GB chez Transcend par exemple, offrant de bonne performance pour le coût, environ 25/30€. Le T32G SSD370.

  • La connectique SATA
  • SSD Transcend

Pour notre datastore, nous avons choisi le mPCI Western Digital Bleu en version 250Gb; nous devons être performant et économe aussi ! Ce SSD et assez base de gamme, à l’époque ou les SSD étaient cher. Ici il s’agit d’un SSD au format m2 SATA.Certes moins performant que le format PCI-e il reste abordable.

Si vous avez besoin d’IOPS, il est préférable de vous orienter sur un SSD m2 au format NVMe PCI-e, comme les gammes “Gamer” ou PRO. Ces produits peuvent proposer des débits à 3500/3000 MB/sec contre 500 pour notre WD Blue.
A la caisse on multiplie par trois ! Soit environ 150/250 €. C’est un choix.

Pour notre capacité, comptez environ quelques Euro à peine pour du format mPCI, ici environ moins de 50€.

Enfin vue de l’intérieur et de la partie réseau radio, le wifi.

Le moteur, un bon CPU !

Quel choix pour le processeur ?
Tout dépend de votre besoin. Ici nous avons souhaité ne pas être limité. Nous avons choisi un Intel Intel Core i7-8700 (3.2 GHz), permettant un hyper-threading à 12 vCPU (6 cœurs/12 threads). Il nous donne de bonnes possibilités notamment pour les containers.
Certes assez cher, suite au pénurie de fin 2018, il nous à coûter près de 350€. C’est finalement le poste le plus important en dépense. C’est ce type de choix qui pourrait par exemple d’orienter son choix de matériel en prenant un tout intégré comme chez le constructeur Italien ZOTAC.

Le choix de l’hyperviseur

C’est une question de choix, de connaissances, et de fonctionnalité.

VMWare

Certes un standard. VMWare vous propose à titre gracieux et limité à 32GB de RAM une version d’ESXi 6.7. Et fonctionnant très bien. Attention le pass-thru ne gère pas le Wifi et la carte graphique. Hormis cela C’est un bon choix. Attention la sécurisation des consoles distantes peut-être déconcertantes, notamment à cause des certificats lié au nom système déclaré lors de l’installation.

Les Xen like

Bien sur un bon choix, si vous connaissez comment faire la soupe, car vous partez de zéro grace à une distribution Linux de base.
Variante possible est d’installer la version Citrix XenServer. Mais attention, vous n’aurez que les options de bases, certes assez complètes.

Hyper-V

Comme notre matériel est complètement compatible avec Windows 10, pas de soucis ! Seul hic, il vous faut une licence Windows 10. Donc ce n’est pas gratuit ! Idem pour le mode Pass-Thru, pas forcément gérer de base. Proxmox, notre chouchou…Oui et pourquoi ? Proxmox, l’intégrateur Allemand, propose grace à sont travail, à la fois de l’hypervision classique et la gestion de containers. VMWare, non, sans licence additionnelle.
De plus, il nous ai possible à partir de la version 5.3 de gérer un vrai pass-thru via les port PCI, (et mPCI). De plus la gestion des diverses interfaces d’administration est assez compréhensible, souples et complètement Web sans ajout de quelconques agent ou plugin logiciels additionnels.

L’installation

Comment installer et cela peut import l’OS Hyperviseur ?
Grâce à un utilitaire de copie d’une ISO d’un DVD vers une clef USB, (qui peut-être un adapteur USB/carte SD/MicroSD). Une fois effectué, il suffit de forcer le démarrage au bios sur le support USB utilisé.
Si vous disposez d’un vieux lecteur DVD/USB, c’est donc plus simple, en ayant graver l’ISO sur un DVD/CDROM.

Pour la configuration de l’hyperviseur, tout dépend de ce que l’on souhaite faire.
Pour notre configuration, et lié au choix matériel/Hyperviseur, notre objectif était de proposer une configuration, compatible en entreprise. Permettant un renforcement des accès réseaux et permettant d’avoir les meilleurs performance des IO entrées/Sorties (réseaux, stockage, système).
Soit comme tel:
– un seul datastore.
– deux interfaces réseaux, une interface WAN, une LAN.
– notre carte wifi sera utilisée pour une VM en mode Pass-Thru.

Une vue des statistiques d’utilisation via Proxmox via l’interface d’administration.

Une vue de la configuration de l’utilisation en mode Pass-Thru d’un périphérique PCI (mPCI). Ici notre carte Wifi.

Ils sauront vous accompagner !

Besoin ou envie d’acquérir vo.s hyperviseur.s pour un développement, définir des PoC/PoV ou maquettes sans dépendre de votre datacenter de production ?
Gagner en souplesse d’Agilité et de maitrises de vos environnements de virtualisation avant le passage en production ?
Favoriser votre mobilité en produisant vos maquettes applicatives ou d’infrastructure S.I. In The Box, grâce à ce type de solution, peu encombrante.

Quelques sociétés comme la société EXTEIN vous propose de vous équiper à moindre coup pour monter votre ESXi, HyperV, XenCitrix, Proxmox en version Shuttle ou ZOTAC, vous permettant d’avoir un serveur de virtualisation pour vos maquettes et PoC pour vos équipes de développements. Et tous cela en espace réduit et à faible coût énergétique.
La majorité de ces versions seront limités à 32GB/64 Gb de Ram, ce qui est suffisant pour construire un mini labo, ou centre de développement à moindre coup.

LE must pour la virtualisation le DH310 v1 ou V2, équipé de ces deux ports séries.

Basé sur les boitiers type DH310 ou DH370, l’intégration est sur mesure avec des versions « gratuites » de VMWARE esxi 6.7 voir 7.0, XenCitrix ou Proxmox 6.x.

le DH370, équipé de ces deux ports séries et plus de port USB 3.0.

Complètement personnalisables, ces boitiers peuvent gérer 32 et 64 GB de RAM et des processeurs jusqu’à la génération i9, proposant 12/18 vCPU. Rien que cela !
Ces boitiers qui sont pris par exemple, sont respectivement en prix public à 293 et 257 € sans mémoire, sans stockage, sans CPU.
En fonction du type de microprocesseur, de la qualité et quantité mémoire vive (RAM), le stockage SSD, ce genre de solution est accessible autour de 1200€.
A noter que la carte mère fait parti des gammes de produits « Always On ».

Demandez auprès de la société EXTEIN un devis basé sur un cahier des charges et ils ferons le reste, hyperviseur compris, (c’est promis !)