Discussion:
eisfair auf ESXi: Welcher Festplatten-Controller?
(zu alt für eine Antwort)
Alex Busam
2020-05-26 08:27:44 UTC
Permalink
Hi,

auf
https://www.thomas-krenn.com/de/wiki/VMware_Performance_Vergleich_SCSI_Controller_und_NVMe_Controller?utm_source=www.thomas-krenn.com&utm_campaign=2020-05-26-Jetzt%20neu%3A%201HE%20Intel%20und%20AMD%20Rack-Server%2C%20VMware%20zertifizierte%20Server-Systeme%20und%20mehr&utm_medium=newsletter
werden die Controller verglichen bezügl. Performance. Wie sich die
Verwendung eines NVMe-Treibers mit normaler SSD über SATA verhält, geht
dort leider nicht hervor. Mich würde aber interessieren, welchen
Controller ihr verwendet und ob jemand mit dem NVMe-Controller Erfahrung
hat.


Viele Grüße
Alex
Kay Martinen
2020-05-26 14:03:02 UTC
Permalink
Post by Alex Busam
Hi,
auf
https://www.thomas-krenn.com/de/wiki/VMware_Performance_Vergleich_SCSI_Controller_und_NVMe_Controller?utm_source=www.thomas-krenn.com&utm_campaign=2020-05-26-Jetzt%20neu%3A%201HE%20Intel%20und%20AMD%20Rack-Server%2C%20VMware%20zertifizierte%20Server-Systeme%20und%20mehr&utm_medium=newsletter
werden die Controller verglichen bezügl. Performance. Wie sich die
Verwendung eines NVMe-Treibers mit normaler SSD über SATA verhält, geht
dort leider nicht hervor. Mich würde aber interessieren, welchen
Controller ihr verwendet und ob jemand mit dem NVMe-Controller Erfahrung
hat.
Spielt denn das eine Rolle? Wichtiger ist für den Eisfair unter ESXi
doch von welchen Storage-typen er booten kann. Und so weit ich den
Thread dazu hier noch erinnere war das eben auf NVMe für das Bootsystem
NICHT möglich. Warum soll das in einer VM anders sein, die
"virtualisiert" nur einen Echten Controller - der evtl. nicht mal
vorhanden sein muß. Dann kann er in der VM aber auch nicht dessen
erwartbare (Physische) Leistung bringen.

In
----
eignet sich in der Regel der VMware Paravirtual Controller besser. Für
absolute High End Performance bei Verwendung eines SSD RAIDs, NVMe- oder
PMEM-Storage und sehr hohen Performance Anforderungen innerhalb der VM
ist der NVMe Controller die beste Wahl.
----
lese ich das so: wenn du einen Raid-verbund aus mehreren SSD oder
Physischen NVMe Speicher *Hast* und auch noch das maximum an IO
brauchst... dann solltest du den NVMe Treiber in der VM nutzen.

Aber wenn das nicht der fall ist, du nur einzelne SSD, keine Echte NMVe
hast, dann reicht der pvirtual controller für alles übliche. Es geht ja
immer darum die Echte Leistungsfähigkeit der Hardware auch nutzen zu
können.

Grob gesagt, wenn ich keinen Porsche-Motor habe, dann reicht ein
VW-Käfer auch.

Was hindert dich eine Test-VM auf zu setzen, eine mit NVMe, eine mit
pvirtual und dann I/O auf dem Datenträger zu erzeugen. z.B. mit dem
schreiben von nullbytes in eine große Datei, oder diese wieder zu lesen,
nach /dev/null. Und dabei die Zeit stoppen um die MB oder GB/sek. raus
zu bekommen.

Die gleichen Tests solltest du vorher direkt auf der Hardware machen,
also deiner NVMe oder SSD. Dann weißt du wieviel die ohne
Virtualisierung liefern kann.

Mir fällt auf das du keine Angaben machst auf welcher Hardware der ESXi
(Version?) liefe und ob da außer einer SSD noch mehr oder Schnelleres
(NVME, SSD-RAID) wirklich vorhanden ist. Wenn nicht erübrigt sich das doch.

Ich verwende übrigens ProxMoxVE. Und habe noch alte E-1 die virtuelles
IDE nutzen, neuere mit SCSI und einen Test-Eis mit virtual. Durchsatz
war da eher kein Problem aber darauf optimiert habe ich selten. Weil ich
es privat nicht brauche.

Kay
--
Posted via leafnode
Thomas Bork
2020-05-26 21:51:41 UTC
Permalink
Post by Kay Martinen
Spielt denn das eine Rolle? Wichtiger ist für den Eisfair unter ESXi
doch von welchen Storage-typen er booten kann. Und so weit ich den
Thread dazu hier noch erinnere war das eben auf NVMe für das Bootsystem
NICHT möglich. Warum soll das in einer VM anders sein, die
"virtualisiert" nur einen Echten Controller - der evtl. nicht mal
vorhanden sein muß. Dann kann er in der VM aber auch nicht dessen
erwartbare (Physische) Leistung bringen.
1.
Bei eisfair ist zum Booten von einem nvme-Controller ...

1.a.
... der eiskernel ab 5.1.0 erforderlich, da nur dieser das Verzeichnis
/lib/modules/$kernel/kernel/drivers/nvme in die initramfs integriert.

1.b.
... ein neues lilo erforderlich, welches auch von nvme-Devices booten
kann. Dieses lilo ist bisher deswegen nicht erschienen, weil ich mir mit
Holger nicht einig darüber werden kann, wie dieses lilo-Paket beschaffen
sein muss.

Aus Punkt 1.a. und 1.b. folgt, dass bisher kein eiskernel 5.2.0
erschienen ist, der das entsprechende lilo als require mitbringt. Daraus
folgt weiterhin, dass alle weiteren Kernel-Updates meinerseits zur Zeit
in der Luft hängen und weiterhin hängen werden, wie auch weitere Installer.

Das alles wurde von mir nur virtualisiert getestet. Ich habe also keine
Ahnung, wie ein reales System reagiert. Das ist nicht zuletzt davon
abhängig, ob das BIOS einen Boot von nvme überhaupt zulässt, wenn nicht
von UEFI gebootet wird.
Post by Kay Martinen
Was hindert dich eine Test-VM auf zu setzen, eine mit NVMe, eine mit
pvirtual und dann I/O auf dem Datenträger zu erzeugen. z.B. mit dem
schreiben von nullbytes in eine große Datei, oder diese wieder zu lesen,
nach /dev/null. Und dabei die Zeit stoppen um die MB oder GB/sek. raus
zu bekommen.
Guter Ansatz:
Ich habe bei meinen Experimenten mit einem Installer mit nvme unter
VMware (ohne wirkliche Messungen durchgeführt zu haben) keine
Beschleunigung im Vergleich zu vmw_pvscsi feststellen können. Dabei lag
die virtuelle Maschine auf einer SATA-SSD.
--
der tom
[eisfair-team]
Kay Martinen
2020-05-26 23:07:33 UTC
Permalink
Post by Thomas Bork
Post by Kay Martinen
Spielt denn das eine Rolle? Wichtiger ist für den Eisfair unter ESXi
doch von welchen Storage-typen er booten kann. Und so weit ich den
Thread dazu hier noch erinnere war das eben auf NVMe für das Bootsystem
NICHT möglich. Warum soll das in einer VM anders sein,
1.
Bei eisfair ist zum Booten von einem nvme-Controller ...
... der eiskernel ab 5.1.0 erforderlich, da nur dieser das Verzeichnis
/lib/modules/$kernel/kernel/drivers/nvme in die initramfs integriert.
... ein neues lilo erforderlich, welches auch von nvme-Devices booten
kann. Dieses lilo ist bisher deswegen nicht erschienen, weil ich mir mit
Holger nicht einig darüber werden kann, wie dieses lilo-Paket beschaffen
sein muss.
Ich weiß nicht ob ein NVMe auch einen MBR hätte in dem der lilo seine
Startdateien ablegen könnte. Irgend ein Dateisystem muß ja drauf sein
sonst könnte nichts davon booten. Daher kann ich nur annehmen das
Problem liegt beim lilo. Grub kann es vermutlich aber der ist wohl hier
keine Option. Finde ich auch gut. Dessen konfig finde ich nur krank.
Post by Thomas Bork
Aus Punkt 1.a. und 1.b. folgt, dass bisher kein eiskernel 5.2.0
erschienen ist, der das entsprechende lilo als require mitbringt. Daraus
folgt weiterhin, dass alle weiteren Kernel-Updates meinerseits zur Zeit
in der Luft hängen und weiterhin hängen werden, wie auch weitere Installer.
Hmm, wenn Lilo den eiskernel blockiert und der Eiskernel den Lilo... hat
das unmittelbar mit kernel-updates zu tun? Verstehe ich jetzt nicht.

War der als nächster Kernel vorgesehen und alles andere wäre zu viel
aufwand?
Post by Thomas Bork
Das alles wurde von mir nur virtualisiert getestet. Ich habe also keine
Ahnung, wie ein reales System reagiert. Das ist nicht zuletzt davon
abhängig, ob das BIOS einen Boot von nvme überhaupt zulässt, wenn nicht
von UEFI gebootet wird.
Du meinst ob im Legacy-Modus, mit CSM von NVMe überhaupt gebootet werden
könnte?`Ich habe kein NVMe und brauche das auch nicht. Und ich hab noch
nicht geprüft ob der Aktuelle ProxMoxVE 6 seinen gästen überhaupt NVMe
als Bootmedium anbietet. SSD Emulation gibt es da schon länger. Ist nur
ein Klick in der Konfig.
Post by Thomas Bork
Post by Kay Martinen
Was hindert dich eine Test-VM auf zu setzen, eine mit NVMe, eine mit
pvirtual und dann I/O auf dem Datenträger zu erzeugen. z.B. mit dem
schreiben von nullbytes in eine große Datei, oder diese wieder zu lesen,
nach /dev/null. Und dabei die Zeit stoppen um die MB oder GB/sek. raus
zu bekommen.
Ich habe bei meinen Experimenten mit einem Installer mit nvme unter
VMware (ohne wirkliche Messungen durchgeführt zu haben) keine
Beschleunigung im Vergleich zu vmw_pvscsi feststellen können. Dabei lag
die virtuelle Maschine auf einer SATA-SSD.
Ich weiß nicht was Daniel Kubein jetzt aktuell auf seinem Gerät hat.
Aber er hatte doch genau das Problem hier das die NVMe nicht booten
wollte, aber von Bestimmten OS unterstützt würde. Darunter einen
Virtualisierer der die durchreicht könnte dann interessanter sein.

Kay
--
Posted via leafnode
Stefan Heidrich
2020-05-26 18:00:54 UTC
Permalink
Hallo Alex,
Post by Alex Busam
werden die Controller verglichen bezügl. Performance. Wie sich die
Verwendung eines NVMe-Treibers mit normaler SSD über SATA verhält, geht
dort leider nicht hervor. Mich würde aber interessieren, welchen
Controller ihr verwendet und ob jemand mit dem NVMe-Controller Erfahrung
hat.
Am ESX / in der VM ist folgende Hardware eingestellt:
SCSI-Controiller: BusLogic Parallel - entsprechend SCSI-Festplatte
Netzwerkkarte: Intel E1000

Mehr ist da eigentlich nicht an Hardware eingestekllt.

In der VM (Eisfair1) wird die Hardware so angezeigt:

System: Host: rsyslog Kernel: 4.9.220-eisfair-1-SMP i686 bits: 32
Console: tty 0 Distro: eisfair-1
Machine: Device: vmware System: VMware product: VMware Virtual
Platform serial: VMware-42 2a f7 9c b9 0a 81 a8-f1 fd 3a 6a 9f 6e a0 11
Mobo: Intel model: 440BX Desktop Reference Platform serial: N/A
BIOS: Phoenix v: 6.00 date: 04/05/2016
CPU: Single core Intel Xeon E5-2630 v2 (-MCP-) cache: 15360 KB
speed: 2599 MHz (max)
Graphics: Card: VMware SVGA II Adapter
Display Server: N/A driver: N/A
tty size: 80x40 Advanced Data: N/A for root out of X
Audio: Sound: Advanced Linux Sound Architecture v:
k4.9.220-eisfair-1-SMP
Network: Card: Intel 82545EM Gigabit Ethernet Controller (Copper)
driver: e1000
IF: eth0 state: up speed: 1000 Mbps duplex: full
mac: 00:50:56:aa:7a:52
Drives: HDD Total Size: 21.5GB (16.9% used)
ID-1: /dev/sda model: Virtual_disk size: 21.5GB
Partition: ID-1: / size: 20G used: 3.3G (18%) fs: ext4 dev: /dev/sda3
ID-2: /boot size: 82M used: 48M (63%) fs: ext4 dev: /dev/sda1
ID-3: swap-1 size: 0.09GB used: 0.00GB (3%)
fs: swap dev: /dev/sda2
RAID: No RAID devices: /proc/mdstat, md_mod kernel module present
Sensors: None detected - is lm-sensors installed and configured?
Info: Processes: 95 Uptime: 27 days 4:11 Memory: 58.3/1004.8MB
Init: SysVinit runlevel: 2 Client: Shell (hwdiag-list) inxi:
2.3.56


Hilft Dir das?

Viele Grüße
Stefan
Loading...