Złote U2, czyli testujemy WD Gold U.2 NVMe

Mamy dosyć ciekawą sytuację w naszym labie, bo każdy kolejny dysk, jaki dostajemy do testów, jest szybszy od wcześniejszego. Dotyczy to zarówno dysków SSD jak i HDD. Jednak dzisiaj przeskakujemy do innego typu dysków z nowym złączem – U.2. Dzięki firmie Western Digital do naszego labu trafiły dwa dyski WD Gold 960GB NVMe U.2, które sprawdzimy naszym zestawem benchmarków.

Testowane dyski, jak sama nazwa wskazuje są przez producenta kierowane do grupy wymagających użytkowników, a więc znajdą zastosowanie w Data Center, ale również środowiskach wymagających dużej wydajności. Według producenta, seria DC SN* będzie świetnym wyborem w następujących zastosowaniach:

• Chmura i rozwiązania skalowalne
• Online transaction processing (OLTP)
• Online analytical processing (OLAP)
• Wirtualizacja
• Macierze storage
• Serwery Storage
• Serwery SQL
• Środowiska wykorzystujące mechanizmy AI, uczenia maszynowego czy rozpoznawania wzorów i obrazów (np. twarzy).

Dodatkowo o przeznaczeniu świadczy typ dysku twardego. Testowane dyski SSD to modele wykorzystujące złącze U.2, które pozwala osiągnąć dużo wyższą przepustowość niż łącze SATA. U.2 pozwala wykorzystać pamięci NVMe PCIe, które mogą pracować kilkukrotnie szybciej niż klasyczne łącze SATA. Oczywiście sama pamięć nie jest niczym nowym – wszak od dawna mamy do dyspozycji dyski NVMe PCIe, ale w formacie M.2. Taki format, mimo ogromnej zalety, czyli rozmiaru, ma też szereg ograniczeń. Przede wszystkim konstrukcja uniemożliwia obsługę dysków w trybie Hot-Plug. A więc stosując taki dysk w macierzy nie możemy szybko go wymienić w przypadku wystąpienia awarii – niezbędne jest wyłączenie macierzy i wymiana podzespołów. Dodatkowym utrudnieniem jest potrzeba stosowania radiatorów chłodzących, które w przypadku portów na płycie głównej – muszą być naklejane na pamięciach. To sprawia, że wygoda obsługi takiego formatu jest ograniczona. A w przypadku dysku U.2, nie dość, że te problemy nie występują, to mamy jeszcze większy rozmiar fizyczny obudowy, co pozwala zmieścić docelowo większą liczbę modułów pamięci.

Przejdźmy teraz do specyfikacji testowanych dysków:

• Pojemność do 15,36TB w obudowie U.2 2,5″
• Komunikacja PCIe Gen 3
• 96-Layer 3D NAND for Ultrastar DC SN840, DC SN640 and DC SN340
• Do 515K IOPS losowego odczytu
• Odczyt – 3330 MB/s, zapis do 1190 MB/s
• Dual-port high availability w dyskach Ultrastar DC SN840, DC SN200
• Żywotność dysku do 2M godzin MTBF5
• Możliwość zapisu do 2,8 PT danych
• Gwarancja 5 lat

Pełną specyfikację znajdziesz TUTAJ

Dyski nowego rodzaju wymusiły na nas zmianę środowiska testowego. Ponieważ otrzymaliśmy 2 takie dyski, nie będziemy niestety mogli przetestować wszystkich dotychczasowych konfiguracji, a więc zamiast testów dysków w RAID 0, RAID 5 i RAID 10, te dyski przetestujemy w RAID 0 i RAID 1. Co więcej, ponieważ mamy dyski ze złączem U.2, musieliśmy wybrać takie urządzenie, które pozwoli na ich zamontowanie. Wybór padł na nowy model w ofercie QNAP, czyli TS-h973AX, a więc urządzenie z pięcioma zatokami 3,5″, dwoma zatokami 2,5″ SATA oraz dwoma zatokami 2,5″ U.2.

NAS – QNAP TS-h973AX

Procesor – Czterordzeniowy, ośmiowątkowy wbudowany procesor AMD Ryzen™ V1500B o taktowaniu 2,2 GHz

Pamięć systemowa – 8 GB SO-DIMM DDR4 (1 x 8 GB), rozbudowana do 32GB SO-DIMM DDR4 (2x16GB)

Wnęki dysków – 5 zatok 3,5-calowych + 2 zatoki 2,5-calowe SATA 6 Gb/s, 3 Gb/s + 2 zatoki 2,5-calowe U.2 NVMe/SATA 6Gb/s, 3Gb/s

Port 2,5 Gigabit sieci Ethernet (RJ45) – 2

Port 10 Gigabit sieci Ethernet – 1 port RJ45

Pełna specyfikacja sprzętowa dostępna tutaj: https://www.qnap.com/pl-pl/product/ts-h973ax

Urządzenie działa pod kontrolą systemu operacyjnego QNAP QTS 4.4.3.1439. Ponieważ testujemy dyski SSD, korzystamy z systemu QTS (a nie fabrycznie preinstalowanego QuTS hero), który oferuje Narzędzie Profilowania Dysków SSD. Z punktu widzenia naszych testów narzędzie to jest bardzo ważne, ponieważ pokazuje zachowanie dysków w czasie pod ciągłym obciążeniem. Bardzo istotne jest również to, że system QTS jest oficjalnie obsługiwany w tym modelu, a więc na etapie inicjowania możliwa jest zmiana systemu.

Konfiguracja serwera testującego:

Procesor: 4-rdzeniowy procesor Intel® Core™ i3-8100T 3,1 GHz

Pamięć systemowa: 8 GB SODIMM DDR4 (2 x 4 GB)

Wnęka dysków: 6 zatok 3,5-calowych SATA 6 Gb/s, 3 Gb/s

Port Gigabit sieci Ethernet (RJ45): 2

Port 10 Gigabit sieci Ethernet: 1 x 10GBASE-T (10G/5G/2,5G/1G/100M)

Zamontowany dysk twardy: WD Blue SSD 480GB

Na potrzeby testów przyjęto, że przestrzeń udostępniana blokowo przez iSCSI będzie skonfigurowana jako LUN typu Thin (cienki, alokowanie elastyczne) o wielkości 1024GB w RAID 0 oraz 700GB w RAID 1, wielkość sektora 4K, sformatowany w NTFS z poziomu Windows Serwer 2019. W przypadku testów SMB, skorzystano z woluminu cienkiego o wielkości 500GB.

Testy dysków SSD przeprowadziliśmy używając znanego już z poprzednich artykułów zestawu narzędzi – zestaw benchmarków został uruchomiony, aby możliwe było zestawienie wyników i wykluczenie ewentualnych błędów/przekłamań.

Testy wydajności przeprowadzane były z poziomu specjalnie przygotowanego do tego celu serwera. Wykorzystaliśmy urządzenie QNAP TS-672XT, jednak bezpośrednio na urządzeniu został zainstalowany system Microsoft Windows Server 2019 zamiast QTS, więc urządzenie działało jak typowy serwer Windows. 

Połączenie pomiędzy serwerami było realizowane za pośrednictwem przełącznika QNAP QSW-M1208-8C, do którego Serwer został połączony przewodem DAC SFP+, natomiast TS-h973AX wykorzystał połączenie 10GbE przewodem LAN RJ-45 Cat. 6a.

Biorąc pod uwagę specyfikację testowanych dysków twardych, przepustowość pojedynczego łącza 10GbE może być niewystarczająca do sprawdzenia faktycznej wydajności dysków WD Gold. Dlatego na skorzystaliśmy z możliwości uruchomienia maszyny wirtualnej na QNAP, do której został dodany dodatkowy dysk twardy, który jako plik zlokalizowany był na woluminie znajdującym się na dyskach U.2 WD Gold.

Testy wykonano przy użyciu:

1. Wbudowanych mechanizmów testowania dysków w systemie QTS
2. Narzędzia DiskFillTest
3. Narzędzi DD w systemie QTS
4. CristalDiskMark, wersja 7.0.0 x64
5. IOmeter, wersja 1.1.0
6. AJA System Test, wersja 2.1
7. ATTO Disk Benchmark
8. Szybkość i czas kopiowania plików przy użyciu narzędzia robocopy w systemie Windows Server 2019

Uwaga: Podobny zestaw testów (4-8) został wykonany także w maszynie wirtualnej.

Test 1 – QTS

W aplikacji Pamięć Masowa i Migawki w systemie QTS dostępne jest narzędzie służące do testowania przepustowości podłączonych dysków twardych. Test obejmuje sprawdzanie prędkości odczytu sekwencyjnego oraz IOPS odczytu sekwencyjnego. W wyniku tego testu otrzymaliśmy następujące wyniki:

Na pierwszy rzut oka widać, że znacząco różnią się od deklarowanych przez producenta. Postanowiliśmy skontaktować się z przedstawicielem producenta, który udostępnił nam specjalnie przygotowany skrypt, który wykonuje operacje „preconditioningu”. Nie ma bezpośredniego tłumaczenia tego na język polski, ale mechanizm przygotowuje dyski do pracy w danym środowisku. Dla każdego z dysków ten proces zajmował ok 20 minut. Po zakończeniu działania skryptu dla obu dysków, wykonaliśmy ponownie powyższy test. Tym razem wyniki były zdecydowanie inne:

Ze specyfikacji producenta wynika, że maksymalna wartość przy odczycie sekwencyjnym wynosi 3300MB/s a więc wyniki są dosyć zbliżone. Tutaj warto zaznaczyć, że ten wynik będzie zawsze się różnił, choćby ze względu na typ urządzenia, gdzie dysk działa jak i działających w tle procesów, dlatego widoczny na zrzucie ekranu wynik jest bardzo satysfakcjonujący.

Kolejnym testem, który wykonujemy bezpośrednio w systemie QTS jest wspomniane wcześniej profilowanie dysków SSD. Aplikacja wykonuje serię testów zapisu na dysku SSD czekając na moment, kiedy wydajność znacząco spadnie. Przyczyną tego zachowania jest Write Amplification.

Przypomnijmy, czym jest Write Amplification. W sytuacji, gdy na dysku dostępna jest mała ilość wolnej przestrzeni, dysk nie jest w stanie przyjmować kolejnych zapisów z dotychczasową wydajnością. W przeciwieństwie do dysków magnetycznych, dane na dysku SSD nie mogą zostać po prostu nadpisane. Za każdym razem, gdy zapisujemy kolejne dane, oprogramowanie dysku musi sprawdzić, które bloki dysku są wolne, zgromadzić te częściowo wykorzystane bloki i zwolnić przestrzeń. Dopiero wtedy nowe dane mogą zostać zapisane. Aby zapewnić sprawne działanie dysku, tymczasowe operacje są wykonywane w specjalnie zarezerwowanej przestrzeni. Im większa jest ta przestrzeń, tym dysk lepiej zachowuje się przy dużym obciążeniu zapisem. Różne dyski SSD maja tę przestrzeń różnej wielkości – generalnie modele klasy enterprise mają większą, dyski konsumenckie, mniejszą, co bezpośrednio jest też związane z ceną dysku twardego. W tym przypadku mówimy o przestrzeni, która w dysku jest dostępna, ale nie jest uwzględniana w rozmiarze dysku (można o niej powiedzieć, że to przestrzeń tymczasowa – cache). Narzędzie profilowania dysków w QNAP pozwala na rozszerzenie wbudowanej przestrzeni zarezerwowanej o dodatkową wielkość kosztem dostępnej pojemności dysku. W ten sposób możemy ręcznie rozszerzyć ten wbudowany cache zwiększając wydajność dysku nawet w przypadku wzmożonego zapisu. Programowy Over-Provisioning możemy ustawić na wielkość o 0% do nawet 60%, jednak narzędzie może ocenić, jaka wartość będzie optymalna.

Ze względu na liczbę dysków, jedyny test profilowania, który mogliśmy przeprowadzić, to profilowanie dla RAID 1. Poniżej widoczne są wyniki:

Pierwszy ekran pokazuje zależność liczby IOPS w zależności od ilości zapisanych danych. Tuż pod nim widzimy dokładniejszą reprezentację uzyskanych wyników. Jak widać największa wydajność dysku jest zapewniona przy dodatkowym provisioningu na poziomie 40 i 50 procent. W tym przypadku dyski dochodzą do 84000 IOPS i co ważne, bez względu na zapisaną ilość danych – ta wartość jet utrzymana. Warto zwrócić uwagę na powyższy wykres, a dokładnie na OP=0%. W tym przypadku pierwsze 100GB danych zapisywane jest przy wydajności 84000 IOPS, jednak w kolejnych etapach zapisywania danych znacząco spada, bo aż o połowę. Podobną zależność widzimy w przypadku poniżej, gdzie IOPS pokazane jest w zależności od czasu zapisywania danych. Oczywiście wykresy powinny się z grubsza pokrywać.

Powyższe wyniki przekładają się też na czas zapisywania danych. Poniżej widzimy ilość danych zapisanych w zależności od czasu wykonywanego testu. I tutaj znowu OP=40% i OP=50% pokazały najlepszy wynik, a więc przy takiej konfiguracji dane zostają zapisane najszybciej na macierzy złożonej z dysków DC SN640.

Jedną z cech charakterystycznych dla szybkich dysków SSD jest wyższa temperatura pracy, niż w przypadku dysków HDD. Na wykresach poniżej możemy zobaczyć temperaturę pracy każdego z dysków podczas wykonywania testu przy różnym OP. Jak widać, niezależnie od OP oraz czasu zapisywania danych, dyski utrzymywały w miarę stałą temperaturę pracy wynoszącą ok 55-60 st. C.

Jak widać możliwość zmiany zarezerwowanej przestrzeni na cache dysku ma duży wpływ na jego możliwości. Oczywiście należy pamiętać, że zwiększając taki provisioning, tracimy przestrzeń na dane. Dlatego należy do tego podejść racjonalnie i wypośrodkować ustawianą wartość, biorąc pod uwagę wyniki, ale też koszty. Testy, które wykonaliśmy obejmowały tylko RAID 1. Prawdopodobnie przy innych konfiguracjach, czyli przy większej liczbie dysków połączonych w RAID 5 czy RAID 10 wyniki byłyby nie tylko lepsze, ale też optymalny OP byłby niższy.

Kolejny test, któremu poddaliśmy dyski WD DC SN640 to DiskFill Test, którego wyniki zobaczysz na kolejnej stronie.

Test 2 – Konsola QNAP – DiskFill Test

Druga seria testów obejmuje wykorzystanie trzech narzędzi bezpośrednio z poziomu konsoli QNAP. Dostęp uzyskujemy poprzez połączenie SSH, testy uruchamiamy jako “admin”.

Narzędzie DiskFillTest nie wymaga instalacji, więc bez problemu możemy pobrane narzędzie uruchomić w QNAP NAS i wykonać test zapisu danych na dyskach. Na potrzeby testu, na woluminie cienkim został utworzony katalog “Benchmark”(w którym będą zapisywane pliki testowe). Dodatkowo, na woluminie systemowym (osobny dysk SSD) utworzyliśmy katalog “Benchmak_files” (w nim zapisane są narzędzia i wyniki testów). Test obejmował zapis 10 plików o wielkości 1024MB każdy. Wynik polecenia zapisywany był do pliku tekstowego znajdującego się w osobnym katalogu.

time sleep 5 | ./disk-filltest-64bit -f 10 -S 1024 -C /share/benchmark >> /share/benchmark_files/DiskFillTEST_WD_R0_test_01.txt

Wykonany test dla dwóch dysków połączonych w RAID 0 pokazuje, że system jest w stanie odczytywać dane z takiej grupy dyskowej z prędkością ok. 2700 MB/s. Zapis z kolei był realizowany na poziomie ok. 1000MB/s. Co ciekawe, w tym teście dyski pracujące w grupie RAID 0 osiągnęły prędkość odczytu równą teoretycznej prędkości pojedynczego dysku. Takiej sytuacji raczej spodziewalibyśmy się w konfiguracji RAID 1. Dlatego ten wynik na razie przyjmujemy z pewną dozą ostrożności. Warto jednak zauważyć, że w przypadku zapisu danych mamy bardzo stałą prędkość w czasie trwania całego testu.

Kolejny test, czyli weryfikacja wydajności przy zapisie i odczycie dla dysków połączonych w RAID 1 dał zgodnie z oczekiwaniami wyniki niższe, niż w konfiguracji RAID 0. Jednak nie mamy tutaj spadku o ok. połowę, a tylko o ok. 35% w przypadku odczytu, gdzie średnia to ok. 1900MB/s. Zapis również jest niższy niż w RAID 0, jednak tutaj różnica jest bardzo niewielka. Najlepiej porównanie prędkości zapisu i odczytu widać na wspólnym wykresie poniżej, gdzie zapis wydaje się taki sam w obu połowach wykresu (a więc w konfiguracji RAID 0 i RAID 1).

 

Teraz czas na testy przy użyciu narzędzia DD.

Test 3 – Konsola QNAP – DD

Testy DD wykonujemy zawsze w naszych benchmarkach aby zweryfikować, jak szybko system jest w stanie zapisać i odczytać 1GB danych w plikach po 256KB. W ten sposób symulujemy sytuację, gdzie na dyskach chcemy zapisać pakiet danych obejmujący dużą liczbą małych plików. Warto tutaj jednak zaznaczyć, że jest to proces zapisu i odczytu sekwencyjnego. Test wykonywany jest z poziomu konsoli systemu QTS, a więc po połączeniu przez SSH uruchamiamy skrypt, który zapisuje pliki, odczekuje 5 minut, po czym odczytuje zapisane wcześniej pliki. Na wykresach i w tabelkach poniżej widoczne są wyniki wykonanych testów. Dodatkowo, zestawiliśmy zależność zapisu i odczytu w czasie dla każdego poziomu RAID. W ten sposób zobaczymy, jak szybko samo urządzenie jest w stanie zapisywać i odczytywać pliki na poziomie swoich dysków.

Jak widać wyniki testu DD są bardzo ograniczone – ot tylko wynik dla zapisu i odczytu w RAID 0 i RAID 1. Jednak w tym wypadku osiągane wyniki zostały uśrednione. Pełny zakres wyników dla wykonanych testów widoczny jest na wykresach poniżej, gdzie zestawione mamy prędkość zapisu/odczytu w czasie. Co ważne, proces zapisywania danych przez dd jest procesem sekwencyjnym, a więc w danym momencie zapisywany jest tylko jeden plik, kolejne czekają w kolejce. To oznacza, że w zależności od charakterystyki RAID zobaczymy lepsze lub gorsze wyniki. I tak, zgodnie z oczekiwaniami najwydajniej dyski pracują w RAID 0, gdzie średnia prędkość odczytu oscyluje w okolicach 2,47GB/s a zapis 1,05Gb/s. Wyniki są dosyć zgodne z tymi osiągniętymi wcześniej w teście DiskFillTest. RAID 0 nie oferuje żadnego zabezpieczenia, jednak ze względu na swoją charakterystykę jest najszybszy. Dlatego wykonujemy testy dysków połączonych na tym poziomie, aby zobaczyć, jakie wyniki są w stanie osiągnąć. Niestety przy tylko 2 dyskach maksymalny poziom RAID, jaki możemy przetestować to RAID1. Tutaj również trzymamy poziom znany z testu DiskFillTest. A więc możemy zakładać, że w przypadku naszych konfiguracji to maksimum, które możemy osiągnąć. Ale zobaczymy, jak wypadną testy z poziomu Windows. W przypadku większej liczby dysków i konfiguracji w RAID 5 czy RAID 10 jak we wcześniej wykonywanych testach dysków twardych, moglibyśmy prawdopodobnie osiągnąć lepsze wyniki. W kolejnych testach zobaczymy, że w przypadku zapisu/odczytu losowego wyniki mogą wyglądać inaczej.

Poniżej w galerii prezentujemy wykresy wyników przepustowości i czasu przesyłania każdego pliku – testy zostały wykonane dla każdego poziomu RAID i przeprowadzono zarówno zapis jak i odczyt wszystkich plików. W testach można zauważyć, momenty, kiedy transfer spadał co jednocześnie wydłużało czas zapisu danego pliku.

 

 

Przejdźmy zatem do kolejnego testu, czyli CristalDiskMark, który jednak będzie wykonywany troszkę inaczej, niż robiliśmy to do tej pory.

TEST 3 – VM – CristalDiskMark

I tutaj dochodzimy do zmiany metodyki testowania dysków twardych. O ile do ten pory testowaliśmy, jak wydajnie dyski WD Gold DC SN600 mogą pracować podczas wykorzystania przez sam NAS, o tyle wykonanie testu z urządzeniem zewnętrznym jest utrudnione. A może nie tyle utrudnione, co nie pozwoli w pełni wykorzystać potencjału testowanych dysków. Dyski testujemy w modelu QNAP TS-h973AX, który fabrycznie wyposażony jest w 1 port 10GbE Nbase-T. Niestety nie mamy do dyspozycji portów PCIe, co uniemożliwia zamontowanie dodatkowych kart sieciowych. Dlaczego jest to więc ograniczenie? Ponieważ w przypadku testowanych dysków możemy osiągnąć teoretycznie wydajność prawie 3GB na sekundę. Przy karcie 10GbE, maksymalna przepustowość to ok 1200MB/s, a więc 2,5x mniej. Tak więc test nie pokaże nam, jak szybkie mogą być te dyski. Dlatego zdecydowaliśmy o zmianie podejścia. Do dalszego testowania dysków korzystamy z maszyny wirtualnej uruchomionej na tym samym QNAP. Konfiguracja wygląda następująco:

• QNAP NAS został zainicjowany z zamontowanym dyskiem WD o wielkości 460GB, który został wykorzystany jako dysk systemowy.
• Podłączyliśmy i sprofilowaliśmy dyski DC SN600. Na tych dyskach została utworzona osobna pula – najpierw w RAID 0, później w RAID 1
• Na dysku systemowym została zainstalowana aplikacja Virtualization Station, po czym pobraliśmy obraz maszyny wirtualnej z systemem Windows 10 (90-dniowa wersja trial udostępniona przez Microsoft).
• W maszynie wirtualnej uruchomiliśmy aktualizacje, dograliśmy wymagane w testach aplikacje oraz zestaw narzędzi Guest Tools.
• Dodaliśmy do maszyny wirtualnej kolejny dysk, który został zapisany na puli nr 2 (zbudowanej na WD Gold). W przypadku RAID 1 dysk miał wielkość 1024GB, a w RAID 1 – 750GB
• W konfiguracji użyliśmy trybu VirtIO, który oferuje najwyższą wydajność podczas komunikacji VM <–> dysk VM.
• Dysk został podłączony bez dodatkowego cache, później sformatowany w Windows jako dysk GPT w systemie plików NTFS.

Ponieważ do testów otrzymaliśmy dwa dyski twarde, mogliśmy przetestować ich wydajność tylko w dwóch konfiguracjach RAID:

• RAID 0
• RAID 1

Jednak nie miało to przełożenia na wykonywane testy, dlatego dla obu konfiguracji przeprowadziliśmy następujące pomiary:

• Plik 16MiB, odczyt 90%, zapis 10%
• Plik 16MiB, odczyt 10%, zapis 90%
• Plik 64GB, odczyt 90%, zapis 10%
• Plik 64GB, odczyt 10%, zapis 90%

Najpierw zobaczmy wyniki wykonane w maszynie wirtualnej dla odczytu i zapisu przy transferze sekwencyjnym:

No i tutaj pojawia się zmiana w stosunku do wcześniej widzianych wyników. Średnia z odczytu danych w RAID 0 i RAID 1 znacząco wzrosła, bo udało nam się osiągnąć wyniki na poziomie 4130 MB/s w RAID 0 i 3315 MB/s w RAID 1. A więc widzimy bardzo duży przeskok w stosunku do wcześniejszych maksymalnie 2,7 GB/s. Warto też zaznaczyć, że testy były wykonywane dla plików o znaczącej różnicy wielkości – pliki 16MiB i 64GiB. A jednak w obu przypadkach udało się uzyskać bardzo wysokie wyniki. Oczywiście CristalDiskMark w tym przypadku rejestruje wyniki najwyższe, a nie uśrednione.

Sprawdźmy, jak podobny test wykonany z poziomu serwera z Windows Server 2019:

No i tutaj widzimy zależność, o której pisaliśmy we wstępie do testu CristalDiskMark. Ponieważ serwer połączony był z QNAP przy użyciu łącza 1x10GbE, nie było możliwości, aby prędkość była wyższa niż ok. 1200 MB/s. Stąd widzimy wyniki ocierające się o wysycenie łącza. Niestety, z punku widzenia benchmarków są one bezwartościowe, ponieważ nie pokazują faktycznych możliwości dysków. Jednak w przypadku naszych testów nie mieliśmy innej możliwości (np. agregacji łączy), ponieważ model TS-h973AX wyposażony jest tylko w jeden port 10GbE i nie można zainstalować dodatkowych w firmie karty rozszerzeń PCIe.

Przejdźmy teraz do wyników dla zapisu i odczytu losowego przy u życiu bloku 4K. Podobnie jak wyżej, porównamy wyniki uzyskane w maszynie wirtualnej oraz w zewnętrznym serwerze Windows Server 2019, który był podłączony łączem 10GbE.

Wydajność IOPS pokazuje nam zupełnie inny obraz niż wcześniejszy test. O ile maszyna wirtualna, której dysk był utworzony w Puli obejmującej dyski U.2 WD Gold miała możliwość zapisu i odczytu danych na bardzo wysokim poziomie, o tyle wydajność IOPS jest niemal dziesięciokrotnie niższa. Ma to związek z architekturą storage takiego środowiska testowego. W przypadku połączenia iSCSI, przestrzeń dyskowa jest utworzona jako LUN blokowy, bezpośrednio na poziomie puli pamięci. Dysk maszyny wirtualnej to obraz, który znajduje się w utworzonym wcześniej woluminie, który z kolei utworzony jest w puli pamięci. A więc mamy w takiej konfiguracji więcej „warstw”, które przekładają się na spadek wydajności w zapisach i odczytach losowych. To też pokazuje, że w przypadku maszyn wirtualnych działających na QNAP, optymalnym rozwiązaniem jest utworzenie LUN blokowego w puli i podłączenie go do maszyny przez iSCSI. Wtedy połączenia na poziomie QNAP osiągają przepustowość 10GbE. My jednak podeszliśmy do tematu w odrębny sposób, ponieważ zależało nam na przetestowaniu maksymalnej przepustowości, którą uda się osiągnąć podczas zapisu i odczytu danych z dysków DC SN640.

A teraz czas na kolejny test, czyli IOmeter.

TEST 4 – VM – IOmeter

W przypadku IOmeter testy wyglądały podobnie, jak przy CristalDiskMark, a więc uruchomiliśmy benchmark zarówno na zewnętrznym serwerze jak i w maszynie wirtualnej mającej bezpośrednio podłączoną przestrzeń z dysków WD Gold. Sprawdzając każdą konfigurację, wykonany został zestaw następujących testów:

• 4KB Random Read
• 4KB Random Write
• 4KB Sequential Read
• 4KB Sequential Write
• 8KB Random Read
• 8KB Random Write
• 8KB Sequential Read
• 8KB Sequential Write
• 64KB Random Read
• 64KB Random Write
• 64KB Sequential Read
• 64KB Sequential Write

Zacznijmy od sprawdzenia, jakie wyniki osiągnęły dyski DC SN640 w zapisie i odczycie danych różną wielkością bloku w zależności od poziomu RAID i typu połączenia (10GbE/VirtIO).

W przypadku testu IOmeter sytuacji wygląda trochę inaczej, niż w tym wykonanym CristalDiskMark. W tym przypadku widzimy znaczącą przewagę pracy systemu poprzez połączenie 10GbE w stosunku do połączenia bezpośredniego jako dysk maszyny VM:

Najlepsze wyniki udało się uzyskać przy teście 64K, gdzie system dłużej zapisywał dane testowe, co przełożyło się na możliwość uzyskania wyższej szybkości. Ponieważ zapisując czy odczytując dane system nie uzyskuje prędkości liniowo, małe pliki testowe nie pozwalają osiągnąć pełnego wysycenia łącza. Dlatego też przy małych plikach prędkość może być znacząco niższa, niż w przypadku dużych plików.

Zobaczmy teraz, jak wypadły wyniki pomiarów IOPS

W tym przypadku widzimy zależność, którą widzieliśmy już w CristalDiskMark – połączenie 10GbE pozwala uzyskać zdecydowanie większą wydajność operacji wejścia-wyjścia na sekundę. Maszyna wirtualna, która korzystała z dysku podłączonego przez VirtIO uzyskiwała wynik na poziomie ok 10 tysięcy IOPS. Podobna konfiguracja, ale oparta o iSCSI i połączenie 10GbE uzyskała wyniki dochodzące do 90 tysięcy IOPS, więc kilkukrotnie wyższe. Co ciekawe, największa różnica w wydajności pomiędzy RAID 0 i RAID 1 wystąpiła w teście blokiem 8K, natomiast w pozostałych testach (4K i 64K) te różnice nie były aż tak duże. Niemniej widzimy, zgodnie z oczekiwaniami, że RAID 0 pozwala uzyskać lepsze wyniki niż RAID 1.

Dla zainteresowanych, prezentujemy również wykres wydajności IOPS w czasie podczas wykonywania testu z podziałem na VM i połączenie 10GbE oraz RAID i typ testu:

Zapraszamy teraz do opisu kolejnego testu, czyli AJA System Tool, który znajdziesz na kolejnej stronie.

TEST 6 – VM – AJA System Test

AJA System Test wykorzystujemy, aby sprawdzić jak dyski poradzą sobie podczas zapisu plików wideo. Aplikacja pozwala wybrać rodzaj pliku o określonej rozdzielczości oraz wielkości, dzięki czemu możemy sprawdzić jak szybki możliwy będzie zapis i odczyt pliku o wielkości 256MB, 512MB, 1GB, 4GB, 16GB oraz 64GB. W zależności od typu pliku wideo dostępne mamy różne wielkości, dlatego na potrzeby tego testu skorzystaliśmy z opcji pliku 5120×2700 5K z kamery RED. Wyniki, które uzyskaliśmy podczas testów widoczne są poniżej w tabelce i na wykresie. Co ważne, test przeprowadzony został tylko w maszynie wirtualnej, ponieważ jak wykazały wcześniejsze badania – w przypadku przepustowości ograniczałoby nas łącze 10GbE.

Najpierw przyjrzyjmy się wynikom zapisu. Najlepszy wynik udało się tutaj osiągnąć podczas zapisu pliku o wielkości 64GB na dyskach DC SN640 skonfigurowanych w RAID 0. Co ciekawe, wynik zapisu w konfiguracji RAID 1 był niewiele niższy. W przypadku pozostałych wielkości pliku, wyniki w konfiguracji RAID 0 rosły z każdym kolejnym plikiem, natomiast w RAID 1 zachowały w miarę podobną szybkość. Co prawda w tej konfiguracji nie udało się uzyskać wyników jak w przypadku CristalDiskMark, jednak są one zgodne z innymi wykonywanymi benchmarkami. Znowu jednak musimy podkreślić, że możliwości konfiguracji dyski były dosyć ograniczone, ponieważ nie mogliśmy wykonać testu dla wyższych poziomów RAID jak 5 czy 10, które zdecydowanie częściej będą wykorzystywane w praktyce.

Czas na odczyt. Tym razem sytuacja jest trochę inna, niż w przypadku zapisu. Teraz najlepsze wyniki uzyskaliśmy w przypadku plików o średniej wielkości – najlepszy dla wielkości 1GB. Oczywiście wartości, które widzimy w tabeli są wyższe niż w przypadku zapisu, jednak wciąż wyniki pokazują widoczną już wcześniej tendencję, gdzie przy ciągłym odczycie pliku uzyskiwaliśmy wartości powyżej 2GB/s.

Na kolejnej stronie prezentujemy wyniki, które dyski WD Gold DC SN600 uzyskały w teście ATTO Disk Benchmark

TEST 7 – VM – ATTO

W przypadku dysków WD Gold DC SN600 postanowiliśmy skorzystać z ATTO Disk Benchmark w formie referencyjnej. Każde oprogramowanie, którego używamy w naszych testach ma inną specyfikę. W przypadku ATTO testy wykonywane są zarówno dla przepustowości jak i dla IOPS, gdzie kompleksowo sprawdzane są wyniki zapisu i odczytu dla różnej wielkości zapisywanych danych, ale wielkość pliku w sumie to 256MB. Postanowiliśmy wykonać test w największym zakresie, który oferuje ATTO. W obu testach pomijamy Cache zapisu, natomiast głębokość kolejki zapisu (Queue Depth) to 32.Test wykonujemy tylko w maszynie wirtualnej, a więc jak już zauważyliśmy wcześniej, istotne dla nas będą wyniki przepustowości, nie IOPS, które są znacząco zaniżone ze względu na architekturę storage.

Co ciekawe, w przypadku ATTO wynik dla dysków SN600 połączonych w RAID 0 i RAID 1 jest bardzo zbliżony w przypadku odczytu, natomiast w zapisie lepiej wypada konfiguracja RAID 0 (co jest dla nas oczywiste). Zaskakuje jednak wartość, którą widzimy w przypadku odczytu. Według ATTO, możliwe było zapisanie 64MB danych z prędkością aż 5,27 GB/s. Warto jednak w tym przypadku porównać ten wynik z innymi testami – szczególnie AJA. W przypadku ATTO poddajemy dysk testowi, który ma nam pokazać możliwe maksimum. W AJA widzieliśmy symulację pracy „real-life”, a więc zbliżoną do faktycznej pracy z plikami wideo. Jednak trzeba podkreślić uzyskane maksimum. Biorąc pod uwagę deklarowane przez producenta wartości, to właśnie ATTO pokazało, że faktycznie da się do nich zbliżyć.

Został nam już tylko jeden test – test kopiowania plików przy użyciu robocopy w Windows Server.

TEST 8 – VM – robocopy

Test robocopy wykonujemy tylko w maszynie wirtualnej przy zapisie na dysk twardy. W przeciwieństwie do testów innych dysków twardych, które mieliśmy okazję do tej pory testować, kopia przez łącze 10GbE na dyski WD Gold SN600 nie miałaby sensu z perspektywy testowej – łącze ograniczyłoby możliwości dysków. Dlatego tutaj skupiamy się na zapisie lokalnym. Pliki zostały wsadowo utworzone na dysku systemowym maszyny wirtualnej (dysk C:, fizycznie plik dysku maszyny wirtualnej zapisany był na dysku WD Blue 480GB). a następnie przy użyciu robocopy, pliki skopiowane zostały na dysk D:, czyli fizycznie na obraz dysku zapisany na woluminie utworzonym w puli pamięci zbudowanej na dyskach WD Gold.

Standardowo, testy wykonujemy dla następujących kombinacji plików:

• 100 plików o wielkości 1GB każdy,
• 10 plików o wielkości 10GB każdy,
• 1 plik o wielkości 100GB,
• 102400 plików o wielkości 1MB każdy.

Wszystkie testy wykonujemy trzykrotnie, aby wykluczyć ewentualne błędy czy wpływ innych czynników.

To pozwala na sprawdzenie, czy wielkości pliku ma znaczenie, jeśli w sumie przesyłamy dokładnie taką ilość danych. Na wykresie i w tabeli pokazany jest czas przesyłania plików, więc w tym przypadku im niższy słupek, tym lepiej.

Zgodnie z oczekiwaniami, najdłużej trwało kopiowanie plików o wielkości 1MB. W sumie w takim teście przesłaliśmy aż 102400 pliki, co zajęło więcej czasu ze względu na kolejkowanie – w danym momencie przesyłany było tylko jeden plik. Warto jednak zwrócić uwagę na pozostałe konfiguracje – tutaj nie widzimy już istotnych różnic pomiędzy 100 plikami po 1GB a i plikiem o wielkości 100GB. Uwagę zwraca też rozłożenie słupków na wykresie powyżej. Z lewej strony widzimy cztery grupy dla RAID 0, po prawej cztery grupy słupków z wynikami dla RAID 1. Patrząc na wykres można stwierdzić, że te części niemal się pokrywają. I znowu warto zadać pytanie o to, jak te wartości mogłyby wyglądać w innych konfiguracjach.

 

 

Podsumowanie

Czy dyski Western Digital® DC SN600 to dobre dyski? Zdecydowanie tak. Czy warto w takie dyski zainwestować? To zależy.

Gdy dostaliśmy rzeczone dyski do testów, nie do końca wiedzieliśmy, czego się po nich spodziewać. Teoretycznie dyski NVMe PCIe znamy już od dawna, jednak raczej w formacie M.2. Nowy format, czyli U.2 jest stosunkowo nowy, a więc bardzo ciekawiło nas, jak wypadnie w testach. Niestety, biorąc pod uwagę, że dyski w formie U.2 są jeszcze mało popularne, dosyć dużym wyzwaniem było ich przetestowanie. Tutaj czasowo mieliśmy duże szczęście, ponieważ nasze testy zbiegły się z premierą modelu QNAP TS-h973AX, który wyposażony jest w dwie zatoki uniwersalne, w których mogą pracować dyski U.2 lub klasyczne SATA. To pozwoliło nam wykonać testy opisywane w tym artykule. Samo urządzenie posiada tylko dwie zatoki, więc koniec końców fakt, iż otrzymaliśmy do testów tylko dwa dyski nie był problemem. Oczywiście przechodząc kolejne kroki w naszych benchmarkach bardzo zastanawiało nas to, jak dyski wypadną w wyższych konfiguracjach RAID. W tym miejscu tylko wstępnie zaznaczę, że istnieje spora szansa, że niedługo będziemy mogli wykonać testy większej liczby dysków w zdecydowanie mocniejszym sprzęcie, jednak na obecnym etapie nie możemy jeszcze zdradzić szczegółów.

Wracając do dysków. Same dyski zachwycają swoją wydajnością i możliwościami. Zestawiając je z klasycznymi dyskami SSD, nasze WD Gold są niesamowicie szybkie i wydajne, co jest możliwe dzięki zastosowaniu architektury NVMe PCIe. Również pod kątem wygody stosowania przewyższają swoich odrobinę starszych braci, czyli dyski w formacie M.2, ponieważ U.2 daje nam m.in. Hot Swap, jak również możliwość łatwiejszej i szybszej wymiany dysków. Podczas kilku tygodni naszych testów wielokrotnie korzystaliśmy z tej możliwości i była ona bardzo wygodna.

Czy jednak warto inwestować w takie dyski? Jak napisałem trochę wyżej – to zależy. Przede wszystkim głównym czynnikiem jest urządzenie, w którym takie dyski będą pracowały. I nie ukrywam, że świetnie się stało, że na potrzeby testu mieliśmy dostępny model QNAP TS-h973AX. Jest to model w bardzo atrakcyjnej cenie biorąc pod uwagę jego specyfikację sprzętową, a dodatkowo oferuje dwie zatoki U.2. W ten sposób w jednym urządzeniu możemy połączyć do 5 dysków HDD o dużej pojemności, 2 dyski SATA 2,5″ SSD oraz dwa U.2. Taka konfiguracja dyskowa w połączeniu z systemem plików ZFS pozwala nam uzyskać wysoką wydajność i pojemność. W takiej konfiguracji dwa dyski U.2 mogą służyć za przestrzeń na potrzeby systemu (pula pamięci systemu) oraz np. maszyn wirtualnych czy kontenerów, dyski w zatokach 2,5″ SATA jako przestrzeń Cache, a HDD jako pula na dane. I w takiej konfiguracji testowane dyski Western Digital DC SN600 sprawdzą się świetnie. Kolejnym przykładem jest konfiguracja, gdzie system znajduje się na dyskach SATA, a dyski U.2 skonfigurowane są pod przestrzeń np. na bazy danych.

W ostatnich miesiącach w ofercie QNAP pojawił się również inny model obsługujący dyski U.2 – TS-h2490FU, który posiada aż 24 zatoki na dyski U.2. Takie połączenie, czyli NAS z 24 dyskami WD GOLD U.2 może stanowić ciekawe rozwiązanie, szczególnie w zestawieniu z innymi macierzami all flash.

Czy dyski U.2 będą tym, co ostatecznie zastąpi dyski SAS? Moim skromnym zdaniem tak. Obecnie główną przewagą dysków SAS nad pozostałymi jest możliwość ich dwukanałowej pracy, a więc mogą swoją pełną wydajność oferować dwum kontrolerom. Przy tak wydajnych dyskach U.2, jesteśmy w stanie uzyskać zdecydowanie wyższą wydajność, a biorąc pod uwagę tendencje rynkowe, ceny samych dysków powinny sukcesywnie spadać, czyniąc je jeszcze atrakcyjniejszym wyborem.

Podsumowując – jeśli planujesz zakup urządzenia, które obsługuje zatoki U.2 – dyski Western Digital DC SN600 będą świetnym wyborem!

Uwaga

Testy zostały przeprowadzony w sposób niezależny. Firma WD nie płaciła za wykonanie testów jedynie dostarczyła dwa dyski, które zostały w naszym laboratorium. Wszystkie wyniki zostały uzyskane z założeniem określonej w treści metodyki badań w hermetycznym środowisku, dlatego mogą się nieznacznie różnić od wyników uzyskiwanych w innej konfiguracji sprzętowo-programowej. Spostrzeżenia własne autorów. Wszystkie materiały należą do autorów testu i serwisu www.backupacademy.pl, chyba, że zaznaczono inaczej.