Według ostatniego raportu Backblaze (https://www.backblaze.com/blog/ssd-edition-2022-drive-stats-review/) dotyczącego awaryjności dysków, pamięci SSD mogą się pochwalić bardzo małą awaryjnością przy jednoczesnym zaoferowaniu wysokiej wydajności. Backblaze testuje corocznie tysiące dysków, które działają w firmowym Data Center (firma oferuje m.in. usługi chmury), więc korzystając z różnych dysków ma świetne środowisko testowo – analityczne. Dyski SSD są coraz popularniejsze, a w przypadku dysków serwerowych – również coraz bardziej godne zaufania. Nic więc dziwnego, że w producenci prezentują coraz nowsze, szybsze, pojemniejsze i trwalsze modele. Przykładem tego trendu jest oferta firmy Micron, która dostarczyła nam do testów trzy dyski NVMe.

Micron Technology, Inc. to amerykańskie przedsiębiorstwo specjalizujące się w produkcji pamięci flash, w tym dysków, modułów pamięci DRAM czy pamięci USB. Miron Technology została założona 44 lata temu, centrala firmy znajduje się w Boise w stanie Idaho (USA) a sama firma jest notowana na amerykańskiej giełdzie (NASDAQ-100 i S&P 500). Oprócz pamięci brandowanych nazwą firmy, w ofercie znajdziemy też modele przeznaczone na rynek konsumencki, które dostępne są pod marką Crucial, popularną wśród użytkowników komputerów PC.

Do naszego labu zostały dostarczone cztery dyski Micron serii 7450 SSD w wersji PRO, które stworzone zostały z myślą o działaniu w środowiskach data center. Z perspektywy zbliżających się testów szczególnie istotne jest to, że są to dyski typu U.3 NVMe PCIe Gen4 x4, co może obiecywać bardzo wysokie wyniki w testach przepustowości, szczególnie odczytu danych. Dlatego też w nadchodzących testach wykorzystamy bardzo specyficzny model urządzenia testującego, a dokładnie NAS QNAP TS-h1290FX, który wyposażony jest w dwanaście zatok U.2 PCIe Gen4 x4, więc powinien pozwolić nam uzyskać maksimum możliwości testowanych dysków.

Zacznijmy od unboxingu!

 

Dyski Micron 7450NVMe SSD to jedne z najbardziej zaawansowanych na świecie dysków NAND o 176 warstwach. Są to dyski NVMe PCIe Gen4 klasy serwerowej, kierowane do zaawansowanych zastosowań w data center i mogą stanowić podstawę budowy środowisk chmurowych. Seria 7550 oferuje najwięcej rodzajów dysków SSD PCIe®Gen4 na rynku i umożliwia stosowanie ich w różnych obudowach i różnych zastosowaniach – jako dyski boot, storage oraz cache. Dyski wykorzystują również technologię Miron Secure Execution Environment3, która zwiększa bezpieczeństwo danych. Dyski dostępne są w różnych formatach:

• M.2: 22x80mm, 22x110mm
• E1.S: 5,9mm, 15mm, 25mm
• U.3: 7mm, 15mm

Oraz w różnych rozmiarach:

Dyski 7450 PRO U.3 – 960GB, 1,92TB, 3,84TB, 7,68TB, 15,36TB

Dyski 7450 MAX U.3 – 800GB, 1,6TB, 3,2TB, 6,4TB, 12,8TB

Dyski 7450 PRO E1S – 960GB, 1,92TB, 3,84TB, 7,68TB

Dyski 7450 MAX E1S – 800GB, 1,6TB, 3,2TB, 6,4TB

Dyski 7450 PRO M.2 – 480GB, 960GB, 1,92TB, 3,84TB

Dyski 7450 MAX M.2 – 400GB, 800GB, 1,6TB, 3,2TB

Dyski są oznaczone przez producenta jako:

Micron 7450 PRO
MTFDKCC1T9TFR-1BC1ZABYYR	Micron 7450 PRO 1920GB NVMe U.3 (15mm)  Enterprise SSD
MTFDKCC3T8TFR-1BC1ZABYYR	Micron 7450 PRO 3840GB NVMe U.3 (15mm)  Enterprise SSD
MTFDKCC7T6TFR-1BC1ZABYYR	Micron 7450 PRO 7680GB NVMe U.3 (15mm)  Enterprise SSD
MTFDKCC15T3TFR-1BC1ZABYYR	Micron 7450 PRO 15360GB NVMe U.3 (15mm)  Enterprise SSD
Micron 7450 MAX
MTFDKCC1T6TFS-1BC1ZABYYR	Micron 7450 MAX 1600GB NVMe U.3 (15mm)  Enterprise SSD
MTFDKCC3T2TFS-1BC1ZABYYR	Micron 7450 MAX 3200GB NVMe U.3 (15mm)  Enterprise SSD
MTFDKCC6T4TFS-1BC1ZABYYR	Micron 7450 MAX 6400GB NVMe U.3 (15mm)  Enterprise SSD
MTFDKCC12T8TFS-1BC1ZABYYR	Micron 7450 MAX 12800GB NVMe U.3 (15mm)  Enterprise SSD

Jak widać na powyższej liście, dyski Micron 7450 dostępne są w dwóch głównych wersjach – PRO i MAX. Wersja PRO została przygotowana z myślą o pracy w środowiskach intensywnego odczytu danych, gdzie każdego dnia może zostać wykonany jeden zapis dysku (czyli w ciągu całego dnia pracy dysk wykona ilość zapisów równą pojemności dysku). Z kolei wersja MAX przygotowana jest dla środowisk o bardzo dużym obciążeniu mieszanym, gdzie dysk ma pracować przy dziennym zapisie wynoszącym nawet trzykrotność jego pojemności. To też jest prawdopodobną przyczyną różnicy w pojemności – dyski serii MAX mają większą pojemnością wewnętrznej zarezerwowanej pamięci cache, która ma bezpośredni wpływ na zachowanie wydajności dysku w przypadku wykorzystania ponad 50% pojemności dysku jak również ma wpływ na wydłużenie żywotności dysku. 

Zobaczmy teraz, jak wygląda specyfikacja urządzeń wg. producenta.

Micron 176-layer NAND	Funkcja
Simplified Read Algorithm	Poprawia 99.9999% QoS opóźnienia odczytu małych, losowych bloków (4K)
Metal Control Gate	Umożliwia szybsze programowanie NAND dla lepszej prędkości zapisu.
E1.S (5.9mm, 15mm i 25mm)	Enterprise Datacenter SSD Form Factor (EDSFF) – optymalizowany dla platform o wysokości 1U. Możliwość instalacji większej liczby dysków dla lepszej gęstości i przepływu powietrza.
U.3 (7mm i 15mm)	Tylko wersja PCIe Gen4 U.3 pozwala na zastosowanie w obudowach wymagających dysków 2,5”, jednocześnie oferując wsteczną kompatybilność z wersją U.2
M.2 (22x80mm, 22x110mm)	Kompaktowy format M.2 świetnie sprawdzi się jako dysk rozruchowy systemu. Dyski M.2 PCIe Gen 4 oferują ochronę przed utratą zasilania, co dodatkowo potwierdza ich przeznaczenie.
Ochrona przed utratą zasilania	Mechanizm podtrzymania zasilania SSD zapewnia, że transferowane dane nie zostaną utracone w momencie zaniku zasilania.
Ochrona ścieżki danych	Chroni przed błędami pojedynczych bitów w trakcie przesyłania danych z PHY do NAND i z powrotem.
Do 128 przestrzeni nazw	Pozwala utworzyć do 128 izolowanych przestrzeni na SSD, ułatwiając współdzielony dostęp I/O.
Pojemności	Od 400GB do 15,36TB.
Obsługa różnej wielkości sektora	Wsparcie dla wielkości sektora 512- i 4096-bajtów.

Zobaczmy jeszcze, jak wyglądają deklarowane przez producenta osiągi testowanych dysków Micron 7450 Pro

U.3	7450 PRO: U.3 / Read-Intensive, 1 Drive Write per Day 960 GB 1,92 TB 3,84 TB 7,68 TB 15,36 TB
Sekwencyjny odczyt (MB/s)	6 800 6 800 6 800 6 800 6 800
Sekwencyjny zapis (MB/s)	1 400 2 700 5 300 5 600 5 600
Losowy odczyt (IOPS)	530,000 800 000 1 000 000 1 000 000 1 000 000
Losowy zapis (IOPS)	85 000 120 000 180 000 215 000 250 000
70/30 losowy odczyt/zapis (IOPS)	110 000 190 000 300 000 415 000 520 000
Opóźnienie (TYP, μs)	80 (read) 15 (write) 80 (read) 15 (write) 80 (read) 15 (write) 80 (read) 15 (write) 80 (read) 15 (write)
Żywotność (całkowita liczba zapisanych bajtów – w TB)	1 700 3 650 7 300 14 000 28 000
MTTF	2 miliony godzin pracy dysku
Gwarancja	5 lat

Rodzaj dostarczonych do testów dysków wymusił na nas dobór odpowiedniego urządzenia testującego. Ze względu na interfejs dysku U.3 PCIe Gen4 x4 wybraliśmy model TVS-h1290FX, czyli dwunastozatokowy model QNAP NAS stworzony z myślą o tego typu dyskach. Urządzenie korzysta z procesora AMD EPYC 7002 ROME, który udostępnia 64 niezależne linie PCIe, dzięki czemu każdy z podłączonych dysków może działać z pełną prędkością linii PCIe, a wiec w tym modelu Gen4 x4.

Poniżej widoczna jest specyfikacja urządzenia: 

QNAP NAS – TVS-h1290FX

• Procesor: 8-rdzeniowy/16-wątkowy procesor AMD EPYC™ 7232P/7252 o taktowaniu do 3,2 GHz
• RAM: 64 GB RDIMM DDR4 ECC (8 x 8 GB), max. 1TB (8 x 128GB)
• LAN:
  – 2x 2,5GbE NBase-T
  – 2x 25GbE STP28
• PCIe:
  – Gniazdo 1: PCIe Gen 4 x16
  – Gniazdo 2: PCIe Gen 4 x16
  – Gniazdo 3: PCIe Gen 4 x8
  – Gniazdo 4: PCIe Gen 4 x16
• Zasilanie: 750W, 100–240 V

Pełna specyfikacja dostępna jest tutaj

Wszystkie testy, które wykonujemy na backupacademy staramy się realizować w oparciu o podobne środowisko testowe, jednak różne rodzaje dysków i wykorzystywane przez nie interfejsu wymuszają zmiany. Tak i było w tym przypadku, gdzie musieliśmy wykorzystać sieć 25GbE, aby sprawdzić czy faktycznie testowane dyski pozwolą uzyskać zakładane wyniki.

Do testów otrzymaliśmy cztery dyski Micron 7450 Pro, które będziemy testować w trzech konfiguracjach – RAID 0, RAID 5 i RAID 10. W ten sposób zobaczymy, czy przy tego typu dyskach widoczne będą różnice wydajności podczas zapisów i odczytów. Dyski będą połączone w ZFS RAID, ponieważ testy przeprowadzamy w systemie QNAP QuTS hero (h5.0.1) i będziemy korzystać z wbudowanego systemu plików ZFS, który w przypadku QuTS hero zaimplementowany jest w pełni, a wiec odpowiada za organizację systemu plików ale też połączenie dysków w RAID.

Niezależnie od poziomu RAID, konfiguracja będzie następująca:

• Pula Pamięci z ZFS RAID obejmująca cała przestrzeń dysków. 
• Foldery systemowe – Public/homes,
• Folder testujący – wielkość 1024GB, wielkość bloku 4K, alokacja pełna, włączona kompresja, wyłączona deduplikacja.
• LUN blokowy o wielkości 1024GB, sformatowany w NTFS.

Wykonane testy:

• wbudowany mechanizm testujący w QuTS hero
• Narzędzie profilowania dysków SSD w systemie QuTS hero
• Narzędzie DiskFill Test (połączenie SSH)
• DD – z poziomu QuTS hero (połączenie SSH)
• IOmeter (wersja 1.1.0) – Windows
• CristalDisk Mark – Windows
• AJA System Test – Windows
• robocopy – czas zapisu o odczytu plików rożnej wielkości, Windows

Test nr 1 – QuTS hero

Po podłączeniu dysków Micron 7450 Pro do urządzenia uruchomiliśmy wbudowany w system test odczytu sekwencyjnego i odczytu IOPS, które pokazują mierzone wartości dla każdego dysku oddzielnie. Test dostępny jest z poziomu aplikacji „Pamięć masowa i migawki” w systemie QTS/QuTS hero. Przeprowadzony test zakończył się następującymi wynikami:

I tutaj małe pozytywne zaskoczenie. Oczywiście spodziewaliśmy się zobaczyć wysokie wartości (już 3,6 GB/s w przypadku testowanych kiedyś Kingston DC1500M robiło wrażenie), to jednak uzyskany wynik nie pozostawia nas bez emocji. Każdy dysk wykazał możliwość odczytu danych w formie sekwencyjnej na poziomie (!!!) 6,81 GB/s. Tak, prawie 7 GIGABAJTÓW na sekundę. Czyli odczyt płyty DVD zająłby jakieś 0,6 sekundy… Natomiast w przypadku IOPS zmierzone wartości przekraczają 250 tysięcy, co również jest wynikiem fascynującym.

Na tem moment – jesteśmy pod ogromnym wrażeniem. Ale zobaczymy, co będzie dalej 🙂

Dlatego też od razu przechodzimy do drugiego testu, który możemy przeprowadzić bezpośrednio  w systemie QuTS hero. Jest to długotrwały test profilowania dysków SSD, który pozwala ocenić wydajność w IOPS w zależności od ustawienia dodatkowego Over-Provisioningu dysku.

Przypomnijmy, czym jest Write Amplification. W sytuacji, gdy na dysku SSD dostępna jest mała ilość wolnej przestrzeni, dysk nie jest w stanie przyjmować kolejnych zapisów z dotychczasową wydajnością. W przeciwieństwie do dysków magnetycznych, dane na dysku SSD nie mogą zostać po prostu nadpisane. Za każdym razem, gdy zapisujemy kolejne dane, oprogramowanie dysku musi sprawdzić, które bloki dysku są wolne, zgromadzić te częściowo wykorzystane bloki i zwolnić przestrzeń. Dopiero wtedy nowe dane mogą zostać zapisane. Aby zapewnić sprawne działanie dysku, tymczasowe operacje są wykonywane w specjalnie zarezerwowanej przestrzeni. Im większa jest ta przestrzeń, tym dysk lepiej zachowuje się przy dużym obciążeniu zapisem. Różne dyski SSD maja tę przestrzeń różnej wielkości – generalnie modele klasy enterprise mają większą, dyski konsumenckie, mniejszą, co bezpośrednio jest też związane z ceną dysku twardego. W tym przypadku mówimy o przestrzeni, która w dysku jest dostępna, ale nie jest uwzględniana w rozmiarze dysku (można o niej powiedzieć, że to przestrzeń tymczasowa – cache). Narzędzie profilowania dysków w QNAP pozwala na rozszerzenie wbudowanej przestrzeni zarezerwowanej o dodatkową wielkość kosztem dostępnej pojemności dysku. W ten sposób możemy ręcznie rozszerzyć ten wbudowany cache zwiększając wydajność dysku nawet w przypadku wzmożonego zapisu. Programowy Over-Provisioning możemy ustawić na wielkość o 0% do nawet 60%, jednak narzędzie może ocenić, jaka wartość będzie optymalna.

Test Over-Provisioningu przeprowadzony został dla wszystkich poziomów RAID, w których testujemy dyski, a więc RAID 0, RAID 5 i RAID 10. Plusem testu OP jest również to, że system testuje prędkości zapisu i odczytu danych z każdego dysku (sekwencyjny i IOPS). Zobaczmy zatem, jak wyglądają wyniki dla RAID 0. Najpierw spójrzmy na wyniki dla każdego z dysków:

Jak widać w powyższej tabelce, każdy z testowanych dysków w tej konfiguracji uzyskał 6,81 GB/s w odczycie sekwencyjnym, a więc wynik niemal taki sam, jak deklarowany przez producenta (niemal, bo o 0,01 GB/s wyższy). Jeśli chodzi o pozostałe wartości, to odczyt sekwencyjny jest również podobny do deklarowanego (1,39 GB/s do 1,4 GB/s ze specyfikacji). Wyników zapisu i odczytu IOPS nie porównujemy do specyfikacji producenta, ponieważ tutaj będziemy weryfikować wyniki całej grupy RAID w późniejszych testach.

A teraz zobaczmy, jak wygląda Over-Provisioning dla 4 dysków w RAID 0, czyli wyniki będące faktycznym celem przeprowadzonego profilowania SSD.

Jak widać w powyższej tabelce i na grafice, najlepsze wyniki dysk osiąga przy OP ustawionym na 30%. Jednak warto tutaj zauważyć, że różnica nie jest znacząco duża pomiędzy wartością 0% a 30%, co więcej, przy OP ustawionym na 0% możemy zauważyć wyższą wydajność niż w przypadku 10%. Jednak w powyższej tabelce widzimy wartości uśrednione. Analizując przebieg w czasie możemy zobaczyć, że wartość 30% oferuje najlepsze długoterminowe wyniki wydajności dysku.

Zobaczmy teraz, jak dyski zachowały się podczas analogicznego testu, ale gdy zostały połączone w RAID 5

RAID 5

W przypadku tego poziomu RAID widzimy inną zależność niż we wcześniejszej konfiguracji – tym razem faktycznie zwiększenie dodatkowego provisioningu pozwala na uzyskanie lepszej wydajności. I znowu najlepszy wynik uzyskaliśmy przy OP ustawionym na 30%. To pokazuje, że w przypadku konfiguracji dysków Micron 7450 PRO w RAID 5 warto ustawić wyższą wartoś programowego over-provisioningu, ponieważ pozwoli to na uzyskanie lepszej wydajności. Jednak na tym etapie warto zadać sobie istotne pytanie – czy zależy nam na wydajności, czy powierzchni? RAID 5 dobrze sprawdza się w przypadku zastosowań, gdzie przeważa zapis sekwencyjny, a ten z kolei nie wymaga wysokiej ilości IOPS. Dlatego strata 30% powierzchni każdego dysku na poczet lepszej wydajności w RAID 5 trochę mija się z celem. Jeśli zależy nam na wydajności losowego zapisu i odczytu – inne poziomy RAID nadają się do tego lepiej.

RAID 10

No i pozostał nam do analizy RAID 10. Tutaj podobnie jak wcześniej w RAID 5 widzimy tendencję do zwiększania wydajności IOPS wraz ze wzrostem programowego OP. Średnia wartość przy OP=30% jaką udało się uzyskać w teście to prawie 86 tysięcy IOPS, natomiast przy OP=0% było to już zauważalnie mniej, bo 65 tysięcy. To pokazuje, że w przypadku środowisk wymagających dużej liczby IOPS, dyski Micron 7450 PRO U.3 warto sprawdzić narzędziem profilowania SSD, aby zweryfikować, jaka wartość OP będzie najlepsza. A następnie podczas konfiguracji taką ustawić. Oczywiście w tym przypadku mówimy o wykorzystaniu tych dysków w QNAP NAS, który oferuje zarówno narzędzie profilowania dysków SSD jak i możliwość ręcznego ustawienia konkretnej wartości OP dla dysków w konkretnej puli.

Tutaj warto zaznaczyć jeszcze jedną rzecz – uzyskane wyniki mają na celu wskazać, jaka wartość OP będzie dla testowanych dysków i poziomu RAID najlepsza, a nie jaka jest najwyższa wydajność IOPS dla testowanych dysków. Druga ważna kwestia to fakt, że test nie jest wykonywany ze stałą długością, tylko aplikacja kończy test po uzyskaniu optymalnych wyników, stąd na poniższych wykresach część linii przebiegu jest krótsza (np. RAID 0).

Na tym etapie kończymy pierwszą cześć testów związaną z narzędziami, które oferuje nam QTS/QuTS hero. Kolejne testy będziemy już przeprowadzali przy użyciu zewnętrznych narzędzi. Zaczniemy od testów na poziomie samego urządzenia (DiskFill test, dd), a następnie sprawdzimy, jak szybko można zapisywać i odczytywać dane na urządzeniu z dyskami Micron 7450Pro przez sieć. A do tego celu wykorzystamy sieć 25GbE.

Test 2 – Konsola QNAP – DiskFill Test

Czas na test numer 2, czyli wykonywany z poziomu konsoli QNAP proces zapisu i odczytu danych za pomocą narzędzia DiskFill Test. Proces jest wykonywany z poziomu konsoli (połączenie SSH) na woluminie o wielkości 1024 GB. W przypadku DFT benchmarkujemy dyski połączone w trzy poziomy RAID (0/5/10) na poziomie plikowym (wolumin). DiskFill test uruchamiamy z określonymi parametrami, które wymuszą dziesięciokrotny zapis pliku o wielkości 1024MB. Następnie aplikacja odczytuje zapisane wcześniej dane, a wyniki zapisuje do wskazanego pliku. Na poniższych wykresach widoczne są wyniki uzyskane w trzech testach (po jednym dla każdego RAID).

RAID 0

Zacznijmy oczywiście od poziomu RAID 0. Na wykresie poniżej widzimy wyniki zapisu i odczytu danych na dyskach Micron 7450 Pro. Pierwszy test zakończył się bardzo stałymi wynikami, gdzie uzyskane maksimum zapisu to 1683,42 MB/s a odczytu 3748,93 MB/s.

RAID 5

Po przekonfigurowaniu dysków w RAID 5, wykonaliśmy dokładnie ten sam test, i co ciekawe, uzyskaliśmy bliźniaczo podobne wyniki:

RAID 10

I pozostał ostatni test, czyli RAID 10. W tym przypadku wyniki uzyskane podczas zapisu i odczytu z dysków Micron 7450 Pro są wyższe, niż we wcześniejszych wynikach, co szczególnie zauważalne jest w przypadku zapisu danych.

Zobaczmy jeszcze, jak wygląda zestawienie wszystkich wyników na jednym wykresie. Jak widać, niezależnie od poziomu RAID, w którym działały dyski Micron 7450 Pro, wyniki są bardzo zbliżone. Należy jednak podkreślić, że w przypadku testu DiskFill Test nie testujemy maksymalnej możliwej do uzyskania wartości zapisu i odczytu w grupie, raczej zachowanie dysków podczas sekwencji zapisu i odczytu plików o określonej wielkości (1GB). Wartości, które uzyskaliśmy podczas testów są zbliżone do wyników testów innych dysków NVMe, które wcześniej wykonywaliśmy w naszym laboratorium.

Teraz przejdźmy do omówienia wyników testów wykonanych narzędziem DD.

Test 3 – Konsola QNAP – DD

DD to systemowe narzędzie, pozwalające kopiować pliki pomiędzy urządzeniami i plikami. Z punktu widzenia systemu plików w Linux, każde urządzenie dyskowe widoczne jest jako osobny plik (np. /dev/nvme0n1), co pozwala na kopiowanie ich zawartości pomiędzy sobą, zwykłymi plikami jak i specjalnymi urządzeniami w systemie linux, jak /dev/zero i /dev/random. Właśnie z tej możliwości dd korzystamy w naszym teście.

Nasz test obejmuje procedurę zapisu i odczytu 1GB danych w plikach po 256KB. W ten sposób system zapisuje sekwencyjnie bardzo dużą liczbę małych plików, następnie oczekuje 5 minut i rozpoczyna ich odczyt. Wyniki otrzymane podczas tego testu prezentujemy na poniższych wykresach i w tabelkach.

RAID 0

Zapis plików:

Odczyt plików:

RAID 5

Zapis plików: 

Odczyt plików:

RAID 10

Zapis plików:

Odczyt plików:

Dla ułatwienia, zobaczmy średnią wyników na jednym wykresie:

Uzyskane podczaszego testu wyniki są lepsze, niż wcześniej w teście DiskFill. Jest to związane z inną charakterystyką testu, ponieważ wcześniej zapisywaliśmy i odczytywaliśmy pliki o wielkości 1GB. W tym przypadku, system zapisywał i odczytywał po 256 małych plików, jednocześnie mierząc czas potrzebny na wykonanie danej operacji. Jednak podobnie, jak wcześniej, i tutaj wyniki dla dysków działających w RAID 0, RAID 5 oraz RAID 10 są bardzo zbliżone. Na tym etapie nie widać, jak duży wpływ na wydajność dysków i urządzenia, a którym pracują ma wybrany poziom RAID. Należy jednak przypomnieć, że w tym przypadku testy wykonywane są na poziomie urządzenia NAS – TS-h1290FX, a więc nie bierzemy pod uwagę czynnika sieciowego, ponieważ zapis i odczyt wykonywany był na poziomie plikowym, w ramach woluminów stworzonych w puli pamięci zbudowanej z dysków Micron 7460 Pro.

Dlatego przejdziemy teraz do kolejnych testów, jednak te będą już wykonywane z poziomu maszyny serwerowej, która została podłączona bezpośrednio do NAS.

Test 4 – ATTO Disk Benchmark

Pierwszy z wykonanych testów w systemie Windows to ATTO Disk Benchmark. Aplikacja sprawdza wyniki zapisu i odczytu pliku o określonej wielkości. Z naszym przypadku wybraliśmy duży plik – 32GB, który został zapisywany w zakresie 512B do 64MB (wielkość I/O), długość kolejki to 256, bufor zapisu był pomijany przez aplikację.

RAID 0

W przypadku pierwszego testu, czyli RAID 0, udało nam się uzyskać wyniki dochodzące do 2,45GB/s podczas odczytu oraz odczytu danych. Jest to wartość wskazująca na ograniczenie wynikające z połączenia sieciowego, ponieważ do bezpośredniego połączenia użyliśmy łącza 25GbE. Model TS-h1290FX, w którym pracowały dyski Micron 7450 Pro posiada wbudowany interfejs 25GbE, natomiast maszyna serwerowa została wyposażona w dodatkową kartę rozszerzeń z dwoma portami 25GbE.

ATTO Disk Benchmark wykonuje też test IOPS. W tym przypadku najwyższy wynik w zapisie to 127,5 tysiąca IOPS, natomiast w odczycie, 149,75 tysięcy IOPS. Tutaj też należy podkreślić, że liczba uzyskanych IOPS będzie zawsze zależała od liczby dysków połączonych w RAID, a w przypadku naszych testów mamy tylko 4.

RAID 5

Przejdźmy teraz do drugiego poziomu RAID, z którym pracowały dyski, czyli RAID 5.

No i tutaj od razu widzimy ogromny spadek wydajności. Maksymalny zapis na poziomie 738 MB/s a odczyt 1,36 GB/s.

Podobnie w przypadku IOPS, spadek odczytu i zapisu na poziomie ok. 30% w stosunku do wyników uzyskanych w RAID 0.

RAID 10

No i pozostała nam ostatnia konfiguracja, czyli RAID 10. Tutaj również zauważalny spadek w stosunku do RAID 0, jednak widzimy większą stałość uzyskiwanych wyników.

Niestety w przypadku IOPS też wartości są znacząco niższe, niż w przypadku RAID 0. Już ten test pokazuje nam, jak ważną decyzją jest dobór RAID. I w przeciwieństwie do niektórych głosów, że przy 4 dyskach nie ma zasadniczej różnicy pomiędzy RAID 5 czy RAID 10 (poza kosztem), to uzyskane wyniki jasno pokazują, że taka zbieżność istnieje.

A teraz pora na kolejny test, czyli CristalDiskMark.

Test 5 – Windows Server – CristalDiskMark

CristalDiskMark pozwala przetestować dysk twardy komputera na kilka sposobów. Weryfikuje szybkość zapisu i odczytu sekwencyjnego, losowego jak również liczbę IOPS oraz opóźnienie w zapisie/odczycie. Aplikacja ma kilka trybów pracy, jednak w naszych benchmarkach zawsze wykorzystujemy opcję Peak Performance, która ma pokazać najwyższe wartości możliwe do uzyskania.

W testach wydajności przy użyciu oprogramowania CristalDiskMark wykonaliśmy szereg identycznych testów w trzech konfiguracjach łączących 4 dyski twarde:

• RAID 0
• RAID 5
• RAID 10

Dla każdego z nich, zostały przeprowadzone następujące pomiary:

• Plik 16MiB, odczyt 90%, zapis 10%
• Plik 16MiB, odczyt 10%, zapis 90%
• Plik 64GB, odczyt 90%, zapis 10%
• Plik 64GB, odczyt 90%, zapis 100%

Zacznijmy od przeanalizowania wyników IOPS:

Jak łatwo było się domyślić jeszcze przed zobaczeniem podsumowania, najlepsze wyniki znowu udało się uzyskać w przypadku połączenia dysków Micron 7450 Pro w RAID 0. Tutaj w teście 1x16MiB uzyskane wartości przekroczyły 140 tysięcy IOPS. Jednak w przypadku RAID 0 widzimy największe różnice porównując zapis i odczyt danych. Takie różnice są dużo mniejsze, jeśli popatrzymy na wyniki uzyskane w konfiguracji RAID 5 i RAID 10, gdzie uzyskiwaliśmy ponad 80 tysięcy IOPS niezależnie od wykonywanego testu.

A teraz przyjrzyjmy się wynikom w megabajtach na sekundę.

No i tutaj znowu widzimy, że RAID 0 jest bezkonkurencyjny i pozwala nam wycisnąć najwięcej z testowanych dysków Micron 7450 Pro, gdzie najwyższy zarejestrowany transfer to 2360 MB/s w przypadku testy 1x16MiB. 

A teraz czas na testy IOmeter.

Test 6 – Windows Server – IOmeter

Test IOmeter pozwala nam zweryfikować wydajność dysków Micron działających w grupie RAID. Porównujemy trzy konfiguracje – RAID 0, RAID 5 i RAID 10, przy połączeniu 25GbE z komputerem. Podczas testu w na urządzeniu QNAP TS-h1290FX dyski połączone są RAID, na nich utworzono Pulę Pamięci, w której z kolei stworzono LUN blokowy o wielkości 1024GB. LUN został podłączony do systemu Windows wbudowanym narządziem (iscsicpl) a następnie zainicjowany i sformatowany w systemie plików NTFS.

Na potrzeby wykonywanego benchmarku, dyski poddamy zestawowi następujących testów:

• 4KB Random Read
• 4KB Random Write
• 4KB Sequential Read
• 4KB Sequential Write
• 8KB Random Read
• 8KB Random Write
• 8KB Sequential Read
• 8KB Sequential Write
• 64KB Random Read
• 64KB Random Write
• 64KB Sequential Read
• 64KB Sequential Write

Zacznijmy od analizy wyników zapisu i odczytu w megabajtach na sekundę. No i tutaj już na pierwszy rzut oka widzimy, że wyniki rozkładają się w bardzo nierówny sposób. Najwyższe wartości udało nam się uzyskać w przypadku konfiguracji RAID 0 (a więc podobnie jak wcześniej), gdzie wartości zapisu i odczytu przekraczają 2000 MB/s. Tak więc w przypadku RAID 0 wartości pokrywają się z tymi uzyskanymi wcześniej w testach ATTO Disk Benchmark. I tutaj znowu mamy wartości zahaczające o limity łącza 25GbE. Co istotne, najwyższe wartości uzyskaliśmy w testach zapisu i odczytu 64K. W przypadku testów 4K i 8K wyniki są znacząco niższe. Jednak widzimy tutaj podobne zależności jak we wcześniejszym teście. Przy zapisie odczycie większych plików system jest w stanie wysycić łącze jak również konfiguracja RAID 0 pozwala nam uzyskać dużo wyższe wartości. Drugie miejsce należy do RAID 10 a najgorsze wyniki statystycznie widzimy w konfiguracji RAID 5.

Teraz czas na wyniki IOPS. I tutaj zależności są odwrotne do wcześniejszych, a więc im mniejsza wielkość danych wykorzystywanych w testach, tym lepsze wyniki możemy uzyskać. Tak więc jak widzimy na wykresie poniżej, maksimum uzyskaliśmy w teście 4K, ale co ciekawe – w konfiguracji RAID 10 i RAID 5. RAID 0 wykazał najgorszą wartość. Jednak jeśli zwiększymy wielkość danych w testach, RAID 0 wysuwa się znowu na powodzenie, gdzie w niektórych przypadkach widzimy niemal 100% wyższy wynik w RAID 0 niż w RAID 10.

IOMeter zapisuje też wyniki uzyskane w całym czasie wykonywanego testu i te wyniki prezentujemy niżej. Podczas realizacji zapisu i odczytu, IOmeter zapisuje do pliku z wynikami liczbę IOPS w każdym testowym przedziale czasu (podział sekundowy). To pozwala nam zobaczyć, na jakim etapie testu udało się uzyskać najwyższe wyniki, a kiedy wydajność spadała. Warto tutaj zwróci uwagę na wyniki najwyższe, dochodzące nawet do 3 mln IOPS, które później z biegiem czasu spadały. Jednak porównując ten wykres z wykresami innych testowanych przez nas dysków, początkowa faza, w której wydajność jest najwyższa jest najmocniej zaznaczona i widoczna. Oczywistym też jest, że im większy rozmiar bloku, tym dłużej raportowana jest wydajność (kwestia czasu potrzebnego na zapis bloku).

A teraz czas na wyniki testu wykonanego przy użyciu AJA System Test.

Test 7 – Windows Server – AJA System Test

AJA System Test jest narzędziem, którego używamy niejako do potwierdzenia wcześniej uzyskanych wyników, ale też po to, żeby zobaczyć, jak testowane dyski zachowają się w specyficznym, praktycznym zastosowaniu, czyli pracy z video. Aplikacja zapisuje i odczytuje sekwencyjnie pliki różnej wielkości (256MB, 512MB, 1GB, 4GB, 16GB oraz 64GB) będące sztucznie wygenerowanymi plikami video różnej rozdzielczości. Proces ten pozwala przetestować, jak szybko możemy zapisywać i odczytywać pliki video. Dlatego aplikacja pozwala ustawić wielkość pliku oraz rozdzielczość. Test wykonujemy w oparciu o symulowane pliki 5120×2700 5K z kamery RED. Wyniki, które uzyskaliśmy podczas testów widoczne są poniżej w tabelkach i na wykresach.

Zacznijmy od wyników odczytu. Tutaj widzimy potwierdzenie wcześniej wykonanych testów. Podobnie, jak wcześniej najwyższe wartości udało nam się uzyskać w konfiguracji RAID 0, najgorsze w RAID 5. W zależności od wielkości pliku wartości się wahają, jednak na podstawie tabelki oraz wykresu widzimy tendencję potwierdzającą wcześniejsze tezy.

W przypadku zapisu wyniki były odrobinę lepsze, niż w przypadku odczytu danych, jednak znowu najlepsze wartości uzyskaliśmy w RAID 0. Tutaj jednak trzeba zwrócić uwagę, że różnica jest ogromna w porównaniu do RAID 5 czy RAID 10. Dlatego w sytuacji, gdzie zależy nam na jak najwyższych wartościach zapisu i odczytu, często to właśnie RAID 0 może się okazać najlepszym wyborem, a dane jednocześnie zabezpieczane na dodatkowej macierzy – tutaj np. wygodnym rozwiązaniem może być podział przestrzeni w NAS na dwie grupy – jedną normalną, obejmującą redundancję oraz drugą, stworzoną tylko z myślą o wydajności. Dodatkowo, dzięki mechanizmom dostępnym w systemie QuTS hero, czyli snapsync, dane pomiędzy tymi grupami mogą być synchronizowane w czasie rzeczywistym, aby nie utracić żadnych danych w przypadku awarii któregoś z dysków.

Dla wygody poniżej prezentujemy też zestawienie wyników zapisu i odczytu uzyskanych w kolejno wykonywanych testach.

No i czas na ostatni wykonany test, czyli zapis plików na NAS przy użyciu robocopy.

Test 8 – Windows Server – Robocopy

Przejdźmy teraz do ostantiego testu, którym standardowo jest kopiowanie plików przy użyciu robocopy. Robocopy jest narzędziem wbudowanym w system Windows, które pozwala kopiować pliki, ale też podczas wykonywanych czynności wyświetla podsumowanie obejmujące czas kopiowania plików oraz szybkość. Co ważne, w tym teście wykonujemy tylko zapis na dyskach Micron 7450 Pro podłączonych do NAS, nie sprawdzamy odczytu. W ten sposób zweryfikujemy, jak dyski zachowają się w przypadku różnej liczbie plików o sumarycznej wielkości 100GB.

Testy robocopy przeprowadzamy na dwa sposoby – pierwszy dotyczy zapisu danych na podłączonym zasobie sieciowym SMB. W ten sposób maszyna kliencka ma dostęp do zasobu plikowego przy użyciu dedykowanego łącza 25GbE. W tym przypadku wykonujemy zapis trzech typów plików – 100 plików po 1GB, 10 plików po 10GB oraz 1 plik 100GB. Każdy zestaw testowy jest zapisywany trzykrotnie, a poniżej widzimy uśrednione wyniki testów.

Jak widać, najlepsze wyniki znowu uzyskaliśmy w konfiguracji RAID 0, jednak niezależnie od testu, najszybciej zapisane zostały dane w formie 100 plików po 1 GB, a najdłużej trwało zapisanie jednego pliku 100GB.

W przypadku zapisu blokowo, gdzie przestrzeń utworzona w oparciu o dyski Micron 7450 Pro była podłączona przez iSCSI, dodaliśmy jeszcze jeden typ zapisywanych danych – 102400 plików po 1MB aby zobaczyć, jak testowane rozwiązanie zachowa się przy sekwencyjnym zapisie bardzo dużej liczby małych plików.

No i tutaj znowu zbieżność wyników z uzyskanymi w poprzednich testach. Jak widać na wykresie oraz w tabeli, najlepiej dyski Micron 7450 Pro poradziły sobie w konfiguracji RAID 0, najgorsze wyniki uzyskaliśmy w RAID 5. Jednak co bardziej ciekawe, to czas potrzeby na zapisanie 102400 plików o wielkości 1MB. W konfiguracji RAID 0 taki zestaw wymagał najdłuższego nakładu czasowego. Jednak w konfiguracji RAID 5 czy RAID 10 czas potrzeby na zapisanie tylu plików był najkrótszy. każdy proces zapisu był wykonywany trzykrotnie, aby uzyskać potwierdzenie co to poprawności uzyskanych wyników.

Ostatni test pokazuje nam zachowanie dysków Micron 7450 Pro w zastosowaniu praktycznym. Symulowany był zapis plików różnej wielkości, a więc sytuacja, z którą możemy się spotkać często podczas pracy – przykładowo w sytuacji backupu. No i w przeciwieństwie do zapisu i odczytu plików video, co testowaliśmy przy pomocy AJA System Test, gdzie najlepsze wyniki uzyskaliśmy w konfiguracji RAID 0, specyfika środowiska pracy jak powyżej uzasadni inne poziomy RAID. I o ile RAID 5 ogólnie wypada najgorzej (co jest oczywiście w pełni uzasadnione), to jednak w przypadku dużej liczby małych plików (np. backup przyrostowy), to właśnie ten poziom będzie najbardziej sensowny. Jednak należy też sobie zadać pytanie, czy dyski U.3 NVMe powinny być wykorzystywane do przechowywania zimnych danych, czyli np. backupu, czy jednak ze względu na swoje możliwości i cenę warto ograniczyć ich zastosowanie do bardziej wymagających zastosowań (wirtualizacja, kontenery).

Podsumowanie

Dyski Micron 7450 Pro to pierwsze dyski typu U.3, które zagościły w naszym laboratorium, a więc wzbudziły spore zainteresowanie. Szczególnie uwagę przyciągały deklarowane wartości odczytu, sięgające 6,8 GB/s. Dlatego do testów wybraliśmy wyjątkowy NAS w ofercie QNAP, który może sprostać testowanym dyskom – TS-h1290FX, który wyposażony jest w 12 zatok 2,5″ U.2/U.3 i posiada wbudowane porty 25GbE. Po drugiej stronie skorzystaliśmy z serwera wyposażonego w system Windows Server 2022, do którego podłączyliśmy kartę QNAP z dwoma portami 25GbE. To pozwoliło nam stworzyć odpowiednie środowisko, do sprawdzenia dysków Micron 7450 Pro.

Aby w pełni sprawdzić możliwości testowanych dysków, korzystamy z różnego typu aplikacji, a testy wykonujemy zarówno na poziomie samego NAS, do którego dyski są podłączone, jak również sieciowo, sprawdzając jak wygląda wydajność zapisu i odczytu poprzez iSCSI i SMB. Oczywiście w zależności od aplikacji, typu testu i jego specyfiki mogliśmy oczekiwać różnych wyników, jednak najważniejsze wyjściowo były dla nas wyniki uzyskane przez sam system operacyjny naszego NAS. Co ważne, udało nam się uzyskać przepustowość, którą deklaruje producent, ponieważ QNAP ocenił wartość odczytu na 6,81GB/s, a więc niemal idealnie z deklaracjami producenta – choć niemal nie jest w pełni odpowiednim słowem, gdyż wyniki były odrobinę wyższe, producent deklaruje 6,8 GB/s.

Jednak sama przepustowość to nie wszystko, sprawdzamy też IOPS i ogólne zachowanie dysków w różnych typach zastosowań. Dlatego właśnie sprawdzamy dyski na różne sposoby i różnymi danymi testowymi. Po wykonaniu wszystkich testów możemy stwierdzić, że dyski Micron 7450 Pro to godna zaufania konstrukcja, która pozwoli uzyskać stabilne i wydajne środowisko pracy, niezależnie od tego, czy potrzebujemy przestrzeni do tostowania maszyn wirtualnych i kontenerów, czy miejsca na materiały video. Oczywiście aby wykorzystać je w pełni, potrzebujemy odpowiedniej maszyny, w której będą pracowały. Ten rodzaj dysków wymusza też skorzystanie z odpowiednio szybkiej sieci. Sieć 10GbE wygląda blado przy możliwościach pojedynczego dysku, a co w sytuacji, gdyż będzie ich 12. Dlatego 25GbE to minimum, a warto pamiętać o możliwości łączenia interfejsów w LACP czy SMB Multichannel, aby wykorzystać wyższe transfery i tym samym możliwości dysków.

Podsumowując dyski Micron 7450 Pro jednym słowem – polecamy!

Uwaga.

Testy zostały przeprowadzony w sposób niezależny. Dystrybutor firmy Micron opłacił wykonanie przez nas testów, jednak nie ingerował w wyniki i treść artykułu. Wszystkie wyniki zostały uzyskane z założeniem określonej w treści metodyki badań w hermetycznym środowisku, dlatego mogą się nieznacznie różnić od wyników uzyskiwanych w innej konfiguracji sprzętowo-programowej. Spostrzeżenia własne autorów. Wszystkie materiały należą do autorów testu, chyba, że zaznaczono inaczej.