Kingston DC500M, czyli wydajny dysk SSD dla NAS

Bardzo często spotykamy się z pytaniem, jakie dyski SSD polecamy do serwerów QNAP NAS. Każdy model ma co prawda listę kompatybilnych dysków, jednak wybierając dysk kierujemy się często własnymi doświadczeniami oraz opiniami innych użytkowników. Dlatego postanowiliśmy rozpocząć testy dysków HDD i SSD pod kątem współpracy z QNAP, aby każdy mógł zobaczyć, jak poszczególne dyski zachowują się w różnych scenariuszach.

Nasz cykl testów zaczynamy od marki Kingston. Dzięki uprzejmości przedstawicieli firmy Kingston w Polsce, trafiły do nas cztery dyski SSD nowej serii DC500M, abyśmy sprawdzili, jak działają z NAS’ami QNAP. Zatem do dzieła:)

Seria DC500 (Data Center) to dyski SSD SATA 6Gb/s kierowane do wykorzystania w środowiskach serwerowych, oferujące przewidywalną wydajność losowych operacji wejścia.wyjścia oraz niskie opóźnienia przy odczycie danych. Według producenta, dyski kierowane są do systemów AI, uczenia maszynowego, analiz dużych zbiorów danych, systemów obliczeniowych w chmurze, programowych magazynów danych (ODB), aplikacji bazodanowych oraz hurtowni danych. Dyski  wykorzystują moduły pamięci 3D TLC NAND, oferujące dużą wydajność i wytrzymałość urządzeń. Warto też zaznaczyć, że dyski serii DC500M objęte są pięcioletnią gwarancją producenta. Dodatkowo dyski oferują mechanizmy chroniące przed skutkami utraty zasilania (PLP), które gwarantują, że jeśli podczas przesyłania danych nastąpi zanik zasilania, przesłane dane zostaną zapisane w pamięci flash NAND, a tablica mapowania FTL zostanie prawidłowo zaktualizowana. Bezpieczeństwo jest również zwiększane poprzez zastosowanie mechanizmów sprzętowego szyfrowania AES256bit.

Dyski dostępne pojemnościach: 480GB, 960GB, 1,92TB, 3,84TB, 7,68TB. 

Wśród serii DC500 znajdziemy dwa typy urządzeń – dyski DC500R i DC500M. Wersja „R”, to dyski kierowane do środowisk, gdzie przeważają operacje odczytu danych (stąd „R” – od Read Intensive). Z kolei wersja „M” jest bardziej uniwersalna, kierowana do środowisk mieszanych. Właśnie te ostatnie trafiły do naszego laboratorium. Poniżej w tabeli prezentujemy najważniejsze informacje o dyskach zgodnie z informacją na stronie producenta.

Parametry techniczne dysków DC500M

Zacznijmy od przedstawienia naszego środowiska testowego. 

Wszystkie testowane dyski zostały zamontowane w urządzeniu QNAP TS-983XU, który posiada dodatkowych 5 zatok na dyski SSD. Dokładna konfiguracja systemu wygląda następująco:

Konfiguracja TS-983XU-E2124-8G

Procesor – Czterordzeniowy procesor Intel® Xeon® E-2124 o taktowaniu 3,3 GHz (zwiększanym do 4,3 GHz)

Pamięć systemowa – 8 GB UDIMM DDR4 ECC (2 x 4 GB)

Wnęka dysków – 4 dyski 3,5-calowe + 5 dysków 2,5-calowych SATA 6 Gb/s, 3 Gb/s

Port Gigabit sieci Ethernet (RJ45) – 2

Port 10 Gigabit sieci Ethernet – 2 porty 10GbE SFP+ SmartNIC

Pełna specyfikacja sprzętowa dostępna tutaj: https://www.qnap.com/pl-pl/product/ts-983xu/specs/hardware

Aby zapewnić środowisko pracy najbardziej zbliżone do rzeczywistego, urządzenie działało w podstawowej konfiguracji sprzętowej. Wyjątkiem było zamontowanie karty PCIe – Qlogic QLE2562 8Gb/s Fibre Channel na cele testów wydajności przestrzeni udostępnionej blokowo przez FC.

Urządzenie jest podłączone do przełącznika QNAP QSW-308-1C (https://www.qnap.com/en/product/qsw-308-1c) za pomocą przewodu DAC (Direct-Attached Copper) – 3.0M SFP+ 10GbE DIRECT ATTACH CABLE. Urządzenie działa pod kontrolą systemu QTS 4.4.2.1270 build 20200410

Testy wydajności przeprowadzane były z poziomu specjalnie przygotowanego do tego celu serwera. Wykorzystaliśmy urządzenie QNAP TS-672XT, jednak bezpośrednio na urządzeniu został zainstalowany system Microsoft Server 2019. 

Konfiguracja serwera testującego:

Procesor: 4-rdzeniowy procesor Intel® Core™ i3-8100T 3,1 GHz

Pamięć systemowa: 8 GB SODIMM DDR4 (2 x 4 GB)

Wnęka dysków: 6 dysków 3,5-calowych SATA 6 Gb/s, 3 Gb/s

Port Gigabit sieci Ethernet (RJ45): 2

Port 10 Gigabit sieci Ethernet: 1 x 10GBASE-T (10G/5G/2,5G/1G/100M)

Kontroler FC: Qlogic QLE2562 8Gb/s

Dysk twardy: WD Blue SSD 480GB

Urządzenie podłączone 3-metrowym przewodem ETH Cat 6 do przełącznika QNAP QSW-308-1C (port combo 10GbE).

Oba urządzenia – testowe i testujące zostały skonfigurowane do pracy w jednej podsieci 10GbE, w której były realizowane testy przepustowości dla iSCSI oraz SMB. 

Na potrzeby testów przyjęto, że przestrzeń udostępniana blokowo przez iSCSI i FC będzie skonfigurowana jako LUN typu Thin o wielkości 1024GB, wielkość sektora 4K, sformatowany w NTFS z poziomu Windows Serwer 2019. Wyjątkiem były testy SMB, gdzie korzystano z woluminu cienkiego o wielkości 500GB.

Metodologia testowa, którą przyjęliśmy do sprawdzenia dysków SSD obejmuje wykonanie testów przy użyciu różnych narzędzi testujących, aby możliwe było zestawienie wyników i wykluczenie ewentualnych błędów/przekłamań.

Testy wykonano przy użyciu:

1. Wbudowanych mechanizmów testowania dysków w systemie QTS
2. Narzędzia profilowania dysków SSD w systemie QTS
3. CristalDiskMark, wersja 7.0.0 x64
4. ATTO Disk Benchmark, wersja 4.01.0f1 (wyniki użyte do potwierdzenie pozostałych wyników)
5. IOmeter, wersja 1.1.0
6. AJA System Test, wersja 2.1
7. Szybkość i czas kopiowania plików SMB przy użyciu narzędzia robocopy w systemie Windows Server 2019

TEST 1 – QTS

W aplikacji Pamięć Masowa i Migawki w systemie QTS dostępne jest narzędzie służące do testowania przepustowości podłączonych dysków twardych. Test obejmuje sprawdzanie prędkości odczytu sekwencyjnego oraz IOPS odczytu sekwencyjnego. Uzyskane wyniki pokazują,  że QNAP TS-983XU odczytuje wydajność dysku zbliżoną do specyfikacji producenta, co pozwala nam mieć wysokie oczekiwania co do dalszych wyników modelu DC500M.

Oprócz standardowego mechanizmu testowania szybkości odczytu i IOPS dysków twardych, system QTS oferuje również narzędzie przeznaczone do testowania dysków SSD – Narzędzie profilowania dysków, które wykonuje serię testów obciążenia dysku aby określić punkt, w którym wydajność dysku SSD spada na skutek zbyt dużego obciążenia zapisem. Przyczynę takiego zachowania dysku określa się jako Write Amplification. W sytuacji, gdy na dysku dostępna jest mała ilość wolnej przestrzeni, dysk nie jest w stanie przyjmować kolejnych zapisów z dotychczasową wydajnością. W przeciwieństwie do dysków magnetycznych, dane na dysku SSD nie mogą zostać po prostu nadpisane. Za każdym razem, gdy zapisujemy kolejne dane, oprogramowanie dysku musi sprawdzić, które bloki dysku są wolne, zgromadzić te częściowo wykorzystane bloki i zwolnić przestrzeń. Dopiero wtedy nowe dane mogą zostać zapisane. Aby zapewnić sprawne działanie dysku, tymczasowe operacje są wykonywane w specjalnie zarezerwowanej przestrzeni. Im większa jest ta przestrzeń, tym dysk lepiej zachowuje się przy dużym obciążeniu zapisem. Różne dyski SSD maja tę przestrzeń różnej wielkości – generalnie modele klasy enterprise mają większą, dyski konsumenckie, mniejszą, co bezpośrednio jest też związane z ceną dysku twardego. W tym przypadku mówimy o przestrzeni, która w dysku jest dostępna, ale nie jest uwzględniana w rozmiarze dysku (można o niej powiedzieć, że to przestrzeń tymczasowa – cache). Narzędzie profilowania dysków w QNAP pozwala na rozszerzenie wbudowanej przestrzeni zarezerwowanej o dodatkową wielkość kosztem dostępnej pojemności dysku. W ten sposób możemy ręcznie rozszerzyć ten wbudowany cache zwiększając wydajność dysku nawet w przypadku wzmożonego zapisu. Programowy Over-Provisioning możemy ustawić na wielkość o 0% do nawet 60%, jednak narzędzie może ocenić, jaka wartość będzie optymalna. Ponieważ testujemy dyski SSD, uruchomiliśmy serię testów profilowania dysków DC500M aby zobaczyć, czy da się z nich wycisnąć jeszcze więcej. 

Test OP 4xSSD, RAID 10

Na początku testu dysk wykazuje wysoką wydajność bez względu na ustawioną wartość OP. Jednak od ok. setnej sekundy testu, dysk wykazuje spadek wydajności. System wykonywał benchmark przy różnych wartościach OP – od 0% do 30% z odstępem 5% i najlepsze wyniki uzyskano przy rozszerzeniu pamięci zarezerwowanej o dodatkowe 15%. 

Test OP 4xSSD, RAID 5

Drugi test wykonaliśmy przy konfiguracji dysków w RAID 5.

Tutaj wyniki wyglądają zupełnie inaczej, co dobrze obrazuje, że takie testy profilowania powinny być wykonywane oddzielnie dla każdej konfiguracji RAID dysków SSD. W przypadku DC500M działających w RAID 5, optymalna wartość OP to 30% (z testowanego zakresu). Należy jednak zwrócić uwagę na zakres różnicy – różnica wynosi ok. 2 tys IOPS. Podobnie było w RAID 10, jednak tam było to 2 000 IOPS przy wynikach rzędu 13 600-13800 IOPS, a tutaj ok 60 000 IOPS. Więc w przypadku RAID 5 zwiększenie wartości OP będzie bardziej odczuwalne przy wydajności całej grupy RAID. Uwaga – pamiętajmy, że wartość OP ustawiana jest dla każdego dysku działającego w danej grupie.

Aby zapewnić stałe środowisko testowe, w kolejnych benchmarkach nie wykorzystywaliśmy sugerowanych wyników OP, ale ustawialiśmy statyczne 10% dla każdego dysku, niezależnie od poziomu RAID.

TEST 2 – CristalDiskMark

W testach wydajności przy użyciu oprogramowania CristalDiskMark wykonaliśmy szereg identycznych testów w trzech konfiguracjach dysków twardych:

• RAID 0
• RAID 5
• RAID 10

Dla każdego z nich, zostały przeprowadzone następujące pomiary:

• Plik 16MiB, odczyt 90%, zapis 10%
• Plik 16MiB, odczyt 50%, zapis 50%
• Plik 64GB, odczyt 90%, zapis 10%
• Plik 64GB, odczyt 50%, zapis 50%

Wszystkie powyższe pomiary zostały przeprowadzone zarówno przy użyciu połączenie FC 8Gb/s jak i iSCSI 10GbE. Wyniki odczytu przy transferze sekwencyjnym wyglądają następująco:

Jak widać, nie mamy tutaj istotnych różnic wynikających z zastosowanego medium transmisyjnego, protokołu, wielkości pliku czy poziomu RAID. W każdym z testów udało się osiągnąć niemal 100% przepustowości danego łącza. Pokazuje to, że w przypadku standardowej konfiguracji, niezależnie od poziomu RAID dyski Kingston DC500M są w stanie pracować szybciej, niż pozwala na to połączenie nawet 10GbE. Ponieważ połączenia 10GbE wciąż są mało popularne, uznaliśmy, że taka przepustowość w testach będzie wystarczająca. Prawdopodobnie dopiero połączenie dwóch portów 10GbE pokazałoby spadek prędkości transferu. Zobaczmy zatem, jak będą wyglądały wyniki losowego transferu 4K liczone w IOPS:

Tutaj możemy już zauważyć różnice wynikające z zastosowanego poziomu RAID. Zgodnie z oczekiwaniami RAID 0 okazał się najbardziej wydajny, gdzie pomiary wykazały wartości zbliżające się do 120 tysięcy IOPS przy pliku 16MiB. Jak widać na powyższym wykresie, cztery dyski SSD lepiej oferują wyższą wydajność w RAID 10 dla małych plików, za to dla większych wydajniejszą konfiguracją jest RAID 5. Należy tutaj jednak znowu zauważyć, że różnice są głównie zauważalne przy połączeniu 10GbE protokołem iSCSI, natomiast połączenie Fibre Channel 8Gb/s daje w miarę stałe wyniki niezależnie od konfiguracji i przeprowadzonego pomiaru.

Ostatnim wynikiem, na który warto zwrócić uwagę jest zapis, ponieważ tutaj widzimy znaczący wzrost wydajności IOPS:

Ciekawą rzeczą, która również rzuca się w oczy po wykonanych testach jest stabilność wydajności przy połączeniach Fibre Channel. Przy testach wykorzystujących małe pliki niemal nie widać różnicy pomiędzy kolejnymi poziomami RAID. Z kolei podłączenie iSCSI 10GbE pokazuje najwyższą wydajność RAID 0 (co było zgodne z oczekiwaniami), następnie mamy RAID 10 i w końcu RAID 5.

W przypadku CristaDiskMark test był wykonywany dla kolejki „1”, co oznacza, że system podczas testu symulował środowisko, gdzie wykonywane jest tylko jedno zapytanie ze strony aplikacji do dysku.

Test 3 – IOmeter

Kolejnym testem, któremu poddaliśmy nasze dyski był IOmeter, czyli narządzie do kompleksowego badania wydajności i przepustowości dysków twardych. Na potrzeby testu w aplikacji korzystaliśmy z jednego workera oraz przygotowaliśmy zestaw benchmarków o następujące charakterystyce:

• 4KB Random Read
• 4KB Random Write
• 4KB Sequential Read
• 4KB Sequential Write
• 8KB Random Read
• 8KB Random Write
• 8KB Sequential Read
• 8KB Sequential Write
• 64KB Random Read
• 64KB Random Write
• 64KB Sequential Read
• 64KB Sequential Write

Wyniki przeprowadzonych testów wypadły następująco:

1. iSCIS 10GbE – IOPS

2. FC 8Gbps – IOPS

3. iSCSI 10GbE – MBps

4. FC 8GB – MBps

Dzięki dogłębnej analizie wykonanej przez IOmeter możemy zauważyć jak konfiguracja RAID i medium transmisyjne przekłada się na uzyskaną przepustowość, wydajność IOPS i stabilność. Najwyższe transfery uzyskaliśmy przy połączeniu iSCSI 10GbE, jednak tutaj mamy zysk 2Gbps w stosunku do testowanego połączenia Fibre Channel o prędkości 8Gbps. Na wykresach możemy zauważyć, że w przypadku testów 64KB transfer zbliżał się do maksimum oferowanego przez dany typ połączenia. Przy czym najlepsze rezultaty uzyskujemy przy RAID 0 i RAID 10. Jeśli jednak spojrzymy na IOPS okazuje się, że przy wolniejszym połączeniu FC jesteśmy w stanie uzyskać lepszą wydajność niż przy szybszym połączeniu iSCIS 10GbE. Dlatego z punktu widzenia wydajności, dla środowisk z większą liczbą operacji wejścia-wyjścia na sekundę połączenia FC będą stabilniejsze i wydajniejsze. Oczywiście musimy tutaj wziąć też pod uwagę koszt takiego wdrożenia, który w przypadku FC będzie znacząco wyższy. Jak zaznaczono we wstępnie, testowy model QNAP TS-983XU w którym podłączone były dyski DC500M ma wbudowane porty 10GbE SFP+, więc nie musimy ponosić dodatkowych kosztów. W przypadku FC niezbędne jest dokupienie odpowiedniego adaptera. Taka inwestycja będzie miała jednak istotne przełożenie na wydajność całego środowiska – jak widać na powyższych wykresach, w tym typie połączenia wydajność IOPS była podobna przy wszystkich testowanych poziomach RAID (0, 5, 10), czego nie można powiedzieć o połączeniu iSCSI.

Na tym etapie zastanawiające może być to, że w porównując wyniki CristalDiskMark oraz IOmeter, wynik IOPS był lepszy dla iSCSI w CristalDiskMark, a dla FC w IOmeter. Różnica bierze się z rodzaju testów wykonywanych przez oba rozwiązania. W przypadku CristalDiskMark test był wykonany dla kolejki o długości „1” (Queue Depth), z kolei w IOmeter dla kolejki o długości „16”, która lepiej symuluje środowisko pracy serwerowej, gdzie dysk otrzymuje dodatkowe zapytania z różnych aplikacji i musi je kolejkować oraz przetwarzać.

Pamiętajmy też, że decydując się na komunikację Fibre Channel, bardzo krytyczne znaczenie ma dobór modelu NAS, a dokładnie rodzaj procesora w takim urządzeniu. Aby osiągnąć wysokie wyniki potrzebujemy procesora o wysokim taktowaniu. Okazuje się, że bezpośrednie przełożenie na wydajność FC ma taktowanie procesora na pojedynczym rdzeniu. W takiej komunikacji nie wykorzystujemy większej liczby rdzeni, więc wydajny procesor Xeon o dużej liczbie rdzeni ale niskim taktowaniu może gorzej sprawować się w takim zastosowaniu niż np. Intel i5 czy i7, które mają wyższe taktowanie, ale też mniej rdzeni. Dlatego do testów zdecydowaliśmy się wykorzystać model QNAP TS-983XU, który wyposażony jest w procesor  Intel® Xeon® E-2124 o taktowaniu 3,3 GHz (zwiększanym do 4,3 GHz)

TEST 4 – AJA System Tool

AJA System Tool pozwala na przetestowanie przestrzeni dyskowej pod kątem zastosowania głównie w środowiskach graficznych/video, jednak w naszych testach skorzystaliśmy z tego narzędzia, aby zweryfikować, po pierwsze, czy benchmarki wykonujące dogłębne testy pokazują takie same wartości, jak symulacja pracy real-live, a po drugie, czy przy zapisie pojedynczych plików różnych wielkości zauważymy istotne różnice w przepustowości. Poniższa tabelka oraz wykres prezentują uzyskane wyniki dla testów z plikami 256MB, 1GB i 16GB (największy dostępny w AJA System Tool)

Tutaj znowu widzimy, że najlepsze wyniki otrzymujemy przy RAID 0 i RAID 10. Oczywiście RAID 0 nie jest zalecany ze względu na brak redundancji, jednak okazuje się, że często RAID 0, który statystycznie powinien być najbardziej wydajny, okazuje się gorszy od RAID 10, gdzie z kolei mamy redundancję na dwóch grupach dysków. Najgorzej wypada RAID 5, co tylko potwierdza tezę, iż głównie nadaje się do środowisk z danymi statycznymi, których zapis nie musi być krytycznie szybki. Jednak tutaj musimy też zaznaczyć, że zasadność korzystania w RAID 5 jest coraz mniejsza. Po pierwsze jest najwolniejszy, ale jednocześnie oferuje ograniczone bezpieczeństwo przed uszkodzeniem dysku. Przy mniejszych dyskach nie jest to aż tak znaczące, jednak przy większej liczbie pojemnych dysków uszkodzenie któregoś z grupy powoduje wzmożone obciążenie pozostałych i większe prawdopodobieństwo wystąpienia błędów lub uszkodzenia, co z kolei może skutkować utratą danych. Dlatego biorąc pod uwagę wyniki benchmarków, warto rozważyć stosowanie RAID 10 (lub pochodnych – RAID 50 i 60, jeśli to możliwe).

TEST 5 – Kopiowanie plików SMB

Aby zweryfikować wydajność pracy dysków w praktyce, wykonaliśmy testy kopiowania plików na udział sieciowy. Pomiary wykonaliśmy poprzez kopiowanie plików na zamapowany udział sieciowy utworzony na QNAP. Użyliśmy woluminu cienkiego (Thin) o wielkości 500GB. Nie włączaliśmy i nie konfigurowaliśmy dodatkowych usług poza standardowo uruchomionymi na urządzeniu. Pliki były kopiowane na QNAP za pomocą oprogramowania systemowego robocopy.exe, które zapewniło ciągłość kopiowania, spójność testów oraz czytelne statystyki. W każdym z testów skopiowano 100GB w trzech konfiguracjach:

1. Kopiowanie 100 plików o wielkości 1GB każdy.
2. Kopiowanie 10 plików o wielkości 10GB każdy.
3. Kopiowanie 1 pliku o wielkości 100GB

Wszystkie pliki zostały wygenerowane przy użyciu polecenia fsutil file createnew. 

Jak widać dyski Kingston DC500M radzą sobie podobnie we wszystkich konfiguracjach niezależnie od tego, czy kopiujemy pojedynczy duży plik, czy większą liczbą mniejszych. Jedynym wyjątkiem było kopiowanie 10 plików po 10GB w konfiguracji RAID 5, gdzie całość trwała niemal dwukrotnie dłużej, niż w pozostałych przypadkach. Co ciekawe, RAID 10 wypadł tutaj znacząco lepiej niż RAID 0. Jeśli chodzi o transfery, zaobserwowaliśmy tutaj wartości od 860MB/s do prawie 1100MB/s, co pokazuje, że przy użyciu dysków DC500M jesteśmy w stanie skutecznie wykorzystać zalety sieci 10GbE.

Podsumowanie

Dyski Kingston DC500M to solidne rozwiązanie dla użytkowników szukających wydajnych i wytrzymałych dysków SSD. Podczas przeprowadzanych testów udało nam się osiągnąć wartości przepustowości i IOPS zbliżone do tych deklarowanych przez producenta, co weryfikowaliśmy przy użyciu kilku aplikacji badających wydajność dysków – CristalDiskMark, ATTO Disk Benchmark, IOmeter, AJA System Test oraz kopiowanie przez SMB. Dla wszystkich benchmarków przeprowadzonych za pomocą aplikacji (a więc poza testem SMB), sprawdzaliśmy zachowanie dysków skonfigurowanych do udostępnienia przestrzeni blokowo. W tym przypadku skorzystaliśmy z możliwości tworzenia blokowych LUN na QNAP, które następnie udostępniliśmy przez iSCSI 10GbE oraz FC 8Gbps. Oczywiście można zadać pytanie, dlaczego akurat blokowo i 10GbE – uznaliśmy, że w przypadku tego typu dysków zasadne będzie używanie ich nie tylko jako przestrzeni na dysku sieciowym NAS, ale także wykorzystanie jej jako storage dla środowisk wirtualizacji. Dlatego nasze testy wykonywane były z poziomu systemu Windows Serwer 2019, do którego przestrzeń była podłączona przez iSCSI i FC, po czym już w systemie sformatowana w systemie plików NTFS (jako podstawowym w środowisku Windows). Wyniki, które uzyskaliśmy podczas serii testów pokazują, jak wydajnymi dyskami są modele DC500M, więc bez żadnych obiekcji możemy je polecić każdemu, kto poszukuje dysków SSD do swojego serwera NAS. Dyski SSD mogą być wykorzystywane jako SSD cache oraz jako dyski storage’owe, jednak w przypadku DC500M, zdecydowanie polecamy tę drugą opcję, aby w pełni cieszyć się wysoką wydajnością. Na pewno warto też podkreślić, że jako dyski kierowane do zaawansowanych zastosowań, posiadają pięcioletnią gwarancję producenta, więc nie musimy obawiać się, że nie wytrzymają dłuższej pracy.

Podsumowując – zdecydowanie polecamy dyski Kingston DC500M.

Dziękujemy firmie Kingston za dostarczenie dysków do testu.

Uwaga

Testy zostały przeprowadzony w sposób niezależny. Firma Kingston nie płaciła za wykonanie testów jedynie dostarczyła cztery dyski, które zostały w naszym laboratorium. Wszystkie wyniki zostały uzyskane z założeniem określonej w treści metodyki badań w hermetycznym środowisku, dlatego mogą się nieznacznie różnić od wyników uzyskiwanych w innej konfiguracji sprzętowo-programowej. Spostrzeżenia własne autorów. Wszystkie materiały należą do autorów testu, chyba, że zaznaczono inaczej.