EMC przedstawiła wyniki badania o „Dużych zbiorach danych”

Firma EMC przedstawiła wyniki badania IDC Digital Universe „Big Data, Bigger Digital Shadows, and Biggest Growth in the Far East” („Duże zbiory danych, większy cyfrowy cień, największy wzrost na Dalekim Wschodzie”). Sponsorowane przez firmę EMC badanie wykazało, że choć cyfrowy wszechświat rośnie w nienotowanym dotąd tempie ze względu na  ogromne ilości danych codziennie tworzonych przez ludzi i urządzenia, w skali globalnej analizowanych jest zaledwie 0,5% informacji.

Dynamiczny rozwój rynku urządzeń cyfrowych, od komputerów po smartfony, coraz lepszy dostęp do Internetu na rynkach wschodzących oraz szybki wzrost ilości danych generowanych przez takie urządzenia, jak kamery monitoringu lub inteligentne liczniki, spowodował, że tylko w ciągu ostatnich dwóch lat cyfrowy wszechświat powiększył się dwukrotnie, do imponujących 2,8 zettabajtów (ZB). IDC prognozuje, że do roku 2020 wskaźnik ten osiągnie 40 ZB, czyli o 14 % więcej niż przewidywano wcześniej.

Z czym można porównać 40 zettabajtów? Oto kilka przykładów:

• Liczba ziaren piasku na wszystkich plażach świata wynosi 700 500 000 000 000 000 000 (czyli 700 trylionów 500 biliardów) – 40 zettabajtów to 57 razy więcej.
• Gdyby zapisać 40 zettabajtów danych na używanych obecnie dyskach Blue-ray, to bez kopert lub kaset, ważyłyby one tyle, co424 lotniskowce klasy Nimitz.
• W 2020 roku 40 zettabajtów danych będzie oznaczać, że na każdego mieszkańca świata przypadnie 5247 GB danych.

W tegorocznych badaniach firma IDC sprawdziła, skąd pochodzą informacje w cyfrowym wszechświecie, bądź gdzie zostały po raz pierwszy zgromadzone lub wykorzystane. Okazało się, że pod tym względem zachodzą obecnie duże zmiany. Badania Digital Universe, przeprowadzone już po raz szósty, obejmowały zwykle pomiary i prognozy dotyczące ilości informacji cyfrowych tworzonych i kopiowanych w ciągu roku. W najnowszej edycji uwzględniono również tzw. lukę wielkich zbiorów danych (Big Data Gap) czyli różnicę między potencjalną, a rzeczywiście wykorzystywaną wartością danych, porównanie wymaganego poziomu ochrony danych z rzeczywistym oraz rozkład geograficzny  danych tworzonych na całym świecie.

NAJWAŻNIEJSZE USTALENIA

• Szybki wzrost cyfrowego wszechświata. IDC przewiduje, że do 2020 roku cyfrowy wszechświat osiągnie wielkość 40 ZB, czyli więcej niż przewidywano wcześniej.
  • W latach 2012 do 2020 roku rozmiary cyfrowego wszechświata będą się podwajać co dwa lata.
  • W roku 2020 na każdego mieszkańca Ziemi będzie przypadać ok. 5247 GB danych.
  • Główną przyczyną ekspansji cyfrowego wszechświata jest wzrost ilości danych generowanych przez maszyny. W roku 2005 stanowiły one 11% wszystkich danych, natomiast w 2020 r. wskaźnik ten przekroczy 40%.
• Niewykorzystywanie dużych ilości użytecznych danych. Koncepcja Big Data umożliwia osiąganie korzyści z dużych, niewykorzystanych wcześniej zbiorów danych. Większość nowych danych stanowią jednak dane nieustrukturyzowane i nieotagowane – co znaczy, że niewiele o nich wiadomo.
  • W 2012 r. będzie można wykorzystać zgodnie z koncepcją Big Data 23% (tj. 643 eksabajtów) wszystkich danych, pod warunkiem, że zostaną one otagowane
    i przeanalizowane. Obecnie jednak zaledwie 3% potencjalnie użytecznych danych jest otagowanych, a jeszcze mniej – analizowanych.
  • Ilość użytecznych danych rośnie wraz z rozwojem cyfrowego wszechświata. Do 2020 roku 33% wszystkich danych (tj. ponad 13 000 eksabajtów) będzie można wykorzystać zgodnie z koncepcją wielkich zbiorów danych, o ile zostaną one otagowane i przeanalizowane.
• Brak ochrony znacznej części cyfrowego wszechświata. Ilość danych, które wymagają ochrony, rośnie szybciej niż sam cyfrowy wszechświat.
  • W 2010 r. ochrony wymagała mniej niż jedna trzecia danych cyfrowego wszechświata, ale w 2020 r. wskaźnik ten ma przekroczyć 40%.
  • W 2012 r. ochrony wymagało około 35% danych cyfrowego wszechświata, ale mniej niż 20% było rzeczywiście chronione.
  • Poziom ochrony danych zależy od regionu. Na rynkach wschodzących jest on znacznie niższy.

• Takie czynniki, jak zaawansowane zagrożenia, niedobór kwalifikacji w zakresie bezpieczeństwa informatycznego oraz nieprzestrzeganie najlepszych praktyk dotyczących bezpieczeństwa przez klientów indywidualnych i firmy będą nadal powodować problemy.

• Zmiana ról na mapie świata. Cyfrowy wszechświat był początkowo zjawiskiem specyficznym dla rozwiniętej części świata. Ostatnio ulega to zmianie, ponieważ szybko rośnie znaczenie rynków wschodzących.
  • W 2010 r. na rynki wschodzące przypadało tylko 23% cyfrowego wszechświata, ale już w 2012 – aż 36%.
  • IDC prognozuje, że do roku 2020 wskaźnik ten osiągnie 62%.
  • Udziały poszczególnych regionów w cyfrowym świecie obecnie przedstawiają się następująco: Stany Zjednoczone – 32%, Europa Zachodnia – 19%, Chiny – 13%, Indie – 4%, reszta świata – 32%.
  • W 2020 r. same tylko Chiny będą generować 22% wszystkich danych na świecie.

INNE WAŻNE WNIOSKI

• W zarządzaniu wielkimi zbiorami danych coraz większą rolę odgrywają technologie przetwarzania w chmurze. Przewiduje się, że w związku z tym liczba serwerów na całym świecie wzrośnie dziesięciokrotnie, a ilość informacji zarządzanych bezpośrednio przez centra przetwarzania danych w przedsiębiorstwach – czternastokrotnie.
• W ciągu najbliższych pięciu lat dużym zmianom ulegną również typy danych przechowywanych w chmurze. IDC prognozuje, że w 2020 roku 46,7% takich danych będzie związanych
  z rozrywką (nie będą to informacje przedsiębiorstw), natomiast pozostała część przypadnie na dane z systemów monitoringu, dane osadzone, informacje medyczne oraz dane generowane przez komputery, telefony i elektroniczne urządzenia domowe.
• Ilość przechowywanych w cyfrowym wszechświecie danych na temat użytkowników indywidualnych przekroczy ilość danych tworzonych przez nich samych.
• Obecnie najwięcej w zarządzanie cyfrowym wszechświatem inwestuje Europa Zachodnia, która przeznacza na ten cel 2,49 USD na gigabajt. Kolejne miejsca zajmują Stany Zjednoczone (1,77 USD/GB), Chiny (1,31 USD/GB) i Indie (0,87 USD/GB).
• Infrastruktura cyfrowego wszechświata jest coraz lepiej skomunikowana, więc informacje nie muszą i nie będą pozostawać w regionie, w którym są używane. IDC szacuje, że w 2020 roku około 40% danych będzie przetwarzane w chmurze. Oznacza to, że między miejscem pochodzenia i wykorzystania dane będą przechowywane lub przetwarzane w chmurze (publicznej i prywatnej).