[Kinija, Šendženas, 2023 m. liepos 14 d.] Šiandien „Huawei“ pristatė savo naują AI saugyklos sprendimą, skirtą didelio masto modelių erai, teikiantį optimalius saugojimo sprendimus pagrindiniam modelių mokymui, konkrečios pramonės modelių mokymui ir išvadoms pagal segmentuotus scenarijus. atskleidžia naujas AI galimybes.
Kurdamos ir įgyvendindamos didelio masto modelių programas, įmonės susiduria su keturiais pagrindiniais iššūkiais:
Pirma, duomenų paruošimo laikas yra ilgas, duomenų šaltiniai yra išsklaidyti, o kaupimas vyksta lėtai – šimtų terabaitų duomenų išankstinis apdorojimas trunka apie 10 dienų. Antra, daugiarūšių didelių modelių su didžiuliais teksto ir vaizdų duomenų rinkiniais dabartinis didelių mažų failų įkėlimo greitis yra mažesnis nei 100 MB/s, todėl mokymo rinkinio įkėlimo efektyvumas yra mažas. Trečia, dažnas didelių modelių parametrų koregavimas kartu su nestabiliomis treniruočių platformomis sukelia treniruočių pertraukas maždaug kas 2 dienas, todėl norint atnaujinti treniruotes reikia naudoti „Checkpoint“ mechanizmą, o atsigavimas trunka ilgiau nei dieną. Galiausiai, dideli didelių modelių diegimo slenksčiai, sudėtinga sistemos sąranka, išteklių planavimo iššūkiai ir GPU išteklių panaudojimas dažnai mažesnis nei 40%.
„Huawei“ prisitaiko prie DI plėtros tendencijų didelio masto modelių eroje, siūlydama sprendimus, pritaikytus skirtingoms pramonės šakoms ir scenarijams. Jame pristatoma „OceanStor A310 Deep Learning Data Lake Storage“ ir „FusionCube A3000 Training/Inference Super-Converged Appliance“. „OceanStor A310 Deep Learning Data Lake Storage“ skirta tiek pagrindiniams, tiek pramonės lygio didelio modelio duomenų ežero scenarijams, siekiant visapusiško AI duomenų valdymo nuo duomenų kaupimo, išankstinio apdorojimo iki modelio mokymo ir išvadų taikymo. „OceanStor A310“ vienoje 5U talpos stelaže palaiko pramonėje pirmaujantį 400 GB/s pralaidumą ir iki 12 mln. IOPS, su linijiniu masteliu iki 4096 mazgų, leidžiančių sklandžiai bendrauti tarp protokolų. Visuotinė failų sistema (GFS) palengvina išmanų duomenų pynimą įvairiuose regionuose ir supaprastina duomenų kaupimo procesus. Beveik saugyklos kompiuterija realizuoja beveik duomenų išankstinį apdorojimą, sumažina duomenų judėjimą ir padidina išankstinio apdorojimo efektyvumą 30%.
„FusionCube A3000“ mokymo/išvadų superkonverguotas prietaisas, sukurtas pramonės lygio didelių modelių mokymo / išvadų scenarijams, tinka programoms, apimančioms modelius su milijardais parametrų. Jame integruoti „OceanStor A300“ didelio našumo saugojimo mazgai, mokymo / išvados mazgai, perjungimo įranga, AI platformos programinė įranga ir valdymo bei valdymo programinė įranga, todėl dideli modelio partneriai gali naudotis „plug-and-play“ diegimo patirtimi, kad pristatymas būtų vienu langeliu. Paruoštas naudoti, jį galima panaudoti per 2 valandas. Tiek mokymo / išvados, tiek saugojimo mazgai gali būti atskirai ir horizontaliai išplėsti, kad atitiktų įvairius modelio masto reikalavimus. Tuo tarpu „FusionCube A3000“ naudoja didelio našumo konteinerius, kad būtų galima atlikti kelių modelių mokymo ir išvadų užduotis, kad būtų galima dalytis GPU, o resursų panaudojimas padidėja nuo 40% iki daugiau nei 70%. „FusionCube A3000“ palaiko du lanksčius verslo modelius: „Huawei Ascend One-Stop Solution“ ir trečiosios šalies partnerio vieno langelio sprendimą su atvira kompiuterija, tinklų kūrimu ir AI platformos programine įranga.
„Huawei“ duomenų saugojimo produktų linijos prezidentas Zhou Yuefengas teigė: „Didelio masto modelių eroje duomenys lemia AI intelekto aukštį. Kaip duomenų nešėjas, duomenų saugykla tampa pagrindine didelio masto AI modelių infrastruktūra. „Huawei Data Storage“ ir toliau diegs naujoves, teikdama įvairius sprendimus ir produktus, skirtus didelių dirbtinio intelekto modelių erai, bendradarbiaudama su partneriais, siekdama suteikti AI galių įvairiose pramonės šakose.
Paskelbimo laikas: 2023-01-01
