[చైనా, షెన్‌జెన్, జూలై 14, 2023] ఈ రోజు, Huawei తన కొత్త AI స్టోరేజ్ సొల్యూషన్‌ను భారీ-స్థాయి మోడల్‌ల యుగం కోసం ఆవిష్కరించింది, ప్రాథమిక మోడల్ శిక్షణ, పరిశ్రమ-నిర్దిష్ట మోడల్ శిక్షణ మరియు సెగ్మెంటెడ్ దృశ్యాలలో అనుమితి కోసం సరైన నిల్వ పరిష్కారాలను అందిస్తుంది. కొత్త AI సామర్థ్యాలను ఆవిష్కరించడం.
పెద్ద-స్థాయి మోడల్ అప్లికేషన్‌ల అభివృద్ధి మరియు అమలులో, సంస్థలు నాలుగు ప్రధాన సవాళ్లను ఎదుర్కొంటాయి:
ముందుగా, డేటా తయారీకి అవసరమైన సమయం చాలా ఎక్కువ, డేటా మూలాధారాలు చెల్లాచెదురుగా ఉంటాయి మరియు అగ్రిగేషన్ నెమ్మదిగా ఉంటుంది, వందల కొద్దీ టెరాబైట్‌ల డేటాను ప్రీప్రాసెస్ చేయడానికి 10 రోజులు పడుతుంది. రెండవది, భారీ టెక్స్ట్ మరియు ఇమేజ్ డేటాసెట్‌లతో కూడిన బహుళ-మోడల్ పెద్ద మోడళ్ల కోసం, భారీ చిన్న ఫైల్‌ల కోసం ప్రస్తుత లోడింగ్ వేగం 100MB/s కంటే తక్కువగా ఉంటుంది, ఫలితంగా శిక్షణ సెట్ లోడింగ్ కోసం తక్కువ సామర్థ్యం ఉంటుంది. మూడవదిగా, అస్థిర శిక్షణా ప్లాట్‌ఫారమ్‌లతో పాటు పెద్ద మోడళ్ల కోసం తరచుగా చేసే పారామీటర్ సర్దుబాట్లు దాదాపు ప్రతి 2 రోజులకు శిక్షణ అంతరాయాలను కలిగిస్తాయి, శిక్షణను పునఃప్రారంభించడానికి చెక్‌పాయింట్ మెకానిజం అవసరం, రికవరీ ఒక రోజులో పడుతుంది. చివరగా, పెద్ద మోడళ్ల కోసం అధిక అమలు థ్రెషోల్డ్‌లు, సంక్లిష్టమైన సిస్టమ్ సెటప్, రిసోర్స్ షెడ్యూలింగ్ సవాళ్లు మరియు GPU వనరుల వినియోగం తరచుగా 40% కంటే తక్కువగా ఉంటుంది.
Huawei పెద్ద-స్థాయి మోడల్‌ల యుగంలో AI డెవలప్‌మెంట్ ట్రెండ్‌కు అనుగుణంగా ఉంది, వివిధ పరిశ్రమలు మరియు దృశ్యాలకు అనుగుణంగా పరిష్కారాలను అందిస్తోంది. ఇది OceanStor A310 డీప్ లెర్నింగ్ డేటా లేక్ స్టోరేజ్ మరియు FusionCube A3000 ట్రైనింగ్/ఇన్ఫరెన్స్ సూపర్-కన్వర్జ్డ్ అప్లయన్స్‌ని పరిచయం చేసింది. OceanStor A310 డీప్ లెర్నింగ్ డేటా లేక్ స్టోరేజ్ ప్రాథమిక మరియు పరిశ్రమ-స్థాయి పెద్ద మోడల్ డేటా లేక్ దృశ్యాలు రెండింటినీ లక్ష్యంగా చేసుకుంటుంది, డేటా అగ్రిగేషన్ నుండి సమగ్ర AI డేటా మేనేజ్‌మెంట్‌ను సాధించడం, మోడల్ శిక్షణకు ప్రిప్రాసెసింగ్ మరియు అనుమితి అప్లికేషన్‌లు. OceanStor A310, ఒకే 5U ర్యాక్‌లో, పరిశ్రమలో అగ్రగామి 400GB/s బ్యాండ్‌విడ్త్ మరియు 12 మిలియన్ IOPS వరకు, 4096 నోడ్‌ల వరకు లీనియర్ స్కేలబిలిటీతో, అతుకులు లేని క్రాస్-ప్రోటోకాల్ కమ్యూనికేషన్‌ని అనుమతిస్తుంది. గ్లోబల్ ఫైల్ సిస్టమ్ (GFS) డేటా అగ్రిగేషన్ ప్రక్రియలను క్రమబద్ధీకరించడం, ప్రాంతాల అంతటా తెలివైన డేటా నేయడం సులభతరం చేస్తుంది. నియర్-స్టోరేజ్ కంప్యూటింగ్ సమీప-డేటా ప్రీప్రాసెసింగ్‌ను గుర్తిస్తుంది, డేటా కదలికను తగ్గిస్తుంది మరియు ప్రీప్రాసెసింగ్ సామర్థ్యాన్ని 30% మెరుగుపరుస్తుంది.
FusionCube A3000 ట్రైనింగ్/ఇన్ఫరెన్స్ సూపర్-కన్వర్జ్డ్ అప్లయన్స్, పరిశ్రమ-స్థాయి పెద్ద మోడల్ శిక్షణ/అనుమతి దృశ్యాల కోసం రూపొందించబడింది, బిలియన్ల కొద్దీ పారామితులతో మోడల్‌లతో కూడిన అప్లికేషన్‌లను అందిస్తుంది. ఇది OceanStor A300 అధిక-పనితీరు గల స్టోరేజ్ నోడ్‌లు, శిక్షణ/అనుమతి నోడ్‌లు, స్విచ్చింగ్ పరికరాలు, AI ప్లాట్‌ఫారమ్ సాఫ్ట్‌వేర్ మరియు మేనేజ్‌మెంట్ మరియు ఆపరేషన్ సాఫ్ట్‌వేర్‌లను ఏకీకృతం చేస్తుంది, పెద్ద మోడల్ భాగస్వాములకు వన్-స్టాప్ డెలివరీ కోసం ప్లగ్-అండ్-ప్లే విస్తరణ అనుభవాన్ని అందిస్తుంది. ఉపయోగించడానికి సిద్ధంగా ఉంది, ఇది 2 గంటల్లో అమలు చేయబడుతుంది. శిక్షణ/అనుమతి మరియు నిల్వ నోడ్‌లు రెండూ వివిధ మోడల్ స్థాయి అవసరాలకు సరిపోయేలా స్వతంత్రంగా మరియు అడ్డంగా విస్తరించబడతాయి. ఇంతలో, FusionCube A3000 GPUలను పంచుకోవడానికి బహుళ మోడల్ శిక్షణ మరియు అనుమితి పనులను ఎనేబుల్ చేయడానికి అధిక-పనితీరు గల కంటైనర్‌లను ఉపయోగిస్తుంది, వనరుల వినియోగాన్ని 40% నుండి 70%కి పెంచింది. FusionCube A3000 రెండు సౌకర్యవంతమైన వ్యాపార నమూనాలకు మద్దతు ఇస్తుంది: Huawei Ascend One-Stop Solution మరియు ఓపెన్ కంప్యూటింగ్, నెట్‌వర్కింగ్ మరియు AI ప్లాట్‌ఫారమ్ సాఫ్ట్‌వేర్‌తో థర్డ్-పార్టీ భాగస్వామి వన్-స్టాప్ సొల్యూషన్.
Huawei యొక్క డేటా స్టోరేజ్ ప్రోడక్ట్ లైన్ ప్రెసిడెంట్, జౌ యుఫెంగ్, “పెద్ద-స్థాయి మోడల్స్ యుగంలో, డేటా AI మేధస్సు యొక్క ఎత్తును నిర్ణయిస్తుంది. డేటా యొక్క క్యారియర్‌గా, AI పెద్ద-స్థాయి మోడల్‌లకు డేటా నిల్వ కీలకమైన పునాది అవస్థాపన అవుతుంది. Huawei డేటా స్టోరేజ్ ఆవిష్కరణలను కొనసాగిస్తుంది, AI పెద్ద మోడళ్ల యుగం కోసం విభిన్న పరిష్కారాలు మరియు ఉత్పత్తులను అందిస్తుంది, విస్తృత శ్రేణి పరిశ్రమలలో AI సాధికారతను పెంచడానికి భాగస్వాములతో సహకరిస్తుంది.
పోస్ట్ సమయం: ఆగస్ట్-01-2023
