Inona no atao hoe Foibe Angon-drakitra AI? [Lahatsary sy Quiz]

Valiny fohy: Toerana be mpampiasa ny foibe angon-drakitra AI izay mifantoka amin'ny herinaratra, fampangatsiahana, lamba ary fitahirizana amin'ny modely fiofanana sy fanompoana, fa tsy efitrano mpizara misy GPU fanampiny. Ny puce no malaza; ny trano no manapa-kevitra raha miasa izy ireo. Raha tsy afaka miala ny sary, dia amboary ny sela kely; ny ankamaroan'ny ekipa dia tokony hanofa.

Hevi-dehibe azo tsoahina:

Potipoti-javatra vs. fanamboarana: Ny herinaratra, ny fampangatsiahana, ny lamba ary ny fitahirizana no mamaritra raha miasa ireo accelerator.

Toerana fa tsy lapa: Amboary ny talantalana roa rehefa tsy afaka miala ny angona; aza mividy toeram-pianarana.

Salan'isa vs mediana: Amin'ny fihodinana valo, miverina indray ny salan'isa; ampiasao ny salan'isa 18 ora.

Fanoherana ny fampiasana diso: Aza manonona PUE ho an'ny talantalana roa ao anaty efitrano mifangaro.

Vokatra maneho ohatra: Sarintany kely ny fihodinana valo, fa tsy fitsitsiana 50% amin'ny famokarana.

Lahatsoratra mety ho tianao hovakiana aorian'ity iray ity:

🔗 Azo ianteherana ve ny AI? Lahatsary sy fanontaniana
Mikaroha ny fahatokisana ny AI amin'ny alàlan'ny horonan-tsary mahasarika sy fanontaniana ifandrimbonana.

🔗 Ahoana ny fampiasana ny AI eo amin'ny fiainana andavanandro
Mitadiava fomba azo ampiharina ahafahan'ny AI manatsotra ny asa sy ny fahazarana andavanandro.

🔗 Ahoana ny fampiasana ny AI any am-piasana
Mianara fomba azo ampiharina hampiasana ny AI mba hahazoana vokatra tsara kokoa any am-piasana.

🔗 Afaka mieritreritra ho an'ny tenany ve ny AI?
Fantaro raha tena afaka mieritreritra irery na misaina marina ny faharanitan-tsaina artifisialy.

Ny maha-samy hafa azy amin'ny foibe angon-drakitra "mahazatra"

Ireo efitrano nentim-paharazana dia manatsara ny fiasan'ny asa mifangaro sy ny fotoana fiasana amin'ny serivisy kely maro. Miahy ny redundancy ianao, mazava ho azy, ary ny PUE amin'ny maha-hevitra azy - angovo fanampiny lanin'ny tranobe mba hanomezana kajy watt iray. Matetika ianao dia tsy mamolavola ny lalantsara rehetra manodidina ny fitoeran-javatra izay mitondra tena toy ny toeram-pamokarana hafanana azo entina.

Mamadika ny tahan'ny fampiasana ireo tranonkala AI. Mitombo ny hakitroky. Lasa toy ny lamba ny tambajotra ka tsy afaka miasa tsara ny asa fanofanana raha tsy misy izany. Tsy maintsy miasa ny toeram-pisavana mba hampandeha tsara ireo toeram-pisavana, raha tsy izany dia mijanona tsy miasa ireo "accelerators", toy ny soavaly hazakazaka ao anaty fitohanan'ny fifamoivoizana.

Misy fahasamihafana ara-kolontsaina ihany koa. Ny mpiasan'ny orinasa dia mieritreritra ny tapakila sy ny varavarankely fanovana. Ny mpiasan'ny AI kosa mieritreritra ny filaharan'ny asa ary ny fahatsapana ho marary rehefa maty tara ny node iray. Heveriko fa mbola azonao antsoina hoe "foibe angon-drakitra" ireo roa ireo satria izany tokoa. Ny marika dia manafina fotsiny ny fantson-drano.

Tsy laharana ara-moraly. Milina samihafa, anaram-pianakaviana iray ihany.

GPU, accelerators, ary ny rack izay mandany herinaratra

Raha mandeha amin'ny rihana avo nentim-paharazana ianao dia ho toa tsara tarehy ireo talantalana. Raha mandeha amin'ny laharana AI ianao dia ho toy ny te-hitelina ilay tranobe izy ireo.

Tsy CPU kinga ny fitaovana miavaka. Ny "accelerator tray" no misy azy: GPU na puce AI hafa, fonosina ao anaty serveur, avy eo racks, avy eo andalana izay mizara "high-bandwidth fabric". Mampifandray ireo puce ny GPU ho zavatra izay mety hiseho ho "accelerator" goavambe iray; ny "cluster fabric" kosa dia manao toy izany koa amin'ny ambaratonga andalana. Ny fiofanana mifanitsy dia miasa raha toa ka mijanona ho matevina sy azo vinavinaina ireo rohy ireo. Raha very izany dia ho lasa antontam-piasana lafo vidy mizara kaody paositra ny "cluster"-nao.

Ny herinaratra no manaraka ny puce. Tsy PDU birao matevina. Megawatts amin'ny enta-mavesatry ny IT rehefa feno ny efitrano iray - tsy hamorona isa aho. Ny hakitroky ny rack isaky ny rack no fiovana eo amin'ny tantara. Rack vitsy kokoa. Fatana kely ny tsirairay. Ny anton-javatra mametra matetika dia ny substation, fa tsy ny lisitry ny GPU irin'ny olona. Fantatrao tsara izany: ny mpividy dia mila accelerators bebe kokoa; ny orinasa mpamatsy herinaratra kosa dia mila resaka lava sy seky lehibe.

Fanoharana somary adaladala iray tsy azoko lavina: biby noana ny fitoeran-javatra. Afaka miteraka haingana kokoa ianao. Mbola tsy maintsy mamahana azy ianao, ary mbola tsy maintsy manala ny hafanana. Raha tsy misy iray amin'izy ireo dia ho lasa fitaovana fanindriana taratasy lafo vidy izany.

Herinaratra, hafanana ary olana amin'ny fampangatsiahana

Herinaratra miditra. Fanafanana mivoaka. Izany no fivavahana iray manontolo.

Ireo fitoeran-javatra matevina dia mamoaka hafanana amin'ny fomba tsy tena nasaina nitantanana ny rivotra mihitsy. Azonao atao ny manosika ny rivotra mafy kokoa - ireo mpanova hafanana ao amin'ny varavarana aoriana, ireo lalantsara mafana kokoa, ireo fifehezana marani-tsaina - ary izany dia miasa hatramin'ny teboka iray. Avy eo dia miseho ny ranoka:

• Fampangatsiahana mivantana amin'ny puce

• Tady mampitony izay mahatonga ny efitrano fiompiana ho toy ny fiasan'ny simika

• Fidirana lalina ao anatin'ny endrika vitsivitsy, izay mbola mahagaga ny olona izay mihevitra fa tsy tokony hizara fehezanteny ny rano sy ny mpandroso sakafo

Tsy misy mahafinaritra ireo rehetra ireo. Vokatra avokoa izany rehetra izany, satria ny "accelerator" izay mampiadana ny fiara dia efa naloanao vola ary tsy azonao ampiasaina tanteraka.

Mbola zava-dehibe ny PUE. Tahan-kajy io, fa tsy toetra. Mikatsaka izany ny mpandraharaha satria ny watt rehetra laniana amin'ny mpankafy sy paompy dia watt iray izay tsy mankany amin'ny GPU. Tsy hanonona tarehimarika "mahazatra" aho; ny toetrandro sy ny fomba fanoratanao ny fetra no manova azy, ary ny fahamarinan-toerana sandoka dia ratsy kokoa noho ny tsy misy mihitsy. Mipetraka ao an-tsaina koa ny rano. Misy zavamaniry misotro. Misy mitelina. Mahomby ny fampangatsiahana amin'ny alalan'ny etona mandra-pahatongan'ny renirano na ny hain-tany mahatonga azy ho politika

Tambajotra: nahoana ny lamba no zava-dehibe toy ny poti-javatra

Maka sary ny GPU ny olona. Tokony haka sary ny switch koa izy ireo.

Resadresaka ny fiofanana. Mpandrindra akseleratora an'arivony mifanakalo gradients, parameters, sombintsombin'ny modely, ao anatin'ny sync akaiky. Raha mihozongozona ny lamba, dia miandry amin'ny fitsambikinana miadana indrindra ny asa manontolo. Izany no mahatonga ny AI ho variana amin'ny tambajotra bandwidth avo lenta, latency ambany, ary topolojia izay tsy mivalona antsasany rehefa tsy mahomby ny rohy. Lamba toy ny InfiniBand, Ethernet amin'ny andraikitra mitovy, GPU mifandray ao anaty boaty, tariby izay tsy maintsy marina amin'ny voalohany.

Resaka hafa ny fanatsoahan-kevitra. Ny serivisy modely dia miahy ny fahatarana amin'ny rambony - ny valiny miadana, fa tsy ny valiny antonony. Ny batch vs real-time dia mampisaraka ny toetra. Ny vondrona fiofanana dia maniry hetsika matanjaka, mitambatra, ary mitovy amin'ny rehetra. Ny andian-tsambo manompo kosa dia maniry fangatahana kely kokoa sy fitokana-monina maro, tsy misy fitohanan'ny fifamoivoizana eo amin'ny enta-mavesatra.

Ilay rangahy, raha mbola eto aho: raisin'ny olona ho toy ny fantson-drano ny tambajotra ary ny ovy endasina ho toy ny trano fisakafoanana. Ato amin'ity trano ity, ny fantson-drano no trano fisakafoanana. Raha tsy izany dia mividy lakozia tsy afaka mandray fanaterana ianao.

Fiofanana vs. fanatsoahan-kevitra: tranobe roa, indraindray ara-bakiteny

Fampielezan-kevitra ny fiofanana. Manangona vondrona ianao, mameno azy ny angon-drakitra, manamarina tsara ny toe-javatra, miasa mandritra ny ora maro na herinandro maromaro, ary mivavaka mba tsy hisy olana. Be dia be ny andiany, mila bandwidth betsaka, manam-paharetana mangina - mandra-pahatongan'ny node tsy miasa. Ny accelerator iray maty amin'ny asa mifamatotra mafy dia mety hampijanona ny fiverenana manontolo.

Toy ny fivarotana ny "inference". Efa voaofana ireo modely, mamaly fanontaniana, manasokajy sary, ary mamorona lahatsoratra. Zava-dehibe ny "latency". Ny "accelerator" tranainy kokoa akaikin'ny mpanjifa dia afaka mandresy ny iray mahafinaritra any amin'ny kaontinanta lavitra.

Koa mahazo fisarahana ianao. Ireo toeram-piofanana dia mikatsaka ny fahefana, ny tany ary ny hakitroky. Ireo toerana fanaovana tsoa-kevitra kosa dia mikatsaka ny fahatarana sy ny fisiana. Misy ihany koa ireo efitrano mifangaro, satria tsy tsy manam-petra ny renivola. Eny - tsy tranobe roa foana. Indraindray efitrano iray misy tady volory sy tadivavarana roa mangatsiaka.

Eto koa no misy ny colocation, hyperscale campuses, ary on-prem fork. Miorina amin'ny mizana ny hyperscalers izay mahatonga antsika rehetra ho toy ny mandamina fanaka. Mivarotra ny hakitroky ny Colos isaky ny rack. Mbola mitranga ihany ny on-prem rehefa tsy afaka miala ny angona.

Fahafahana mampiasa ny fitahirizana, toerana fanamarinana, ary "hungry chips"

Tsy misy olona mametraka ny rafitra rakitra mifanitsy eo amin'ny fonon'ny bokikely.

Tsy maintsy tonga haingana ny angon-drakitra fiofanana mba tsy hihetsehan'ny GPU. Tsy maintsy apetraka ireo toeram-pisavana mba tsy handany herinandro ny fianjerana. Tsy maintsy ampidirina ny lanjan'ny modely alohan'ny hampiasana ny dika mitovy. Ny fahafahan'ny fitahirizana - tsy ny fahafaha-mitahiry fotsiny - no sakana mangina. Afaka mandany vola be amin'ny accelerators ianao ary mandany azy ireo amin'ny alàlan'ny array tsara natao ho an'ny milina virtoaly.

Mahazatra ny lamina: vondrona mamirapiratra, filaharana asa, ary fiandrasana I/O izay mijery toy ny faktiora tsy mahalala fomba. Ny fampivondronana kajy nefa tsy mampivondrona ny lalan'ny angona no fomba ahazoanao idle lafo vidy. Tazomy ho voky ny puce na miaiky fa nividy sary sokitra ianao.

Rindrambaiko, fandaminana, ary ny sosona ops tsy dia manintona loatra

Ny fitaovana elektronika no malaza. Ny mpanao fandaharam-potoana no manao ny asa.

Tsy misy ilana azy ny foibe angon-drakitra AI raha tsy mahita GPU ny asa, raha tsy afaka mizara vondrona iray ny ekipa roa raha tsy mifamaly totohondry, raha tsy azo soloina ny laharana tsy nahomby, raha mihetsika miadana ny firmware mandra-pahatongan'ny tsy fahombiazan'ny rafitra. Fandrindrana, fahafahana mandinika, fameperana herinaratra - ny sosona ops tsy manintona, izay no ahafantaranao fa zava-dehibe izany.

Manana toerana malemy ho an'ity sosona ity aho. Ary koa, rehefa mody miseho ho olana amin'ny fampangatsiahana mandritra ny tolakandro ny NIC tsy voalamina tsara... dia ho hitanao amin'ny fomba sarotra izany.

Rehefa maty ny node iray eo afovoan'ny fampiasana

Maty ny node iray. Mbola mifandona amin'ny fiofanana izay tsy miraharaha ny kalandrieo ny varavarankely fanovana. Mandamina asa lehibe ianao, manakatona ny dobo fanatsoahan-kevitra, manoratra boky fanatsoahan-kevitra ho an'ny tsy fahombiazana izay toa "miadana ny asa" mandra-pahatongan'ny hoe "tsy miasa intsony ny asa." Mbola zava-dehibe ny famerimberenana - herinaratra, fampangatsiahana, lalana, fitahirizana - saingy tsy dia milamina loatra ny fomba tsy fahombiazana raha oharina amin'ny slide sivy ora fiasana taloha. Fanatsoahan-kevitra: kopia, tatatra ny node marary, tohizo ny valiny. Ny fiofanana dia mitady toeram-pisavana, fa tsy fanantenana.

Toerana, rano, tambajotra, ary mpiara-monina

Tsy mametraka na dia iray aza amin'ireto eo akaikin'ny trano bongo mba hahazoana ny fomba fijery mahafinaritra.

Matetika ny fifandraisana amin'ny tambajotra no dingana tena izy amin'ny fisafidianana toerana. Mora kokoa ny tany raha oharina amin'ny toby famokarana herinaratra sy orinasa mpamatsy herinaratra izay manana mpanjifa hafa. Ny rano fampangatsiahana, raha ampiasainao izany, dia lasa olana ho an'ny mpiara-monina raha vao be ny rotsakorana. Tabataba. Habetsahana hita maso. Hafanana eo amin'ny fefy sisin-tany. Ny komitin'ny fandrindrana dia mahita hevitra momba ny "rahona" raha vao mila saha sy renirano izy.

Mifanohitra amin'izany kosa ny fahatarana. Tian'ny inference ny akaiky ny mpampiasa sy ny fifandraisana. Mety hiafina any amin'ny tsena herinaratra mora kokoa sy any amin'ny toetr'andro mangatsiaka kokoa ny fiofanana. Miresaka toy ny hoe misy toerana tonga lafatra iray ny indostria. Tsy misy izany. Misy marimaritra iraisana amin'ny famoahana an-gazety.

Hafanana sisa tavela sy ny lafaoro tsy nasaina

Tian'ireo bokikely ity ampahany ity. Ampidiro ao an-trano, dobo filomanosana, trano maitso ny hafanan'ny fako; fehezanteny mahafinaritra izany. Indraindray dia tena izy ny fihodinan'ny distrika. Indraindray ny toeram-pianarana dia eo amin'ny toerana tsy mety ary mbola miakatra eny amin'ny rivotra ihany ny hafanana. Misalasala amin'ny dikan-teny bokikely aho; tsy misalasala amin'ny fizika aho.

Iza no mila iray (ary iza no tokony hanofa azy)

Tsy voatery hanana iray amin'ireny efitrano ireny ny ankamaroan'ny olona.

Ny lisitra fohy:

• Hyperscalers, satria ny vokatra dia andian-tsambo

• Laboratoara, rehefa ny fotoana filaharana no sakana, na tsy afaka miala ny angona

• Mety ho mitombina ny banky, vondrona hopitaly, governemanta, na mpanamboatra manana angon-drakitra miafina - eo an-toerana na tranom-borona manokana, na dia hadalana aza izany

Tokony hofaina daholo ny hafa. Colocation miaraka amin'ny hakitroky ny AI-ready. Famandrihana rahona. Cluster tantanana. Mahazo ny accelerators ianao nefa tsy lasa mpitantana ny orinasa mpamokatra herinaratra. Mihena ny fitiavana rehefa misy olona manontany voalohany hoe iza no miasa amin'ny coolant loop amin'ny 3 maraina.

Misy zavatra rehareha, hiaiky aho. Ny fananana ny vondrona dia toy ny fananana ny fomba faminaniana. Avy eo dia tonga ny faktioran-jiro, ary mipetraka ny vondrona.

Inona no antony nanaovana ny tranobe

Koa inona àry ny Foibe Angon-drakitra AI? Toeram-pianarana manokana sy be mponina izay ahitana ireo fitaovana fampandehanana herinaratra, herinaratra, fampangatsiahana, fitaovana ary fitahirizana mifototra amin'ny maodely fiofanana sy fanompoana - fa tsy IT ankapobeny misy GPU eo an-jorony. Toy ny trano fitehirizana entana izy io. Mitondra tena toy ny toby famokarana herinaratra izay manao kajy.

Raha tsy mahatadidy zavatra hafa ianao: ny "chips" no malaza; ny "substation", ny "coolant", ary ny tambajotra no mamaritra raha hevitra tsara ireo "chips" ireo. Ny fiofanana sy ny fanatsoahan-kevitra dia mety hizara tafo iray; mbola mila fomba samihafa ihany izy ireo. Ny ankamaroan'ny fikambanana dia tokony hanofa. Ny vitsivitsy kosa dia tokony hanorina. Ny mpiara-monina dia ho tsikaritry ny fomba roa.

Nanana trano foana ny rahona. Amin'izao andro izao dia manana ny heviny ny trano.

Ohatra tena misy: Sela fiofanana misy fitoeran-javatra roa rehefa tsy afaka miala ireo sary

Tantara

Tomos no mpitarika ny fotodrafitrasa ao amin'ny Kestrel Precision, orinasa mpamokatra herinaratra misy olona 400 ao West Midlands. Efa manana efitrano kely eo an-toerana izy ireo: ERP, fizarana rakitra, milina virtoaly, ny manodidina mifangaro izay natombok'ity lahatsoratra ity. Fampangatsiahana amin'ny rivotra. Ethernet tsotra. SAN izay tena tsara ho an'ny kapila birao.

Mila mampiofana modely fanaraha-maso amin'ny sary avy amin'ny orinasa ny ekipa mahita milina. Tsy afaka miala ny toerana ireo sary ireo. Mampiseho dingana iray izay tsy hapetraky ny orinasa amin'ny kapila rahona izy ireo, na dia kapila manokana aza. Ny vahaolana avy amin'ny Procurement dia mpizara roa-accelerator efatra sy slide iray mitondra ny lohateny hoe "ny foibem-pandraisana angon-drakitra AI anay". Ireo mpizara dia miditra ao anaty fitoeran-javatra roa efa misy, satria misy toerana malalaka, ary toa voafetra ny toerana.

Tsy izany anefa. Tao anatin'ny tapa-bolana dia toa be atao ireo GPU ary avy eo dia mihena moramora. Mihena ny asa rehefa misy toeram-pisavana mamely ny SAN. Maty ny node amin'ny ora fahiraika ambin'ny folo ary lasa fotsiny ny... asa. Tsy diso fanantenana nividy puce i Tomos. Nividy antontam-piasana lafo vidy maro izay mizara kaody paositra izy. Mbola efitrano fiasana ihany ilay tranobe.

Tsy mila toeram-pianarana, toby vaovao, na renirano izy ireo. Mila sela kely izay miasa toy ny foibe angon-drakitra AI kely izy ireo: herinaratra izay azon'ny fitoeran-javatra tazonina, hafanana izay miala tsy mila mahandro ny poti-javatra, lamba izay azon'ny asa fiofanana resahina, fitahirizana izay afaka mandray toerana fanamarinana, ary boky torolalana rehefa maty ny node. Satria tsy afaka miala ny sary, dia tsy vahaolana ny fanofana tranom-borona efapolo minitra miala eo. Ny fanavaozana fitoeran-javatra roa no vahaolana.

Izay ilain'ny sela

• Teti-bola voarefy amin'io laharana io, avy amin'ny PDU, fa tsy avy amin'ny lisitry ny GPU irina. Raha tsy afaka mamahana ireo mpizara efatra amin'ny fotoana fampiofanana ny fahafaha-mitahiry fanampiny, dia mijanona eo ny resaka ary mijery loko matevina kokoa izy ireo, fa tsy fahagagana

• Tsy nasaina nikarakara ny fampangatsiahana ny rivotra tamin'ity hakitroky ity mihitsy: mpanova hafanana eo am-baravarana aoriana raha afaka mandray azy ireo ny efitrano, na tadivavarana kely misy rano raha afaka mandray izany. Raha tsy izany, dia tsy miditra ny mpizara

• Fitaovana natokana ho an'ny fifandraisana amin'ny bandwidth avo lenta eo anelanelan'ireo "nodes" efatra, fa tsy ny Ethernet birao. Raha manana "switch" 10 Gb fotsiny ao amin'ny katalaogin'ny mpivarotra, dia tsy "cluster" izany

• Fitehirizana haingana eo an-toerana ho an'ny toeram-pisavana sy ny shards fiofanana, fa tsy ny VM SAN

• Fandaharam-potoana, elanelam-potoana fanamarinana, ary lalana fanombohana an-tsoratra. Ny fitaovana no malaza. Ity sosona ity no asa

• Boaty fanatsoahan-kevitra voafefy ho an'ny tsipika orinasa, misaraka amin'ny resaka fiofanana, satria ny fanompoana dia mila fahatarana sy fitokana-monina, fa tsy fiaraha-miasa

• Fahazoan-dalana handraisana an-tsoratra ny herinaratra, ny famantaranandro GPU, ny hetsika throttle, ary ny famantaranandro asa. Raha tsy afaka mijery ireo izy ireo dia haka sary ny GPU ary tsy hahita ny switch

Ohatra amin'ny toromarika

Ambaran'i Tomos ao amin'ny famintinana ny momba ny fotodrafitrasa izany, amin'ny fiteny tsotra:

Aza antsoina hoe toeram-piofanana AI ity. Manangana sela fiofanana misy rack roa ao amin'ny efitrano efa misy ho an'ny mpizara roa-accelerator efatra. Mijanona eo an-toerana ny sarin'ny orinasa. Ny fahombiazana dia: ireo node efatra dia mamita fomba fiasa fiofanana fanaraha-maso 12-epoch tsy misy throttle mafana, manoratra toeram-pisavana ao anatin'ny minitra fa tsy am-polony minitra, ary manohy avy amin'io toeram-pisavana io rehefa mamono laharana iray isika. Ny fampangatsiahana dia tsy maintsy mitazona ny GPU amin'ny famantaranandro fiofanana. Ny tambajotra dia tsy maintsy ho lamba iraisan'ireo boaty efatra ireo, fa tsy lalana mandalo ny biraon'ny birao. Ny fitahirizana dia tsy maintsy mamahana ny puce. Raha tsy mifanaraka ny mpanova hafanana varavarana aoriana, dia lazao izany ary ajanony. Aza manonona PUE ho an'ny rack roa ao amin'ny efitrano mifangaro. Izany isa izany dia ho teatra.

Dia apetrany ao anatin'ny asa fiofanana mihitsy ity:

Manatona toeram-pisavana isaky ny 30 minitra mankany amin'ny toerana fisamborana haingana eo an-toerana. Raha maty ny laharana iray, dia atombohy amin'ny toeram-pisavana farany. Aza miandry ny SAN. Aza manohy fanazaran-tena raha mbola mihena ny famantaranandro noho ny hafanana. Raketo izany ary ajanony mba hahafahantsika mahita ny fiatoana.

Toy izao ny endriky ny ora tsara: ny GPU valo rehetra dia eo amin'ny famantaranandro fiofanana, ny rakitra fanamarinana dia mipetraka, ny asa dia mbola mitohy. Toy izao ny endriky ny ora ratsy: ny mpankafy dia mihorakoraka mafy, ny famantaranandro dia tapitra, ny 2% amin'ny fanamarinana dia voasoratra rehefa afaka folo minitra, ary misy olona ao amin'ny birao milaza hoe "miakatra ny cluster". Ny fiakarana dia tsy fiofanana.

Ahoana ny fomba fitsapana azy

Manoratra ny fitsapana izy ireo alohan'ny fanavaozana, izay no antony tsy itokisana ny demo.

• Ny fomba fahandro 12-vanim-potoana mitovy, sary fanaraha-maso 120.000 mitovy, fihodinana valo

• Miankina amin'ny famantaranandro ny fotoana mandra-pahavitan'ny fomba fahandro, anisan'izany ny fanombohana indray, refesina manomboka amin'ny fandefasana asa ka hatramin'ny toerana fanamarinana farany amin'ny vanim-potoana faha-12

• Fandalovana ny hafanana: Mijanona amin'ny tanjona fampiofanana ny famantaranandro GPU mandritra ny hazakazaka. Tsy mahomby ny hetsika throttle na dia vita aza ny asa amin'ny farany

• Fampidirana amin'ny fitahirizana: fotoana fanoratana, salan'isa ary ratsy indrindra, avy amin'ny lisitry ny asa

• Fampiharana amin'ny lamba: tsy miandry miaraka ny asa raha mbola salama ny mpiasa. Raha tsy hitan'izy ireo izany fiandrasana izany dia tsy vita ny fitaovana

• Roa amin'ireo hazakazaka valo no maty laharana iray amin'ny dingana raikitra, niniana natao, mba hitsapana ny lalana fanombohana indray

• Fitsapana sary 200 misaraka ny fanatsoahan-kevitra, manomboka amin'ny tsipika orinasa mankany amin'ny boaty fanompoana voafefy. Ny fahombiazan'ny fiofanana dia tsy isaina ho fahombiazana amin'ny fanompoana

• Mirakitra ny herin'ny PDU ao anatin'ny santionany 15 minitra izy ireo ka tsy misy olona mila mamorona megawatt

Fanekena ny fiantsoana ny sela hoe "vonona amin'ny AI": 8 amin'ny fomba fahandro 8 no vita; 0 amin'ny 8 no mampiseho ny fiakaran'ny mari-pana; samy mitohy indray ny asa maty; mijanona ao anatin'ny minitra vitsy ny toeram-pisavana. Raha tsy mahatratra izany izy ireo dia mbola manana efitrano mpizara misy karatra grafika tsara tarehy.

vokany

Vokatra fanoharana, avy amin'ny fitsapana namboarina misy hazakazaka valo, fa tsy tarehimarika Kestrel navoaka.

Fiheverana: mpizara roa-accelerator efatra ao anaty racks roa; modely fanaraha-maso iray; sary mihetsika 120,000; fihodinana valo amin'ny fomba fahandro 12-epoch raikitra; ny famantaranandro dia misy ny fanombohana indray mandra-pahavitan'ny fomba fahandro; ny throttle dia midika hoe fiatoana voarakitra an-tsoratra avy amin'ny famantaranandro fiofanana; ny fotoana fizahana no fanoratana, fa tsy ny faniriana; ny herin'ny rack dia santionany PDU, fa tsy PUE campus.

Talohan'ny fanavaozana, ireo GPU ao anaty fitoeran-drivotra mahazatra ao amin'ny Ethernet birao sy ny VM SAN:

• 5 amin'ny isa 8 no vita tamin'ny andrana voalohany. 14 ora ny salan'isa amin'ireo dimy ireo

• 3 amin'ny 8 no tsy maintsy nanomboka indray rehefa avy nijanona tamin'ny ora faha-11 teo ho eo (roa taorian'ny nahafatesan'ny node iray niaraka tamin'ny toeram-pisavana efa lany andro, iray taorian'ny namenoan'ny toeram-pisavana ny SAN). Andramo indray avy hatrany, tsy misy fiandrasana mandritra ny alina: 11 ora very maina miampy andrana faharoa 14 ora, na 25 ora vao vita ny fomba fahandro amin'ireo telo ireo

• Salan'isa fotoana ahavitan'ny fomba fahandro vita amin'ireo valo ireo, tafiditra ao anatin'izany ny fanombohana indray: 18 ora. (Dimy amin'ny 14, telo amin'ny 25. Mbola 14 ny salan'isa amin'ireo valo ireo, izay hanafina ny fanombohana indray. Izany no mahatonga ny salan'isa ho fototra eto.)

• Nahatratra 7 amin'ny 8 ny fihodinana farany. 3 ora ny salan'isa amin'ny fotoana fohy kokoa: andrana 14 ora

• Fanoratana amin'ny toerana fanamarinana: salan'isa 22 minitra

• Tsy fitsapana azon'izy ireo nandalovana ny Rank-kill. Tsy nanana runbook izy ireo. Ny fahafatesana roa tsy nahy no nahitana izany

• Entana IT ambony indrindra teo amin'ireo fitoeran-javatra roa nandritra ny fiofanana: eo amin'ny 18 kW eo ho eo. Nanana watts ny laharana. Tsy nanana ny fampangatsiahana na ny lamba izy io

Aorian'ny fametrahana ireo "heat exchangers" eo amin'ny varavarana aoriana amin'ireo "racks" roa ireo, dia misy "fabric" natokana ho an'ireo "nodes" efatra, "pool" NVMe kely ho an'ny "checkpoints", "checkpoints" mandritra ny 30 minitra, ary "runbook" fanombohana indray:

• 8 amin'ny 8 no vita tamin'ny andrana voalohany. Salan'isa famantaranandro rindrina: 9 ora

• Famatrarana hafanana: 0 amin'ny 8

• Fanoratana amin'ny toerana fanamarinana: 90 segondra eo ho eo. Ratsy indrindra tamin'ny seta: 3 minitra

• Samy niverina avy amin'ny toeram-pisavana 30 minitra farany ireo roa niniana novonoina tamin'ny fomba tsy ara-dalàna. Famantaranandro fanampiny tamin'ireo hazakazaka roa ireo: eo amin'ny 40 minitra eo ho eo avy, tafiditra ao anatin'izany ny aretina, ka nijanona teo amin'ny 9 ora sy 40 minitra teo ho eo ireo roa ireo. Salan'isa amin'ny bala valo mbola tsy voafehy hatramin'ny 9 ora

• Mbola eo amin'ny 18 kW eo ho eo ny enta-mavesatry ny IT ambony indrindra. Mitovy ihany ny puce. Samy hafa ny fihetsiky ny tranobe

Amin'ity santionany ity, ny salan'isa fotoana-hahatongavana amin'ny fomba fahandro vita dia nidina avy amin'ny 18 ora ho 9 ora, na 9 ora avy, 72 ora amin'ny fihodinana valo. Ny vita-voalohany dia nidina avy amin'ny 5 amin'ny 8 ho 8 amin'ny 8. Ny throttle dia nidina avy amin'ny 7 amin'ny 8 ho 0 amin'ny 8. Io isa farany io no milaza raha nividy accelerators na painstakers izy ireo. Tsy hilaza izy ireo fa ny fiovan'ny fotoana dia fitsitsiana 50% amin'ny famokarana. Ny fihodinana valo dia andiany kely sy mora.

Ireto tarehimarika ireto dia tombana ohatra mifototra amin'ny fitsapana voalaza, santionany kely, modely iray, ary efitrano mifangaro iray. Tsy PUE izy ireo, tsy megawatt campus, ary tsy porofo fa tokony hanorina toeram-piofanana eny an-tsaha ny Kestrel. Tao anatin'ny 9 ora no nanaovana ny fandinihana ny hazo; tsy nafenin'izy ireo izany. Ny tarehimarika 18 kW dia famakiana PDU boribory, fa tsy faktioran'ny jiro sy rano. Tsy nanova ny 72 ora ho fandaniana izy ireo, satria ny tahan'ny herinaratra mifangaro an'ny orinasa dia ho lasa raharaha ara-barotra sandoka.

Nisaraka sy kely kokoa ny fanamarinana ny serivisy: sary andalana 200 no napetraka tao amin'ilay boaty voafefy, samy teo amin'ny toerana avokoa. Fanatsoahan-kevitra izany fa tsy fiofanana. Ny fampifangaroana ireo roa ireo dia ho fahadisoana kely toy ny "hybrid-hall".

Inona no mety ho diso

• Mbola miantso mpizara efatra hoe "foibe angon-drakitra AI" foana ny fividianana. Afenin'ny marika ny fantson-drano, ary ny fividianana manaraka dia GPU bebe kokoa ho an'ny lalantsara marary iray ihany

• Miditra ny "swaggers" eo amin'ny varavarana aoriana ary tsy misy mampiasa ny rano. Mbola mikiakiaka ihany ny mpankafy. Mbola midina ihany ny famantaranandro

• Switch tokana tsy misy lalana fanampiny ny lamba. Rohy iray tsy nahomby dia lasa toeram-piasana efatra indray ny "cluster"

• Mijanona ao amin'ny SAN ireo toeram-pisavana satria "dingana faharoa" ny dobo NVMe. Tsy tonga alohan'ny node maty manaraka ny dingana faharoa

• Manolotra PUE ho an'ny talantalana roa ao amin'ny efitrano mifangaro izy ireo. Ny toetrandro, ny sisin-tany, ary ny ambin'ny laharan'ny ERP dia mahatonga io tahan'ny io ho akanjo

• Mizara ny lamba ny fiofanana sy ny fanompoana. Ny tondra-drano amin'ny toeram-pisavana dia mahatonga ny tsipika ho miandry. Ny fahatarana amin'ny rambony no vokatra eo, fa tsy ny hakitroky

• Maty ny node iray ary misy olona mihevitra azy io ho toy ny tapakila fiasana fa tsy toy ny fanombohana indray. Mifampiresaka mandritra ny tolakandro manontolo ny mpiasan'ny orinasa sy ny mpiasan'ny AI

• Afaka nanofa tranom-borona izy ireo, saingy tsy afaka miala ireo sary. Ny fanadinoana fa ny fameperana dia mahatonga azy ireo hiditra amin'ny resaka rahona izay tsy maintsy hiala sasatra izy ireo

Sakafo azo sotroina azo ampiharina

Ny atao hoe Foibe Angon-drakitra AI, amin'ity endrika ity, dia tsy trano fitehirizana entana ary tsy faktioran'ny GPU. Izy io no sela ahafahan'ny accelerators mamita ny asa: hery azony tazonina, hafanana miala, lamba, toeram-pisavana, ary olona eo amin'ny toerana misy azy rehefa maty ny laharana iray. Tsy nila toeram-pianarana ny Kestrel. Nila fitoeran-javatra roa izy ireo mba tsy hihatsaravelatsihy. Ny ankamaroan'ny ekipa dia tokony hanofa izany fitondran-tena izany. Ny vitsivitsy, miaraka amin'ny angon-drakitra miafina sy efitrano iray izay afaka mandray ny hafanana, dia tokony hanangana sela ary handà ny slide.

FAQ

Inona no atao hoe Foibe angon-drakitra AI?

Toerana informatika be dia be izay ifantohan'ny herinaratra, ny fampangatsiahana, ny tambajotra ary ny fitahirizana amin'ny fiofanana mifanitsy sy ny fanompoana modely, fa tsy amin'ny andalana mpizara ankapobeny. Natao mba hahafahan'ny accelerators maro be mampiofana sy manompo modely tsy misy fiatoana, fiatoana amin'ny tambajotra, na fiandrasana amin'ny kapila. Ny efitrano orinasa tsotra dia manodidina mifangaro. Ny efitrano AI dia monoculture izay ny singa manan-danja dia ny accelerator, toy ny GPU na puce TPU. Mitovy amin'ny trano fitehirizana entana izy io ary mitondra tena toy ny toby famokarana herinaratra izay manao kajy.

Inona no maha samy hafa ny foibe angon-drakitra AI amin'ny foibe angon-drakitra mahazatra?

Manatsara ny fiasan'ny efitrano mahazatra ho an'ny asa mifangaro sy ny fotoana fiasana amin'ny serivisy madinika maro. Mamadika ny tahan'isa ny tranokalan'ny AI: mitombo ny hakitroky, lasa lamba tsy ahafahan'ny asa fiofanana miasa raha tsy misy izany ny tambajotra, ary tsy maintsy miasa ny toeram-piantsonana na mijanona tsy miasa ny accelerators. Mieritreritra ny tapakila sy manova varavarankely ny mpiasan'ny orinasa. Mieritreritra ny filaharan'ny asa ny mpiasan'ny AI ary mahatsiaro ho tsy mahazo aina rehefa maty tara ny node iray. Mbola azonao atao ihany ny miantso ny foibe angon-drakitra roa. Ny marika dia manafina fotsiny ny fantson-drano.

Nahoana ny foibem-panangonam-baovao AI no mampiasa herinaratra be dia be?

Tsy CPU kinga ny fitaovana miavaka. Izy io dia ny fitoeran'ny accelerator: GPU na puce AI hafa, voangona ao anaty serveur, avy eo racks, avy eo andalana izay mizara bandwidth avo lenta. Ny hakitroky isaky ny rack no fiovana eo amin'ny tantara: racks vitsy kokoa, samy lafaoro kely. Megawatts amin'ny enta-mavesatra IT no miseho rehefa feno ny efitrano iray, na dia tsy mendrika izany aza ny famoronana tarehimarika mahazatra. Ny anton-javatra mametra matetika dia ny substation, fa tsy ny lisitry ny GPU irina.

Ahoana no fomba hampangatsiahana ireo foibe angon-drakitra AI?

Ireo fitoeran-javatra matevina dia mamoaka hafanana amin'ny fomba tsy tena nangatahana ny rivotra mba ho voakarakara. Azonao atao ny manosika ny rivotra mafy kokoa amin'ny alàlan'ny fifanakalozana hafanana eo amin'ny varavarana aoriana, lalantsara mafana kokoa, ary fifehezana marani-tsaina. Avy eo dia miseho ny ranoka: fampangatsiahana mivantana mankany amin'ny puce, tadivavarana coolant, ary fidirana amin'ny endrika vitsivitsy. Ny accelerator izay mampihena ny tsindry dia iray izay efa naloanao ary tsy azonao ampiasaina tanteraka. Mbola manan-danja ny PUE satria ny watt rehetra laninao amin'ny mpankafy sy ny paompy dia watt iray izay tsy nankany amin'ny GPU. Mipetraka ao amin'ny tantara koa ny rano: misy zavamaniry misotro, misy mitelina.

Nahoana ny tambajotra no zava-dehibe toy ny GPU?

Resadresaka ny fiofanana: accelerators an'arivony mifanakalo gradients, parameters, ary poti-modely mifanaraka tsara. Raha mihozongozona ny lamba, dia miandry ny asa manontolo amin'ny fitsambikinana miadana indrindra. Izany no mahatonga ny efitrano AI hifantoka amin'ny tambajotra bandwidth avo lenta, latency ambany, lamba InfiniBand-ish na Ethernet amin'ny andraikitra mitovy, ary topolojia izay tsy miforitra roa rehefa tsy mahomby ny rohy. Ny Inference dia miahy ny latency rambony, ny fangatahana kely maro, ary ny fitokana-monina. Ato amin'ity tranobe ity dia ny fantson-drano no trano fisakafoanana.

Inona no ampiasana ny Foibe Angon-drakitra AI: fiofanana sa eritreritra?

Fanentanana ny fiofanana: manangona vondrona iray, mameno ny angon-drakitra, manamarina tsara ny toerana, ary miasa mandritra ny ora maro na herinandro. Ny "Inference" dia sehatra fivarotana: efa voaofana ireo maodely, mamaly izao, miaraka amin'ny fahatarana izay zava-dehibe. Ny toeram-piofanana dia mikatsaka ny herinaratra, ny tany ary ny hakitroky. Ny toerana "Inference" kosa dia mikatsaka ny fahatarana sy ny fisiana. Misy ny efitrano hybrid satria tsy voafetra ny renivola, indraindray efitrano iray misy tadivavarana fampangatsiahana roa. Ny "accelerator" efa tranainy kokoa akaikin'ny mpanjifa dia afaka mandresy ny iray mahafinaritra any amin'ny kaontinanta lavitra.

Nahoana no zava-dehibe ny fitahirizana angon-drakitra ao amin'ny foibe angon-drakitra AI?

Tsy maintsy tonga haingana ny angon-drakitra fiofanana mba tsy hihetsehan'ny GPU. Tsy maintsy apetraka ireo toeram-pisavana mba tsy handany herinandro ny fianjerana. Tsy maintsy ampidirina ny lanjan'ny modely alohan'ny hampiasana ny dika mitovy. Ny fahafahan'ny fitahirizana, fa tsy ny fahafaha-mitahiry fotsiny, no sakana mangina. Afaka mandany vola be amin'ny accelerators ianao ary mandany azy ireo amin'ny alàlan'ny array tsara natao ho an'ny milina virtoaly.

Inona no mitranga rehefa maty ny node iray eo afovoan'ny fampiasana?

Ny "accelerator" iray maty amin'ny asa fiofanana mifamatotra akaiky dia mety hampiato ny fiverenana manontolo. Ny fiofanana dia mitady toeram-pisavana, fa tsy fanantenana. Ny "inference" dia mandany ny "sick node", mitazona ny dika mitovy hamaly, ary mijanona ho velona. Ny fanovana varavarankely dia mbola mifandona amin'ny fiofanana izay tsy miraharaha ny kalandrieo. Ny "redundance" dia mbola zava-dehibe amin'ny herinaratra, ny fampangatsiahana, ny lalana ary ny fitahirizana, saingy ny fomba tsy fahombiazana dia tsy dia milamina loatra raha oharina amin'ny slide sivy-n'ny fotoana fiasana taloha.

Inona no fiantraikan'ny Foibe Angon-drakitra AI eo amin'ny tambajotra, ny rano ary ny manodidina?

Matetika ny fifandraisana amin'ny tambajotra no dingana tena izy amin'ny fisafidianana toerana. Mora kokoa ny tany raha oharina amin'ny toby famokarana herinaratra sy orinasa mpamatsy herinaratra izay manana mpanjifa hafa. Ny rano ho an'ny fampangatsiahana, raha ampiasainao izany, dia lasa olana ho an'ny mpiara-monina raha vao misy orana be, miaraka amin'ny tabataba, ny habetsahan'ny hazavana hita maso, ary ny hafanana eo amin'ny fefy. Ny fiofanana dia mety hiafina any amin'ny tsena herinaratra mora kokoa sy ny toetrandro mangatsiaka kokoa. Tian'ny Inference ny akaikin'ny mpampiasa. Tsy misy toerana tonga lafatra iray. Misy marimaritra iraisana amin'ny fanambarana an-gazety.

Mila manana foibe angon-drakitra AI ve aho sa tokony hanofa?

Tsy voatery hanana iray amin'ireny efitrano ireny ny ankamaroan'ny olona. Manamboatra "hyperscalers" ianao satria ny vokatra no fitaovana ampiasaina. Manamboatra laboratoara ianao rehefa voafetra ny fotoana filaharam-be na tsy afaka miala ny angona. Ny banky, hopitaly, governemanta, na mpanamboatra manana angon-drakitra miafina dia afaka mahatonga ny "colo cage" eo an-toerana na manokana ho azo ampiharina. Ny olon-drehetra dia tokony hanofa: "colocation" vonona amin'ny AI, famandrihana rahona, na "cluster" tantanana. Mahazo ny "accelerators" ianao nefa tsy lasa mpandraharaha amin'ny orinasa mpamokatra herinaratra.

References

1. IEA - www.iea.org

2. LBNL - datacenters.lbl.gov

3. Ny Grid Maitso - www.thegreengrid.org

4. LBNL - datacenters.lbl.gov

5. LBNL - datacenters.lbl.gov

6. Uptime Institute - journal.uptimeinstitute.com

7. NVIDIA - developer.nvidia.com

8. NVIDIA - docs.nvidia.com

9. NVIDIA - docs.nvidia.com

10. NVIDIA - docs.nvidia.com

11. Google Cloud - docs.cloud.google.com

Tadiavo ny AI farany indrindra ao amin'ny fivarotana mpanampy AI ofisialy

Momba anay