Lub Chaw Khaws Cov Ntaub Ntawv AI yog dab tsi? [Video thiab Quiz]

Lus teb luv luv: Lub chaw khaws ntaub ntawv AI yog qhov muaj zog heev uas lub zog, cua txias, ntaub, thiab chaw cia khoom raug siv los cob qhia thiab ua haujlwm rau cov qauv, tsis yog chav server nrog GPU ntxiv. Cov chips tau txais lub koob meej; lub tsev txiav txim siab seb lawv puas ua haujlwm. Yog tias cov duab tsis tuaj yeem tawm mus, kho dua lub cell me me; feem ntau cov pab pawg yuav tsum xauj.

Cov ntsiab lus tseem ceeb:

Cov Chips vs lub tsev: Lub zog, cua txias, ntaub, thiab qhov chaw cia khoom txiav txim siab seb cov accelerators puas ua haujlwm.

Qhov chaw tsis yog lub tsev loj: Kho ob lub txee thaum cov ntaub ntawv tsis tuaj yeem tawm mus; tsis txhob yuav lub tsev kawm ntawv.

Qhov nruab nrab piv rau qhov nruab nrab: Ntawm yim qhov kev khiav, qhov nruab nrab hid rov pib dua; siv qhov nruab nrab 18-teev.

Kev tiv thaiv kev siv tsis raug: Tsis txhob hais tus nqi PUE rau ob lub txee hauv chav sib xyaw.

Cov txiaj ntsig piv txwv: Yim qhov kev khiav yog daim ntawv qhia me me, tsis yog 50% kev txuag khoom.

Cov ntawv uas koj yuav nyiam nyeem tom qab qhov no:

🔗 AI puas txhim khu kev qha? Yees duab thiab kev xeem ntawv
Tshawb nrhiav kev ntseeg siab ntawm AI los ntawm kev ua yeeb yaj kiab thiab kev xeem ntawv sib tham.

🔗 Yuav siv AI li cas hauv lub neej txhua hnub
Tshawb nrhiav cov hau kev ua tau zoo AI tuaj yeem ua kom yooj yim rau cov haujlwm thiab kev ua neej niaj hnub.

🔗 Yuav siv AI li cas hauv chaw ua haujlwm
Kawm cov tswv yim siv AI rau kev ua haujlwm ntse dua.

🔗 AI puas xav tau nws tus kheej?
To taub seb kev txawj ntse ntawm lub tshuab puas tuaj yeem xav tau nws tus kheej lossis xav txog qhov laj thawj tiag tiag.

Nws txawv li cas ntawm lub chaw khaws ntaub ntawv "ib txwm"

Cov chav tsev ib txwm ua kom zoo dua rau cov haujlwm sib xyaw thiab lub sijhawm ua haujlwm thoob plaws ntau yam kev pabcuam me me. Koj mob siab txog kev rov ua dua, tau kawg, thiab txog PUE ua lub tswv yim - lub zog ntxiv uas lub tsev hlawv kom xa tau ib watt ntawm kev suav. Koj tsis, feem ntau, tsim txhua txoj kev hauv tsev nyob ib puag ncig lub khib uas ua haujlwm zoo li lub tshuab cua sov portable.

Cov chaw AI hloov pauv qhov sib piv. Qhov ceev nce siab. Lub network dhau los ua ib daim ntaub uas txoj haujlwm cob qhia tsis tuaj yeem ua haujlwm yam tsis muaj. Qhov chaw cia khoom yuav tsum ua kom cov chaw kuaj xyuas txav mus los lossis cov accelerators nyob twj ywm, zoo li cov nees sib tw hauv tsheb sib tsoo.

Kuj muaj qhov sib txawv ntawm kab lis kev cai thiab. Cov neeg ua haujlwm hauv tuam txhab xav txog daim pib thiab qhov rais hloov pauv. Cov neeg ua haujlwm AI xav txog cov kab haujlwm thiab qhov kev xav mob thaum lub node tuag lig hauv lub sijhawm ntev. Kuv xav tias koj tseem tuaj yeem hu ob qho tib si "cov chaw khaws ntaub ntawv" vim lawv yog. Lub npe tsuas yog zais cov kav dej.

Tsis yog qib kev coj ncaj ncees. Cov tshuab sib txawv, tib lub npe tsev neeg.

GPUs, accelerators, thiab lub khib uas noj lub zog

Taug kev hauv pem teb uas tsa siab ib txwm muaj thiab cov txee zoo li yuav luag zoo nkauj. Taug kev ib kab AI thiab lawv zoo li lawv xav nqos lub tsev.

Cov khoom siv kho vajtse zoo tshaj plaws tsis yog CPU ntse. Nws yog lub tais accelerator: GPUs lossis lwm cov AI chips, ntim rau hauv cov servers, tom qab ntawd racks, tom qab ntawd kab uas sib koom ua ke nrog cov ntaub ntawv siab bandwidth. GPU txuas cov chips txuas rau hauv ib yam dab tsi uas tuaj yeem ua txuj ua ib lub accelerator loj; cov ntaub cluster ua tib yam kev dag ntxias ntawm kab. Kev cob qhia sib luag tsuas yog ua haujlwm yog tias cov kev sib txuas ntawd tseem nyob thiab kwv yees tau. Tsis txhob ua li ntawd thiab koj "cluster" yog ib pawg ntawm cov chaw ua haujlwm kim heev sib koom tus lej xa ntawv.

Lub zog ua raws li cov chips. Tsis yog lub chaw ua haujlwm PDU loj. Megawatts ntawm IT thauj khoom thaum ib chav puv - Kuv yuav tsis tsim tus lej. Qhov ceev ntawm ib lub khib yog qhov ntxeev ntawm zaj dab neeg. Tsawg dua lub khib. Txhua lub cub tawg me me. Qhov txwv tsis pub tshaj plaws feem ntau yog lub substation, tsis yog daim ntawv xav tau ntawm GPUs. Koj paub tias nws yog li cas: kev yuav khoom xav tau ntau lub accelerators; lub tuam txhab hluav taws xob xav tau kev sib tham ntev thiab daim tshev loj heev.

Muaj ib qho piv txwv uas kuv tsis tuaj yeem tsis quav ntsej: tus khib yog tus tsiaj tshaib plab. Koj tuaj yeem yug tau tus sai dua. Koj tseem yuav tsum pub nws noj, thiab koj tseem yuav tsum tshem tawm qhov kub. Dhia ib qho twg thiab nws yuav dhau los ua lub pob ntawv kim heev.

Lub zog, cua sov, thiab teeb meem txias

Hluav taws xob nkag los. Cua sov tawm los. Ntawd yog tag nrho kev ntseeg.

Cov txee uas muaj cov khoom siv ntau dhau ua rau cua sov poob rau hauv ib txoj kev uas cua yeej tsis tau hais kom ua. Koj tuaj yeem thawb cua kom hnyav dua - cov khoom sib pauv cua sov tom qab, txoj kev kub dua, kev tswj hwm ntse - thiab qhov ntawd ua haujlwm txog ib qho. Tom qab ntawd kua tshwm sim:

• Kev txias ncaj qha rau chip

• Cov voj voog txias uas ua rau chav cog khoom zoo li cov tshuaj ua haujlwm

• Kev kawm txog ob peb yam qauv, uas tseem ua rau cov neeg xav tias dej thiab cov neeg ua haujlwm tsis tas yuav sib qhia ib kab lus

Tsis muaj ib yam dab tsi zoo nkauj li. Tag nrho cov no yog cov khoom, vim tias lub accelerator uas ua rau lub cav qeeb yog ib qho uas koj twb them rau lawm thiab siv tsis tau tag nrho.

PUE tseem ceeb heev. Nws yog ib qho piv, tsis yog tus cwj pwm. Cov neeg ua haujlwm caum nws vim tias txhua lub watt siv rau cov kiv cua thiab cov twj tso kua mis yog ib lub watt uas tsis mus rau GPU. Kuv yuav tsis hais ib tus lej "ib txwm"; huab cua thiab koj kos ciam teb li cas txav nws, thiab qhov tseeb cuav yog qhov phem dua li tsis muaj. Dej nyob hauv zaj dab neeg thiab. Qee cov nroj tsuag haus. Qee qhov nqos. Kev ua kom txias ua pa tau zoo kom txog thaum tus dej lossis qhov av qhuav ua rau nws muaj kev nom kev tswv.

Kev Sib Txuas Lus: vim li cas cov ntaub tseem ceeb npaum li cov chips

Cov neeg thaij duab cov GPUs. Lawv yuav tsum thaij duab cov keyboards.

Kev cob qhia yog kev sib tham. Txhiab tus accelerators sib pauv gradients, parameters, shards ntawm ib tug qauv, nyob rau hauv nruj synchronous. Yog tias cov ntaub jitters, tag nrho txoj haujlwm tos rau ntawm qhov qeeb tshaj plaws hop. Yog vim li cas AI halls obsess tshaj high-bandwidth networking, qis latency, thiab topologies uas tsis quav ib nrab thaum ib tug link tsis ua hauj lwm. InfiniBand-ish fabrics, Ethernet nyob rau hauv tib lub luag hauj lwm, GPU interconnects hauv lub thawv, cabling uas yuav tsum yog thawj zaug.

Kev xaus lus yog kev sib tham sib txawv. Kev pabcuam qauv txhawj xeeb txog qhov latency ntawm tus Tsov tus tw - qhov lus teb qeeb, tsis yog qhov nruab nrab. Kev sib koom ua ke vs lub sijhawm tiag tiag faib tus cwj pwm. Ib pawg kev cob qhia xav tau kev txav mus los rog, sib koom ua ke, txhua yam-rau-txhua yam. Ib pawg neeg pabcuam xav tau ntau qhov kev thov me me thiab kev cais tawm, tsis muaj kev sib tsoo ntawm lub load balancer.

Tus poj niam uas kuv tsis tau yuav, thaum kuv nyob ntawm no: tib neeg siv lub network zoo li cov kav dej thiab cov qos yaj ywm zoo li lub tsev noj mov. Hauv lub tsev no cov kav dej yog lub tsev noj mov. Yog koj tsis tau yuav ces koj yuav tau ib chav ua noj uas tsis tuaj yeem txais kev xa khoom.

Kev cob qhia vs kev xav: ob lub tsev, qee zaum tiag tiag

Kev cob qhia yog ib qho kev sib tw. Koj sib sau ua ke ib pawg, pub nws cov ntaub ntawv, kuaj xyuas kev ntseeg, khiav rau ntau teev lossis ntau lub lis piam, thiab thov Vajtswv kom cov ntaub ntawv tseem tsis muaj teeb meem. Batch-ntau, tshaib plab bandwidth, ntsiag to ua siab ntev - kom txog thaum lub node tsis ua haujlwm tau noj ib qho tom ntawm qhov kev khiav. Ib lub accelerator tuag hauv txoj haujlwm sib txuas nruj tuaj yeem nres tag nrho cov chorus.

Kev xaus lus yog lub khw muag khoom. Cov qauv twb tau kawm tiav lawm, tam sim no teb cov lus nug, faib cov duab, tsim cov ntawv nyeem. Kev ncua sijhawm tseem ceeb. Lub accelerator qub dua me ntsis ze ntawm tus neeg siv khoom tuaj yeem yeej ib qho zoo nkauj nyob deb ntawm lub tebchaws.

Yog li koj tau txais kev faib. Cov tsev kawm ntawv cob qhia nrhiav lub zog, av, thiab qhov ceev. Cov chaw xav txog nrhiav latency thiab muaj. Cov chav sib xyaw kuj muaj, vim tias peev tsis yog qhov kawg. Zoo - tsis yog ob lub tsev tas li. Qee zaum ib lub tsev nrog txoj hlua velvet thiab ob lub voj txias.

Qhov no kuj yog qhov chaw uas colocation, hyperscale campuses, thiab on-prem fork. Hyperscalers tsim ntawm cov nplai uas ua rau peb cov neeg seem zoo li peb tab tom npaj rooj tog. Colos muag qhov ceev los ntawm lub khib. On-prem tseem tshwm sim thaum cov ntaub ntawv tsis tuaj yeem tawm mus.

Kev xa khoom ntau dhau, cov chaw kuaj xyuas, thiab cov chips tshaib plab

Tsis muaj leej twg muab lub parallel file system tso rau ntawm daim ntawv qhia.

Cov ntaub ntawv kev cob qhia yuav tsum tuaj txog sai txaus kom GPUs tsis kov lawv ko taw. Cov chaw kuaj xyuas yuav tsum tsaws kom qhov kev sib tsoo tsis pov tseg ib lub lim tiam. Qhov hnyav ntawm cov qauv yuav tsum thauj khoom ua ntej qhov kev pabcuam replica nyob. Kev khaws cia - tsis yog tsuas yog lub peev xwm - yog qhov ntsiag to bottleneck. Koj tuaj yeem siv nyiaj ntau rau cov accelerators thiab tshaib plab lawv nrog cov array zoo tsim rau cov tshuab virtual.

Tus qauv no yeej paub zoo: ib pawg ci ntsa iab, ib kab haujlwm, thiab I/O tos ntsia rov qab zoo li daim ntawv them nqi tsis zoo. Kev suav ua pawg yam tsis muaj kev sib sau ua pawg ntawm txoj kev ntaub ntawv yog li cas koj thiaj tau txais qhov tsis ua haujlwm kim heev. Khaws cov chips kom noj lossis lees tias koj yuav ib daim duab puab.

Software, orchestration, thiab cov txheej ops tsis zoo nkauj

Kho vajtse yog cov neeg nto moo. Cov neeg teem sijhawm ua haujlwm.

Ib lub chaw khaws ntaub ntawv AI tsis muaj txiaj ntsig yog tias cov haujlwm tsis tuaj yeem nrhiav tau GPUs, yog tias ob pab pawg tsis tuaj yeem sib koom ua ke yam tsis muaj kev sib ntaus sib tua, yog tias qib tsis ua tiav tsis tuaj yeem hloov pauv, yog tias firmware ploj mus txog thaum cov ntaub ntawv tsis ua haujlwm qeeb. Kev sib koom ua ke, kev soj ntsuam, kev txwv hwj chim - cov txheej txheem ua haujlwm tsis zoo, uas yog li cas koj paub tias nws tseem ceeb.

Kuv muaj ib qho chaw mos rau txheej no. Tsis tas li ntawd qhov twg NIC tsis raug teeb tsa ua txuj ua teeb meem txias rau ib tav su tag nrho ... koj pom qhov ntawd tawm ntawm txoj kev nyuaj.

Thaum ib lub node tuag thaum nruab nrab ntawm kev khiav

Ib lub node tuag lawm. Cov qhov rai hloov pauv tseem sib tsoo nrog kev cob qhia uas tsis quav ntsej txog koj daim ntawv qhia hnub. Koj teem sijhawm ua haujlwm loj, thaiv cov pas dej sib txawv, sau cov phau ntawv qhia rau qhov ua tsis tiav uas zoo li "txoj haujlwm qeeb" kom txog thaum lawv zoo li "txoj haujlwm tuag lawm." Kev rov ua dua tseem ceeb - lub zog, txias, txoj kev, chaw cia khoom - tab sis hom kev ua tsis tiav tsis huv dua li cov ntawv qhia qub ntawm cuaj-ntawm-lub sijhawm ua haujlwm. Kev xaus: rov ua dua, ntws cov node mob, teb tas li. Kev cob qhia xav tau cov chaw kuaj xyuas, tsis yog kev cia siab.

Qhov chaw, dej, grid, thiab cov neeg zej zog

Koj tsis txhob muab ib qho ntawm cov no tso rau ntawm ib sab ntawm lub tsev me me kom pom kev zoo nkauj.

Kev sib txuas ntawm lub network feem ntau yog qhov txheej txheem xaiv qhov chaw tiag tiag. Av yooj yim piv rau lub chaw hloov hluav taws xob thiab lub tuam txhab hluav taws xob uas muaj lwm tus neeg siv khoom. Dej rau kev txias, yog tias koj siv nws, dhau los ua teeb meem rau cov neeg zej zog sai li sai tau thaum nag los tsis zoo. Suab nrov. Pom kev loj. Kub ntawm lub laj kab ciam teb. Cov pawg neeg npaj tswv yim pom cov kev xav txog "huab" thaum nws xav tau daim teb thiab tus dej.

Qhov qeeb qeeb rub mus rau lwm txoj kev. Kev xav nyiam nyob ze cov neeg siv thiab kev sib txuas. Kev cob qhia tuaj yeem nkaum hauv cov lag luam fais fab pheej yig dua thiab huab cua txias dua. Kev lag luam tham zoo li muaj ib qho chaw zoo meej. Tsis muaj. Muaj kev pom zoo nrog tsab xov xwm tshaj tawm.

Cov cua sov seem thiab lub cub tawg uas tsis tau caw tuaj

Cov ntawv qhia nyiam qhov no heev. Muab cov cua sov pov tseg tso rau hauv tsev, pas dej ua ke, thiab tsev cog khoom; nws yog ib kab lus zoo nkauj heev. Qee zaum lub voj voog ntawm koog tsev kawm ntawv yog qhov tseeb. Qee zaum lub tsev kawm ntawv nyob rau qhov chaw tsis raug thiab qhov kub tseem mus rau hauv huab cua. Kuv tsis ntseeg qhov version ntawm phau ntawv qhia; Kuv tsis ntseeg qhov physics.

Leej twg xav tau ib qho (thiab leej twg yuav tsum xauj chaw nyob)

Feem ntau cov neeg tsis tas yuav muaj ib lub tsev no.

Daim ntawv teev npe tsis meej:

• Cov neeg ua haujlwm hyperscaler, vim tias cov khoom yog cov nkoj loj

• Cov chaw kuaj mob, thaum lub sijhawm tos kab yog qhov teeb meem, lossis cov ntaub ntawv tsis tuaj yeem tawm mus

• Ib lub tsev txhab nyiaj, pawg tsev kho mob, tsoomfwv, lossis cov chaw tsim khoom uas muaj cov ntaub ntawv zais cia - nyob rau hauv-prem lossis lub tsev kho mob ntiag tug tuaj yeem yog qhov muaj laj thawj, txawm tias nws yog qhov tsis muaj tseeb

Txhua tus neeg yuav tsum xauj tsev. Kev nyob ua ke nrog AI-npaj txhij. Kev tseg huab. Ib pawg tswj hwm. Koj tau txais cov accelerators yam tsis tas yuav ua tus neeg ua haujlwm fais fab. Kev hlub ploj mus thawj zaug uas ib tug neeg nug leej twg hu rau lub voj voog txias thaum 3 teev sawv ntxov.

Muaj ib qho kev khav theeb, kuv yuav lees. Kev muaj pawg neeg zoo li muaj txoj hauv kev kwv yees. Tom qab ntawd daim ntawv them nqi hluav taws xob tuaj txog, thiab kev khav theeb zaum.

Lub tsev no yog rau dab tsi

Yog li, Lub Chaw Khaws Ntaub Ntawv AI yog dab tsi? Ib lub tsev kawm ntawv tshwj xeeb, muaj neeg coob coob uas cov khoom siv ua kom nrawm, fais fab, txias, ntaub, thiab chaw cia khoom tau teeb tsa nyob ib puag ncig kev cob qhia thiab kev pabcuam qauv - tsis yog IT dav dav nrog GPU nyob rau hauv kaum tsev. Nws zoo li lub tsev rau khoom. Nws ua haujlwm zoo li lub chaw fais fab uas ua lej.

Yog tias koj tsis nco qab dab tsi ntxiv: cov chips tau txais lub koob meej; lub substation, lub coolant, thiab lub network txiav txim siab seb cov chips ntawd puas yog lub tswv yim zoo. Kev cob qhia thiab kev xav tuaj yeem sib koom lub ru tsev; lawv tseem xav tau tus cwj pwm sib txawv. Feem ntau cov koom haum yuav tsum xauj. Ob peb yuav tsum tsim. Cov neeg zej zog yuav pom ob txoj kev.

Cov huab yeej ib txwm muaj ib lub tsev. Niaj hnub no lub tsev muaj kev xav.

Piv txwv li hauv lub ntiaj teb tiag: Lub cell cob qhia ob-rack thaum cov duab tsis tuaj yeem tawm mus

Xwm txheej

Tomos yog tus thawj coj ntawm Kestrel Precision, lub chaw tsim khoom uas muaj 400 tus neeg nyob hauv West Midlands. Lawv twb muaj ib lub tsev me me hauv chaw ua haujlwm lawm: ERP, cov ntaub ntawv sib koom, cov tshuab virtual, cov zej zog sib xyaw uas tsab xov xwm no tau pib nrog. Cua txias. Ethernet ib txwm muaj. Ib qho SAN uas zoo meej rau cov disks hauv chaw ua haujlwm.

Cov neeg ua haujlwm saib xyuas tshuab yuav tsum cob qhia tus qauv tshuaj xyuas ntawm cov duab thaij hauv Hoobkas. Cov duab thaij tsis tuaj yeem tawm ntawm qhov chaw. Lawv qhia txog tus txheej txheem uas lub tuam txhab yuav tsis muab tso rau hauv lub disk huab, txawm tias yog ib qho ntiag tug. Kev daws teeb meem ntawm Procurement yog plaub lub servers dual-accelerator thiab ib daim duab uas muaj npe hu ua "peb lub chaw khaws ntaub ntawv AI". Cov servers mus rau hauv ob lub racks uas twb muaj lawm, vim tias muaj qhov chaw, thiab qhov chaw zoo li qhov kev txwv.

Nws tsis yog. Hauv ob lub lis piam, GPUs suab nrov thiab tom qab ntawd maj mam kaw. Cov haujlwm nkag mus thaum lub chaw kuaj xyuas ntaus SAN. Ib lub node tuag thaum kaum ib teev thiab qhov kev khiav tsuas yog ... ploj mus. Tomos tsis tau ua tsis tiav los yuav cov chips. Nws tau yuav ib pawg ntawm cov chaw ua haujlwm kim heev sib koom ib tus lej xa ntawv. Lub tsev tseem yog ib lub tsev lag luam.

Lawv tsis xav tau ib lub tsev kawm ntawv, ib lub chaw hloov pauv tshiab, lossis ib lub dej. Lawv xav tau ib lub cell me me uas ua haujlwm zoo li lub chaw khaws ntaub ntawv AI me me: lub zog uas cov racks tuaj yeem tuav tau, cua sov uas tawm mus yam tsis tau ua noj cov chips, ib daim ntaub uas txoj haujlwm cob qhia tuaj yeem tham txog, qhov chaw cia khoom uas tuaj yeem siv qhov chaw kuaj xyuas, thiab phau ntawv qhia thaum lub node tuag. Vim tias cov duab tsis tuaj yeem tawm mus, kev xauj lub colo cage plaub caug feeb deb tsis yog cov lus teb. Kev kho dua ob lub racks yog.

Qhov uas lub cell xav tau

• Ib qho kev ntsuas peev nyiaj fais fab ntawm kab ntawd, los ntawm PDUs, tsis yog los ntawm GPU daim ntawv xav tau. Yog tias lub peev xwm seem tsis tuaj yeem pub rau plaub lub servers thaum lub sijhawm cob qhia, kev sib tham nres ntawm qhov ntawd thiab lawv saib ntawm qhov xim ntom dua, tsis yog qhov txuj ci tseem ceeb

• Kev txias cua yeej tsis tau raug hais kom ua ntawm qhov ceev no: cov khoom hloov cua sov tom qab yog tias lub tsev tuaj yeem nqa lawv, lossis lub voj voog me me yog tias nws tuaj yeem nqa qhov ntawd. Yog tias tsis muaj ib qho twg, cov neeg rau zaub mov tsis nkag mus

• Ib daim ntaub uas muaj bandwidth siab ntawm plaub lub nodes, tsis yog lub chaw ua haujlwm Ethernet. Yog tias tus neeg muag khoom tsuas muaj 10 Gb switch hauv daim ntawv teev khoom, qhov ntawd tsis yog ib pawg

• Qhov chaw khaws cia ceev hauv zos rau cov chaw kuaj xyuas thiab cov chaw cob qhia, tsis yog VM SAN

• Ib lub sijhawm teem sijhawm, lub sijhawm kuaj xyuas, thiab txoj kev rov pib dua sau. Kho vajtse yog lub npe nrov. Cov txheej no yog txoj haujlwm

• Ib lub thawv txiav txim siab uas muaj laj kab rau cov kab hauv Hoobkas, sib cais ntawm kev sib tham qhia, vim tias kev pabcuam xav tau lub sijhawm ntev thiab kev cais tawm ntawm tus Tsov tus tw, tsis yog kev sib koom ua ke

• Kev tso cai rau kev sau cov ntaub ntawv txog lub zog, GPU moos, cov xwm txheej throttle, thiab lub moos ua haujlwm. Yog tias lawv tsis tuaj yeem tshuaj xyuas cov ntawd, lawv yuav thaij duab cov GPU thiab tsis pom cov keyboards

Piv txwv cov lus qhia

Tomos piav qhov no luv luv rau hauv cov chaw, ua lus yooj yim:

Tsis txhob hu qhov no ua AI campus. Tsim ib lub cell cob qhia ob-rack hauv lub tsev uas twb muaj lawm rau plaub lub dual-accelerator servers. Cov duab ntawm lub Hoobkas nyob twj ywm ntawm qhov chaw. Kev vam meej yog: plaub lub nodes ua tiav daim ntawv qhia kev cob qhia 12-epoch yam tsis muaj thermal throttle, sau ib qho checkpoint hauv feeb tsis yog kaum feeb, thiab rov pib dua ntawm qhov checkpoint ntawd thaum peb tua ib tug rank rau lub hom phiaj. Kev txias yuav tsum khaws cov GPUs ntawm lawv lub moos cob qhia. Kev sib txuas lus yuav tsum yog ib daim ntaub uas plaub lub thawv sib koom, tsis yog txoj kev hla lub chaw ua haujlwm stack. Kev khaws cia yuav tsum pub cov chips. Yog tias cov cua sov hloov pauv tom qab tsis haum, hais li ntawd thiab nres. Tsis txhob hais PUE rau ob lub racks hauv ib lub tsev sib xyaw. Tus lej ntawd yuav yog chav ua yeeb yam.

Tom qab ntawd nws muab qhov no tso rau hauv txoj haujlwm cob qhia nws tus kheej:

Yuav tsum kuaj xyuas txhua 30 feeb mus rau lub pas dej ceev hauv zos. Yog tias ib tug neeg tuag, rov pib dua los ntawm qhov chaw kuaj xyuas tiav kawg. Tsis txhob tos ntawm SAN. Tsis txhob cia kev cob qhia thaum lub moos poob qis los ntawm cua sov. Sau nws thiab nres kom peb pom qhov chaw nres tsheb.

Ib teev zoo zoo li no: tag nrho yim lub GPU ntawm lub moos cob qhia, cov ntaub ntawv checkpoint tau mus txog, txoj haujlwm tseem nyob hauv qhov xauv. Ib teev phem zoo li no: cov kiv cua qw nrov nrov, lub moos poob qis, checkpoint 2% sau tom qab kaum feeb, thiab ib tug neeg hauv chaw ua haujlwm hais tias "lub cluster tau nce". Lub sijhawm nce tsis yog kev cob qhia.

Yuav ua li cas los sim nws

Lawv sau qhov kev xeem ua ntej qhov kev kho dua tshiab, uas yog lub ntsiab lus tseem ceeb ntawm kev tsis ntseeg qhov demo.

• Cov zaub mov txawv 12-lub sijhawm, tib yam 120,000 daim duab tshuaj xyuas, yim qhov kev khiav

• Lub sijhawm yog raws li lub moos ntawm phab ntsa rau daim ntawv qhia ua tiav, suav nrog txhua qhov rov pib dua, ntsuas los ntawm kev xa txoj haujlwm mus rau qhov chaw kuaj xyuas kawg ntawm lub sijhawm 12

• Kev hla mus rau qhov kub: GPU moos nyob ntawm lub hom phiaj kev cob qhia rau kev khiav. Qhov xwm txheej throttle yog qhov ua tsis tiav txawm tias txoj haujlwm thaum kawg ua tiav

• Ib daim ntawv hla mus rau qhov chaw cia khoom: lub sijhawm sau ntawv ntawm qhov chaw kuaj xyuas, nruab nrab thiab qhov phem tshaj plaws, los ntawm cov ntawv teev haujlwm

• Ib daim ntaub hla mus: txoj haujlwm tsis zaum tos ua ke thaum ib tug neeg ua haujlwm noj qab nyob zoo. Yog tias lawv tsis pom qhov kev tos ntawd, cov cuab yeej siv tsis tiav

• Ob ntawm yim qhov kev khiav tau raug tua ib qib ntawm ib kauj ruam ruaj khov, ntawm lub hom phiaj, los sim txoj kev rov pib dua

• Kev xaus lus yog kev xeem 200 daim duab sib cais los ntawm kab Hoobkas mus rau lub thawv xa khoom uas muaj laj kab. Kev kawm tiav tsis suav tias yog kev ua tiav ntawm kev xa khoom

• Lawv kaw cov hwj chim khib los ntawm PDUs hauv 15 feeb qauv yog li tsis muaj leej twg yuav tsum tsim lub megawatt

Kev lees txais rau kev hu lub cell "AI-npaj": 8 ntawm 8 daim ntawv qhia ua tiav; 0 ntawm 8 qhia thermal throttle; ob qho kev khiav tua rov qab; checkpoints nyob hauv feeb. Yog tias lawv tsis nco qhov ntawd, lawv tseem muaj chav server nrog cov duab zoo nkauj.

Qhov tshwm sim

Cov piv txwv qhia, los ntawm kev sim yim zaug uas tau ua tiav, tsis yog daim duab Kestrel uas tau luam tawm.

Cov kev xav: plaub lub servers dual-accelerator hauv ob lub racks; ib qho qauv tshuaj xyuas; 120,000 lub sijhawm; yim qhov kev khiav ntawm daim ntawv qhia ua 12-lub sijhawm ruaj khov; lub moos phab ntsa suav nrog kev rov pib dua kom txog thaum daim ntawv qhia ua tiav; throttle txhais tau tias qhov kev tso tseg ntawm lub moos cob qhia; lub sijhawm checkpoint yog qhov sau, tsis yog qhov xav tau; lub zog khib yog cov qauv PDU, tsis yog PUE hauv tsev kawm ntawv.

Ua ntej qhov kev kho dua tshiab, GPUs hauv cov racks cua txias ib txwm muaj ntawm chaw ua haujlwm Ethernet thiab VM SAN:

• 5 ntawm 8 qhov kev khiav tiav rau thawj zaug sim. Nruab nrab ntawm tsib qhov kev khiav ntawd yog 14 teev

• 3 ntawm 8 yuav tsum tau pib dua tom qab lub sijhawm tsis ua haujlwm thaum txog 11 teev (ob tom qab ib lub node tuag nrog lub chaw kuaj xyuas tsis ua haujlwm, ib qho tom qab lub chaw kuaj xyuas puv SAN). Sim dua tam sim ntawd, tsis tas tos ib hmos hauv lub moos: 11 teev pov tseg ntxiv rau 14 teev sim zaum ob, lossis 25 teev rau daim ntawv qhia ua tiav ntawm peb yam ntawd

• Lub sijhawm nruab nrab-rau-ua tiav daim ntawv qhia thoob plaws yim, rov pib dua suav nrog: 18 teev. (Tsib thaum 14, peb thaum 25. Qhov nruab nrab ntawm tag nrho yim tseem yog 14, uas yuav zais cov kev rov pib dua. Yog vim li cas qhov nruab nrab yog qhov pib ntawm no.)

• Lub tshuab cua sov tau teev cia 7 ntawm 8 qhov kev khiav. Lub sijhawm nruab nrab ntawm lub moos txo qis: 3 teev hauv kev sim 14-teev

• Sau ntawv rau ntawm qhov chaw kuaj xyuas: nruab nrab 22 feeb

• Kev tua neeg tsis yog ib qho kev xeem uas lawv yuav dhau tau. Lawv tsis muaj phau ntawv qhia txog kev khiav. Ob qhov kev tuag uas tsis tau xav txog yog qhov nrhiav pom

• Qhov siab tshaj plaws ntawm IT load ntawm ob lub racks thaum lub sijhawm kawm: kwv yees li 18 kW. Kab muaj watts. Nws tsis muaj qhov txias lossis cov ntaub

Tom qab cov khoom hloov cua sov tom qab ntawm ob lub racks ntawd, ib daim ntaub tshwj xeeb ntawm plaub lub nodes, ib lub pas dej NVMe me rau cov chaw kuaj xyuas, 30-feeb chaw kuaj xyuas, thiab phau ntawv pib dua:

• 8 ntawm 8 ua tiav rau thawj zaug sim. Nruab nrab ntawm lub moos phab ntsa: 9 teev

• Lub zog cua sov: 0 ntawm 8

• Chaw Tshawb Xyuas Sau: nruab nrab 90 vib nas this. Qhov phem tshaj plaws hauv pawg: 3 feeb

• Ob qhov kev tua neeg uas tau txhob txwm ua ob zaug rov pib dua los ntawm qhov chaw kuaj xyuas 30 feeb kawg. Lub moos ntxiv rau ob qhov kev khiav ntawd: kwv yees li 40 feeb txhua qhov, suav nrog kev kuaj mob, yog li ob qho ntawd zaum ze li ntawm 9 teev 40 feeb. Nruab nrab thoob plaws yim qhov tseem mus rau 9 teev

• Qhov siab tshaj plaws ntawm IT load tseem yog li 18 kW. Cov chips zoo ib yam. Tus cwj pwm ntawm lub tsev sib txawv

Thoob plaws qhov piv txwv no, lub sijhawm nruab nrab-rau-ua tiav-daim ntawv qhia poob los ntawm 18 teev mus rau 9 teev, lossis 9 teev txhua, 72 teev thoob plaws yim qhov kev khiav. Ua tiav-thawj zaug mus ntawm 5 ntawm 8 mus rau 8 ntawm 8. Throttle mus ntawm 7 ntawm 8 mus rau 0 ntawm 8. Tus lej kawg yog tus uas hais tias lawv puas yuav accelerators lossis paperweights. Lawv yuav tsis hu lub sijhawm hloov pauv ua 50% txuag hauv kev tsim khoom. Yim qhov kev khiav yog ib qho me me, yooj yim teeb tsa.

Cov lej no yog ib qho piv txwv kwv yees raws li qhov kev xeem tau hais, ib qho qauv me me, ib qho qauv, thiab ib lub tsev sib xyaw. Lawv tsis yog PUE, tsis yog lub tsev kawm ntawv megawatt, thiab tsis yog pov thawj tias Kestrel yuav tsum tsim ib qho chaw cob qhia hauv ib daim teb. Kev tshuaj xyuas cov cav ntoo zaum hauv 9 teev; lawv tsis zais nws. Tus lej 18 kW yog kev nyeem ntawv PDU puag ncig, tsis yog daim ntawv them nqi hluav taws xob. Lawv tsis tau hloov 72 teev mus rau hauv tus nqi, vim tias lub Hoobkas tus nqi hluav taws xob sib xyaw yuav ua rau muaj teeb meem lag luam cuav.

Daim tshev pabcuam yog sib cais thiab me dua: 200 daim duab kab mus rau lub thawv laj kab, txhua yam nyob ntawm qhov chaw. Qhov ntawd yog kev xav, tsis yog kev cob qhia. Kev sib xyaw ob qho tib si yuav yog qhov yuam kev sib xyaw-chav hauv me me.

Dab tsi yuav mus tsis ncaj ncees lawm

• Kev yuav khoom pheej hu plaub lub servers ua "lub chaw khaws ntaub ntawv AI". Lub npe zais cov kav dej, thiab kev yuav khoom tom ntej yog GPUs ntxiv rau tib txoj kab mob

• Cov khoom sib pauv ntawm lub qhov rooj tom qab nkag mus thiab tsis muaj leej twg ua haujlwm rau sab dej. Cov kiv cua tseem qw. Lub moos tseem poob qis

• Cov ntaub yog ib lub qhov hloov pauv uas tsis muaj txoj kev seem. Ib qho txuas tsis ua haujlwm thiab "cluster" yog plaub lub chaw ua haujlwm dua

• Cov chaw kuaj xyuas tseem nyob ntawm SAN vim tias NVMe pool yog "theem ob". Theem ob tsis tuaj txog ua ntej lub node tuag tom ntej

• Lawv hais tus nqi PUE rau ob lub txee hauv ib chav sib xyaw. Huab cua, ciam teb, thiab lwm yam ntawm kab ERP ua rau qhov sib piv ntawd yog ib qho kev hnav khaub ncaws

• Kev cob qhia thiab kev pabcuam sib koom cov ntaub. Qhov chaw kuaj xyuas dej nyab ua rau cov kab hauv Hoobkas tos. Lub sijhawm ntev ntawm tus Tsov tus tw yog cov khoom muaj, tsis yog qhov ceev

• Ib lub node tuag thiab ib tug neeg kho nws ua daim pib ua haujlwm tsis yog qhov chaw kuaj xyuas rov pib dua. Cov haujlwm lag luam thiab AI ops tham dhau ib leeg rau ib tav su tag nrho

• Lawv yuav tau xauj ib lub tawb, tsuas yog cov duab tsis tuaj yeem tawm mus. Tsis nco qab qhov kev txwv ntawd ua rau lawv sib tham hauv huab lawv yuav tsum so kom txaus

Kev coj mus siv tau tiag tiag

Lub Chaw Khaws Ntaub Ntawv AI, zoo li no, tsis yog lub tsev rau khoom thiab nws tsis yog daim ntawv them nqi GPU. Nws yog lub cell uas cia cov accelerators ua tiav qhov kev khiav: lub zog uas lawv tuaj yeem tuav, cua sov uas tawm mus, daim ntaub, qhov chaw kuaj xyuas, thiab ib tus neeg nyob ntawm tus nuv thaum tus neeg ua haujlwm tuag. Kestrel tsis xav tau lub tsev kawm ntawv. Lawv xav tau ob lub racks kom tsis txhob ua txuj ua li ntawd. Feem ntau cov pab pawg yuav tsum xauj tus cwj pwm ntawd. Ob peb, nrog cov ntaub ntawv zais cia thiab lub tsev uas tuaj yeem noj cua sov, yuav tsum tsim lub cell thiab tsis kam lees daim swb.

Cov Lus Nug Feem Ntau

Lub Chaw Khaws Cov Ntaub Ntawv AI yog dab tsi?

Ib qho chaw suav lej uas muaj zog, cua txias, kev sib txuas lus, thiab kev cia khoom raug khoov ncig kev cob qhia sib luag thiab kev pabcuam qauv, tsis yog cov kab ntawm cov servers dav dav. Nws tau tsim los kom muaj ntau tus accelerators tuaj yeem cob qhia thiab pabcuam cov qauv yam tsis yaj, stalling ntawm lub network, lossis tos ntawm disk. Ib lub tsev lag luam ib txwm yog ib qho zej zog sib xyaw. Ib lub tsev AI yog ib qho monoculture uas nws qhov chaw muaj nqis yog lub accelerator, xws li GPUs lossis TPU-style chips. Nws zoo li lub tsev rau khoom thiab ua zoo li lub chaw fais fab uas ua lej.

Lub chaw khaws ntaub ntawv AI txawv li cas ntawm lub chaw khaws ntaub ntawv ib txwm muaj?

Cov chaw ua haujlwm ib txwm muaj kev ua haujlwm zoo rau ntau yam kev ua haujlwm thiab lub sijhawm ua haujlwm sib xyaw ua ke ntawm ntau yam kev pabcuam me me. Cov chaw AI hloov pauv qhov sib piv: qhov ceev nce ntxiv, lub network dhau los ua ib daim ntaub uas txoj haujlwm cob qhia tsis tuaj yeem ua haujlwm yam tsis muaj, thiab qhov chaw cia khoom yuav tsum ua kom cov chaw kuaj xyuas txav mus los lossis cov accelerators zaum tsis ua haujlwm. Cov neeg ua haujlwm hauv tuam txhab xav txog daim pib thiab hloov pauv qhov rai. Cov neeg ua haujlwm AI xav txog cov kab haujlwm thiab qhov kev xav mob thaum lub node tuag lig hauv lub sijhawm ntev. Koj tseem tuaj yeem hu rau ob lub chaw khaws ntaub ntawv. Daim ntawv lo tsuas yog zais cov kav dej.

Vim li cas cov chaw khaws ntaub ntawv AI siv zog ntau ua luaj?

Cov khoom siv kho vajtse zoo tshaj plaws tsis yog CPU ntse. Nws yog lub tais accelerator: GPUs lossis lwm cov AI chips, ntim rau hauv cov servers, tom qab ntawd racks, tom qab ntawd kab uas sib koom ua ke ntawm cov ntaub ntawv siab-bandwidth. Qhov ceev ntawm ib lub rack yog qhov twist ntawm zaj dab neeg: tsawg dua racks, txhua tus yog lub cub tawg me me. Megawatts ntawm IT load tshwm sim thaum ib lub tsev puv, txawm hais tias kev tsim ib tus lej ib txwm tsis tsim nyog nws. Qhov txwv tsis pub tshaj plaws feem ntau yog lub substation, tsis yog daim ntawv xav tau ntawm GPUs.

Cov chaw khaws ntaub ntawv AI txias li cas?

Cov khib nyiab uas muaj cov khoom siv ntau dhau yuav tso cua sov tawm hauv txoj kev uas huab cua yeej tsis tau hais kom ua. Koj tuaj yeem thawb cua kom hnyav dua nrog cov khoom sib pauv cua sov tom qab, txoj kev kub dua, thiab kev tswj hwm ntse. Tom qab ntawd cov kua dej tshwm sim: kev txias ncaj qha rau hauv lub chip, cov voj voog txias, thiab kev sib xyaw ua ke hauv ob peb lub qauv. Lub tshuab ua kom lub zog ceev yog ib qho uas koj twb them rau thiab siv tsis tau tag nrho. PUE tseem ceeb vim tias txhua lub watt siv rau cov kiv cua thiab cov twj tso kua mis yog lub watt uas tsis mus rau GPU. Dej nyob hauv zaj dab neeg ib yam nkaus: qee cov nroj tsuag haus, qee qhov nqos.

Vim li cas kev sib txuas lus tseem ceeb npaum li GPUs?

Kev cob qhia yog kev sib tham: ntau txhiab tus accelerators sib pauv gradients, parameters, thiab shards ntawm tus qauv hauv synchronous nruj. Yog tias cov ntaub jitters, tag nrho txoj haujlwm tos ntawm qhov qeeb tshaj plaws. Yog vim li cas AI halls obsess tshaj high-bandwidth networking, qis latency, InfiniBand-ish ntaub lossis Ethernet nyob rau hauv tib lub luag haujlwm, thiab topologies uas tsis quav ib nrab thaum ib qho txuas tsis ua haujlwm. Inference mob siab txog tail latency, ntau qhov kev thov me me, thiab kev cais tawm. Hauv lub tsev no plumbing yog lub tsev noj mov.

Lub Chaw Khaws Ntaub Ntawv AI siv rau dab tsi: kev cob qhia lossis kev xav?

Kev cob qhia yog ib qho kev sib tw: sib sau ua ke ib pawg, pub nws cov ntaub ntawv, kuaj xyuas kev ntseeg, thiab khiav rau ntau teev lossis ntau lub lis piam. Kev xaus yog ib lub khw muag khoom: cov qauv twb tau kawm tiav lawm, tam sim no teb, nrog latency uas tseem ceeb. Cov tsev kawm ntawv cob qhia caum lub zog, av, thiab qhov ceev. Cov chaw xaus nrhiav latency thiab muaj. Cov chaw sib xyaw muaj vim tias peev tsis yog qhov kawg, qee zaum ib lub tsev nrog ob lub voj voog txias. Lub accelerator laus dua me ntsis ze ntawm tus neeg siv khoom tuaj yeem yeej ib qho zoo nkauj nyob deb ntawm lub teb chaws.

Vim li cas qhov chaw cia khoom thiaj tseem ceeb hauv chaw khaws ntaub ntawv AI?

Cov ntaub ntawv kev cob qhia yuav tsum tuaj txog sai txaus kom GPUs tsis kov lawv ko taw. Cov chaw kuaj xyuas yuav tsum tsaws kom qhov kev sib tsoo tsis pov tseg ib lub lim tiam. Qhov hnyav ntawm cov qauv yuav tsum thauj khoom ua ntej qhov kev pabcuam replica nyob. Kev khaws cia, tsis yog tsuas yog lub peev xwm, yog qhov ntsiag to bottleneck. Koj tuaj yeem siv nyiaj ntau rau cov accelerators thiab tshaib plab lawv nrog cov array zoo tsim rau cov tshuab virtual.

Yuav ua li cas thaum ib lub node tuag thaum nruab nrab ntawm kev khiav?

Ib lub accelerator tuag hauv txoj haujlwm cob qhia uas sib txuas zoo tuaj yeem ua rau tag nrho cov pab pawg tsis ua haujlwm. Kev cob qhia xav tau cov chaw kuaj xyuas, tsis yog kev cia siab. Kev xav txog qhov ua rau lub node mob, khaws cov lus teb rov ua dua, thiab nyob twj ywm. Cov qhov rai hloov pauv tseem sib tsoo nrog kev cob qhia khiav uas tsis quav ntsej txog koj daim ntawv qhia hnub. Kev rov ua dua tseem ceeb rau lub zog, kev txias, txoj kev, thiab kev khaws cia, tab sis hom kev ua tsis tiav tsis zoo li cov slide qub cuaj-ntawm uptime.

Qhov cuam tshuam ntawm AI Data Center rau lub grid, dej, thiab cov neeg zej zog yog dab tsi?

Kev sib txuas ntawm lub network feem ntau yog qhov txheej txheem xaiv qhov chaw tiag tiag. Av yooj yim piv rau lub chaw hloov pauv thiab lub chaw siv hluav taws xob uas muaj lwm tus neeg siv khoom. Dej rau kev txias, yog tias koj siv nws, dhau los ua teeb meem rau cov neeg zej zog sai li sai tau thaum nag los tsis zoo, nrog rau suab nrov, pom kev loj, thiab cua sov ntawm lub laj kab ciam teb. Kev cob qhia tuaj yeem nkaum hauv cov lag luam fais fab pheej yig dua thiab huab cua txias dua. Kev xav nyiam nyob ze cov neeg siv. Tsis muaj ib qho chaw zoo tag nrho. Muaj kev sib haum xeeb nrog tsab xov xwm tshaj tawm.

Kuv puas yuav tsum muaj lub chaw khaws ntaub ntawv AI, lossis kuv puas yuav tsum xauj?

Feem ntau cov neeg tsis tas yuav muaj ib lub tsev no. Cov hyperscalers tsim vim tias cov khoom yog cov khoom siv. Cov chaw kuaj mob tsim thaum lub sijhawm queue yog qhov tsis ruaj khov lossis cov ntaub ntawv tsis tuaj yeem tawm mus. Lub tsev txhab nyiaj, tsev kho mob, tsoomfwv, lossis cov chaw tsim khoom nrog cov ntaub ntawv zais cia tuaj yeem ua rau hauv-prem lossis lub tsev khaws puav pheej ntiag tug muaj laj thawj. Txhua tus neeg yuav tsum xauj: AI-ready colocation, huab reservation, lossis pawg tswj hwm. Koj tau txais cov accelerators yam tsis tau dhau los ua tus neeg ua haujlwm fais fab.

Cov ntaub ntawv siv los ua piv txwv

1. IEA - www.iea.org

2. LBNL - datacenters.lbl.gov

3. Lub Rooj Ntsuab - www.thegreengrid.org

4. LBNL - datacenters.lbl.gov

5. LBNL - datacenters.lbl.gov

6. Lub Koom Haum Uptime - journal.uptimeinstitute.com

7. NVIDIA - developer.nvidia.com

8. NVIDIA - docs.nvidia.com

9. NVIDIA - docs.nvidia.com

10. NVIDIA - docs.nvidia.com

11. Google Huab - docs.cloud.google.com

Nrhiav cov AI tshiab kawg ntawm lub khw muag khoom AI Assistant Official

Txog Peb