Edge AI yog dab tsi?

Edge AI thawb kev txawj ntse mus rau qhov chaw uas cov ntaub ntawv yug los. Nws zoo li zoo nkauj, tab sis lub tswv yim tseem ceeb yog yooj yim: ua qhov kev xav ntawm ib sab ntawm lub sensor kom cov txiaj ntsig tshwm sim tam sim no, tsis yog tom qab. Koj tau txais kev ceev, kev ntseeg siab, thiab zaj dab neeg ntiag tug zoo yam tsis muaj huab saib xyuas txhua qhov kev txiav txim siab. Cia peb qhib nws - cov lus qhia luv luv thiab cov haujlwm sab nraud suav nrog. 😅

Cov ntawv uas koj yuav nyiam nyeem tom qab qhov no:

🔗 Dab tsi yog generative AI
Piav qhia meej txog kev tsim cov AI, nws ua haujlwm li cas, thiab kev siv tau.

🔗 Agentic AI yog dab tsi
Kev piav qhia txog tus neeg sawv cev AI, kev coj cwj pwm ywj pheej, thiab cov qauv siv hauv ntiaj teb tiag.

🔗 AI scalability yog dab tsi?
Kawm paub yuav ua li cas los txhim kho AI systems kom ntseeg tau, ua tau zoo, thiab tsim nyog tus nqi.

🔗 Dab tsi yog lub software framework rau AI
Kev piav qhia txog AI software frameworks, cov txiaj ntsig ntawm architecture, thiab cov hauv paus ntawm kev siv.

Edge AI yog dab tsi? Lub ntsiab lus sai 🧭

Edge AI yog kev xyaum ua haujlwm ntawm kev khiav cov qauv kev kawm tshuab uas tau kawm ncaj qha rau ntawm lossis ze ntawm cov khoom siv uas sau cov ntaub ntawv-xov tooj, koob yees duab, neeg hlau, tsheb, hnav tau, cov tswj kev lag luam, koj hais nws. Hloov chaw xa cov ntaub ntawv raw mus rau cov servers deb rau kev tshuaj xyuas, lub cuab yeej ua cov ntaub ntawv hauv zos thiab xa tsuas yog cov ntsiab lus lossis tsis muaj dab tsi hlo li. Tsawg dua kev mus ncig ua si, tsawg dua qeeb, ntau dua kev tswj hwm. Yog tias koj xav tau ib qho kev piav qhia huv si, tus muag khoom-nruab nrab, pib ntawm no. [1]

Dab tsi ua rau Edge AI muaj txiaj ntsig tiag? 🌟

• Qis latency - kev txiav txim siab tshwm sim ntawm lub cuab yeej, yog li cov lus teb zoo li tam sim ntawd rau cov haujlwm pom xws li kev nrhiav khoom, kev ceeb toom lus ceeb toom, lossis kev ceeb toom tsis zoo. [1]

• Kev ceev ntiag tug los ntawm qhov chaw nyob - cov ntaub ntawv rhiab heev tuaj yeem nyob hauv lub cuab yeej, txo qhov kev cuam tshuam thiab pab nrog kev sib tham txog kev txo cov ntaub ntawv. [1]

• Kev txuag bandwidth - xa cov yam ntxwv lossis cov xwm txheej es tsis txhob xa cov kwj deg raw. [1]

• Kev sib txuas lus - ua haujlwm thaum muaj kev sib txuas tsis ruaj khov.

• Kev tswj tus nqi - tsawg dua cov voj voog suav huab thiab qis dua qhov tawm mus.

• Kev paub txog cov ntsiab lus - lub cuab yeej "hnov" ​​​​qhov chaw ib puag ncig thiab hloov kho.

Zaj dab neeg ceev ceev: ib qho kev sim muag khoom tau hloov cov ntaub ntawv upload ntawm lub koob yees duab tas li rau kev faib tawm ntawm tus neeg thiab khoom ntawm lub cuab yeej thiab tsuas yog thawb cov lej teev thiab cov yeeb yaj kiab tshwj xeeb xwb. Qhov tshwm sim: cov lus ceeb toom qis dua 200 ms ntawm ntug txee thiab ~ 90% poob qis hauv kev thauj mus los uplink-tsis hloov pauv cov ntawv cog lus WAN hauv khw. (Txoj kev: kev xaus hauv zos, kev sib sau ua ke ntawm cov xwm txheej, kev tsis sib xws xwb.)

Edge AI vs huab AI - qhov sib piv sai 🥊

• Qhov twg kev suav tshwm sim : ntug = nyob rau ntawm lub cuab yeej / ze ntawm lub cuab yeej; huab = chaw khaws ntaub ntawv nyob deb.

• Latency : ntug ≈ lub sijhawm tiag tiag; huab muaj kev mus ncig ua si.

• Kev txav cov ntaub ntawv : cov lim dej ntug / compresses ua ntej; huab nyiam cov uploads tag nrho-fidelity.

• Kev ntseeg tau : ntug tseem khiav offline; huab xav tau kev sib txuas.

• Kev Tswjfwm : ntug txhawb kev txo cov ntaub ntawv; huab tswj kev saib xyuas hauv nruab nrab. [1]

Nws tsis yog ib qho twg los yog ib qho. Cov txheej txheem ntse sib xyaw ua ke ob qho tib si: kev txiav txim siab sai hauv zos, kev tshuaj xyuas tob dua thiab kev kawm txog cov tsheb thauj khoom hauv nruab nrab. Cov lus teb sib xyaw yog qhov tsis txaus ntseeg - thiab yog lawm.

Edge AI ua haujlwm li cas hauv qab lub hood 🧩

1. Cov sensors ntes cov teeb liab raw-cov thav duab suab, cov pixels ntawm lub koob yees duab, cov kais dej IMU, cov cim kev co.

2. Kev ua ua ntej hloov cov teeb liab ntawd mus ua cov yam ntxwv zoo rau tus qauv.

3. Lub sijhawm ua haujlwm ntawm qhov kev xav ua tiav ib qho qauv me me ntawm lub cuab yeej siv cov accelerators thaum muaj.

4. Kev ua tiav tom qab hloov cov zis mus rau hauv cov xwm txheej, cov ntawv lo, lossis cov kev ua tswj.

5. Telemetry tsuas yog upload cov yam uas muaj txiaj ntsig xwb: cov ntsiab lus luv luv, cov teeb meem tsis zoo, lossis cov lus taw qhia tsis tu ncua.

Cov sijhawm khiav ntawm lub cuab yeej uas koj yuav pom hauv qhov chaw qus suav nrog Google's LiteRT (yav tas los hu ua TensorFlow Lite), ONNX Runtime , thiab Intel's OpenVINO . Cov cuab yeej no nias qhov throughput los ntawm cov peev nyiaj fais fab / nco nruj nrog cov tswv yim zoo li quantization thiab operator fusion. Yog tias koj nyiam cov txiv ntoo thiab bolts, lawv cov ntaub ntawv yog khov kho. [3][4]

Qhov twg nws tshwm sim - cov ntaub ntawv siv tiag tiag koj tuaj yeem taw tes rau 🧯🚗🏭

• Lub zeem muag ntawm ntug : lub koob yees duab qhov rooj (tib neeg piv rau tsiaj), kev tshuaj xyuas txee hauv khw muag khoom, drones pom qhov tsis zoo.

• Lub suab hauv-lub cuab yeej : cov lus tsa suab, kev hais lus, kev kuaj pom qhov xau hauv cov nroj tsuag.

• Kev Lag Luam IoT : cov cav thiab cov twj tso kua mis raug saib xyuas seb puas muaj kev co tsis zoo ua ntej ua tsis tiav.

• Tsheb : kev saib xyuas tus neeg tsav tsheb, kev nrhiav txoj kab, kev pab nres tsheb-sub-second lossis bust.

• Kev Kho Mob : cov khoom siv hnav tau qhia txog kev mob arrhythmias hauv zos; sib dhos cov ntsiab lus tom qab.

• Cov Xov Tooj Smartphones : kev txhim kho duab, kev nrhiav pom spam-hu xov tooj, "kuv lub xov tooj ua li cas thiaj ua tau li ntawd offline".

Rau cov lus txhais raws cai (thiab cov lus hais txog "huab vs ntug"), saib tus qauv NIST. [2]

Cov kho vajtse uas ua rau nws snappy 🔌

Muaj ob peb lub platform uas tau txais kev kuaj xyuas lub npe ntau heev:

• NVIDIA Jetson - GPU-powered modules rau robots/camera-Swiss-Army-rifle vibes rau embedded AI.

• Google Edge TPU + LiteRT - kev xam lej zoo thiab lub sijhawm ua haujlwm yooj yim rau cov haujlwm uas siv hluav taws xob tsawg heev. [3]

• Apple Neural Engine (ANE) - ML nruj rau ntawm iPhone, iPad, thiab Mac; Apple tau tshaj tawm cov haujlwm ua tau zoo ntawm kev xa cov transformers kom zoo rau ntawm ANE. [5]

• Intel CPUs/iGPUs/NPUs nrog OpenVINO - "sau ib zaug, xa mus rau txhua qhov chaw" thoob plaws Intel kho vajtse; kev ua kom zoo dua qub dhau mus.

• ONNX Runtime txhua qhov chaw - lub sijhawm khiav nruab nrab nrog cov neeg muab kev pabcuam ua haujlwm pluggable thoob plaws xov tooj, PCs, thiab gateways. [4]

Koj puas xav tau tag nrho lawv? Tsis yog tiag tiag. Xaiv ib txoj kev muaj zog uas haum rau koj cov pab pawg thiab ua raws li nws-churn yog tus yeeb ncuab ntawm cov pab pawg embedded.

Cov software stack - kev ncig xyuas luv luv 🧰

• Kev nias qauv : kev ntsuas (feem ntau rau int8), pruning, distillation.

• Kev ua kom nrawm dua ntawm tus neeg teb xov tooj : cov kernels uas tau hloov kho rau koj lub silicon.

• Runtimes : LiteRT, ONNX Runtime, OpenVINO. [3][4]

• Cov ntawv qhwv rau kev xa tawm : cov thawv / cov pob khoom app; qee zaum microservices ntawm lub rooj vag.

• MLOps rau ntug : OTA qauv hloov tshiab, A/B rollout, telemetry loops.

• Kev tswj hwm kev ceev ntiag tug & kev ruaj ntseg : kev encryption ntawm lub cuab yeej, kev ruaj ntseg khau raj, kev lees paub, enclaves.

Mini-case: ib pab neeg soj ntsuam drone tau lim lub tshuab ntes hnyav rau hauv tus qauv tub ntxhais kawm uas tau suav rau LiteRT, tom qab ntawd muab NMS tso rau hauv lub cuab yeej. Lub sijhawm ya tau zoo dua ~ 15% ua tsaug rau qhov kev suav lej qis dua; qhov ntim upload tau txo qis rau cov thav duab tshwj xeeb. (Txoj kev: kev ntes cov ntaub ntawv ntawm qhov chaw, kev ntsuas tom qab suav, hom duab ntxoov ntxoo A / B ua ntej kev xa tawm tag nrho.)

Cov lus sib piv - cov kev xaiv Edge AI nrov 🧪

Kev tham tiag tiag: lub rooj no muaj kev xav thiab me ntsis qias neeg - zoo li lub ntiaj teb tiag.

Yuav ua li cas xaiv txoj kev Edge AI - tsob ntoo txiav txim siab me me 🌳

• Nyuaj rau koj lub neej tiag tiag? Pib nrog cov accelerators + cov qauv quantized.

• Muaj ntau hom khoom siv? Nyiam ONNX Runtime lossis OpenVINO rau kev yooj yim nqa. [4]

• Xa ib lub mobile app? LiteRT yog txoj kev uas tsis tshua muaj kev tawm tsam. [3]

• Kev siv neeg hlau los yog kev tshuaj xyuas lub koob yees duab? Jetson txoj haujlwm GPU-phooj ywg txuag lub sijhawm.

• Txoj cai tswjfwm ntiag tug nruj heev? Khaws cov ntaub ntawv hauv zos, encrypt thaum so, sau cov ntaub ntawv sib sau ua ke tsis yog cov duab raw.

• Pab neeg me me? Tsis txhob siv cov cuab yeej txawv txawv - kev tho txawv yog qhov zoo nkauj.

• Cov qauv yuav hloov pauv ntau zaus? Npaj OTA thiab telemetry txij hnub thawj.

Kev pheej hmoo, kev txwv, thiab cov khoom tsis lom zem tab sis tseem ceeb 🧯

• Qauv hloov pauv - ib puag ncig hloov pauv; saib xyuas kev faib tawm, khiav cov hom duab ntxoov ntxoo, rov qhia dua tsis tu ncua.

• Cov qab nthab suav - lub cim xeeb nruj / lub zog yuam cov qauv me dua lossis qhov tseeb so.

• Kev Ruaj Ntseg - xav tias nkag mus rau lub cev; siv khau raj ruaj ntseg, cov khoom cuav kos npe, kev lees paub, cov kev pabcuam tshwj xeeb tsawg kawg nkaus.

• Kev tswj hwm cov ntaub ntawv - kev ua cov txheej txheem hauv zos pab tau, tab sis koj tseem xav tau kev tso cai, kev khaws cia, thiab kev ntsuas telemetry.

• Kev ua haujlwm ntawm pawg neeg ua haujlwm - cov khoom siv yuav tawm mus thaum lub sijhawm phem tshaj plaws; tsim cov kev hloov tshiab uas raug ncua thiab cov uploads uas rov pib dua.

• Kev sib xyaw ua ke ntawm cov txuj ci - embedded + ML + DevOps yog ib pab neeg sib txawv; cob qhia ua ke thaum ntxov.

Ib daim ntawv qhia kev siv tau zoo los xa ib yam dab tsi muaj txiaj ntsig 🗺️

1. Xaiv ib qho kev siv uas muaj qhov ntsuas tau qhov tsis zoo ntawm Kab 3, lo lus ceeb toom ntawm lub tshuab hais lus ntse, thiab lwm yam.

2. Sau cov ntaub ntawv huv si uas phim qhov chaw ib puag ncig; txhaj suab nrov kom phim qhov tseeb.

3. Prototype ntawm lub khoom siv dev ze rau cov khoom siv tsim khoom.

4. Siv kev ntsuas/txiav cov qauv kom me me; ntsuas qhov tsis raug qhov tseeb kom ncaj ncees. [3]

5. Qhwv qhov kev xav hauv API huv si nrog backpressure thiab watchdogs-vim tias cov khoom siv dai thaum 2 teev sawv ntxov

6. Tsim cov telemetry uas hwm kev ceev ntiag tug: xa suav, histograms, cov yam ntxwv rho tawm ntawm ntug.

7. Kev ruaj ntseg Harden : cov binaries kos npe, khau raj ruaj ntseg, cov kev pabcuam tsawg kawg nkaus qhib.

8. Txoj Kev Npaj OTA : kev xa tawm staggered, canaries, instant rollback.

9. sim tsav lub dav hlau hauv lub ces kaum uas muaj teeb meem loj - yog tias nws tseem muaj sia nyob ntawd, nws yuav tseem muaj sia nyob txhua qhov chaw.

10. Ntsuas nrog phau ntawv ua si : koj yuav ntxiv cov qauv li cas, tig cov yuam sij, khaws cov ntaub ntawv li cas - yog li qhov project #2 tsis yog kev ntxhov siab.

Cov Lus Nug Feem Ntau - cov lus teb luv luv rau Dab Tsi Yog Edge AI curiosities ❓

Puas yog Edge AI tsuas yog khiav ib lub qauv me me ntawm lub khoos phis tawj me me xwb?
Feem ntau, yog - tab sis qhov loj me tsis yog tag nrho zaj dab neeg. Nws kuj yog hais txog cov peev nyiaj latency, cov lus cog tseg ntiag tug, thiab kev tswj hwm ntau lub cuab yeej ua haujlwm hauv zos tab sis kawm thoob ntiaj teb. [1]

Kuv puas tuaj yeem cob qhia ntawm ntug thiab?
Kev cob qhia/kev kho kom haum rau tus kheej uas tsis hnyav heev ntawm lub cuab yeej muaj; kev cob qhia hnyav dua tseem khiav hauv nruab nrab. ONNX Runtime sau cov kev xaiv cob qhia ntawm lub cuab yeej yog tias koj nyiam ua si. [4]

Edge AI vs fog computing yog dab tsi?
Fog thiab edge yog cov kwv tij txheeb ze. Ob leeg coj compute los ze rau cov ntaub ntawv, qee zaum ntawm cov rooj vag ze. Rau cov lus txhais thiab cov ntsiab lus raug cai, saib NIST. [2]

Puas yog Edge AI yeej ib txwm txhim kho kev ceev ntiag tug?
Nws pab tau - tab sis nws tsis yog khawv koob. Koj tseem xav tau kev txo qis, kev hloov kho tshiab kom ruaj ntseg, thiab kev sau cia kom zoo. Kho kev ceev ntiag tug ua ib qho kev coj ua, tsis yog ib qho checkbox.

Kev kawm tob tob uas koj yuav nyeem tau tiag tiag 📚

1) Kev ua kom zoo dua qub uas tsis ua rau puas tsuaj rau qhov tseeb

Kev suav lej tuaj yeem txo qhov nco thiab ua kom cov haujlwm ceev dua, tab sis calibrate nrog cov ntaub ntawv sawv cev lossis tus qauv yuav ua rau pom cov nas tsuag qhov twg muaj cov tsheb khiav. Distillation-tus xib fwb qhia tus tub ntxhais kawm me dua-feem ntau khaws cov lus txhais. [3]

2) Lub sijhawm ua haujlwm ntawm kev txiav txim siab ntug hauv kev xyaum

LiteRT tus neeg txhais lus yog txhob txwm ua kom lub cim xeeb tsis muaj zog thaum lub sijhawm khiav. ONNX Runtime txuas rau hauv cov accelerators sib txawv ntawm cov neeg muab kev pabcuam ua tiav. Tsis muaj ib qho twg yog lub mos txwv nyiaj; ob qho tib si yog cov rauj khov kho. [3][4]

3) Kev ruaj khov hauv hav zoov

Kub, plua plav, fais fab tsis ruaj khov, Wi-Fi tsis ua haujlwm zoo: tsim cov neeg saib xyuas uas rov pib dua cov kav dej, khaws cov kev txiav txim siab, thiab sib haum xeeb thaum lub network rov qab los. Tsis zoo nkauj npaum li cov neeg mloog lub taub hau - tseem ceeb dua.

Cov lus uas koj yuav hais dua hauv cov rooj sib tham - Edge AI yog dab tsi 🗣️

Edge AI txav kev txawj ntse ze rau cov ntaub ntawv kom ua tau raws li cov kev txwv ntawm latency, kev ceev ntiag tug, bandwidth, thiab kev ntseeg tau. Lub khawv koob tsis yog ib lub chip lossis framework - nws yog xaiv qhov zoo los xam qhov twg.

Cov Lus Kawg - Ntev Dhau Lawm, Kuv Tsis Tau Nyeem Nws 🧵

Edge AI khiav cov qauv ze ntawm cov ntaub ntawv kom cov khoom xav tias ceev, ntiag tug, thiab ruaj khov. Koj yuav sib xyaw cov kev xav hauv zos nrog kev saib xyuas huab rau qhov zoo tshaj plaws ntawm ob lub ntiaj teb. Xaiv lub sijhawm khiav uas phim koj cov khoom siv, siv cov accelerators thaum koj ua tau, khaws cov qauv kom huv si nrog kev sib sau ua ke, thiab tsim cov haujlwm fleet zoo li koj txoj haujlwm nyob ntawm nws - vim tias, zoo, nws yuav. Yog tias ib tug neeg nug Edge AI yog dab tsi , hais tias: kev txiav txim siab ntse, ua hauv zos, raws sijhawm. Tom qab ntawd luag nyav thiab hloov cov ncauj lus rau roj teeb. 🔋🙂

Cov ntaub ntawv siv los ua piv txwv

1. IBM - Edge AI yog dab tsi? (txhais, cov txiaj ntsig).
   https://www.ibm.com/think/topics/edge-ai

2. NIST - SP 500-325: Fog Computing Conceptual Model (cov ntsiab lus raug cai rau fog/ntug).
   https://csrc.nist.gov/pubs/sp/500/325/final

3. Google AI Edge - LiteRT (yav tas los hu ua TensorFlow Lite) (lub sijhawm khiav, kev ntsuas, kev tsiv teb tsaws chaw).
   https://ai.google.dev/edge/litert

4. ONNX Runtime - Kev Kawm Hauv Cov Khoom Siv (kev kawm siv tau yooj yim + kev kawm ntawm cov khoom siv ntug).
   https://onnxruntime.ai/docs/get-started/training-on-device.html

5. Kev Tshawb Fawb Txog Kev Kawm Tshuab Apple - Kev Siv Transformers rau ntawm Apple Neural Engine (ANE cov ntawv sau txog kev ua haujlwm zoo).
   https://machinelearning.apple.com/research/neural-engine-transformers

Nrhiav cov AI tshiab kawg ntawm lub khw muag khoom AI Assistant Official

Txog Peb