AI upscaling ua haujlwm li cas

AI Upscaling ua haujlwm li cas?

Lus teb luv luv: AI upscaling ua haujlwm los ntawm kev cob qhia tus qauv ntawm cov duab qis thiab siab sib txuas, tom qab ntawd siv nws los kwv yees cov pixels ntxiv uas ntseeg tau thaum lub sijhawm upscaling. Yog tias tus qauv tau pom cov qauv zoo sib xws lossis lub ntsej muag hauv kev cob qhia, nws tuaj yeem ntxiv cov ntsiab lus ntseeg tau; yog tias tsis yog, nws yuav "ua rau pom tsis meej" cov khoom cuav xws li halos, daim tawv nqaij nplaum, lossis flicker hauv video.

Cov ntsiab lus tseem ceeb:

Kev Kwv Yees : Tus qauv tsim cov ntsiab lus tsim nyog, tsis yog kev lees paub rov tsim dua qhov tseeb.

Kev xaiv qauv : CNNs feem ntau yuav ruaj khov dua; GANs tuaj yeem zoo li ntse dua tab sis muaj kev pheej hmoo tsim cov yam ntxwv.

Kev kuaj xyuas cov khoom qub : Saib xyuas cov halos, cov qauv rov ua dua, "yuav luag cov ntawv", thiab cov ntsej muag yas.

Kev ruaj khov ntawm cov yeeb yaj kiab : Siv cov txheej txheem ib ntus lossis koj yuav pom kev ci ntsa iab thiab txav mus los.

Kev siv uas muaj feem cuam tshuam loj : Yog tias qhov tseeb tseem ceeb, qhia txog kev ua tiav thiab kho cov txiaj ntsig ua piv txwv.

AI upscaling ua haujlwm li cas? Infographic.

Tej zaum koj twb tau pom nws lawm: ib daim duab me me, crunchy hloov mus ua ib yam dab tsi crisp txaus rau luam tawm, streaming, lossis tso rau hauv kev nthuav qhia yam tsis muaj kev ntxhov siab. Nws zoo li kev dag ntxias. Thiab - hauv txoj kev zoo tshaj plaws - nws zoo li yog 😅

Yog li, AI Upscaling ua haujlwm li cas los ntawm qee yam tshwj xeeb dua li "lub khoos phis tawj txhim kho cov ntsiab lus" (tes-wavy) thiab ze rau "tus qauv kwv yees cov qauv siab-resolution raws li cov qauv uas nws tau kawm los ntawm ntau qhov piv txwv" ( Kev Kawm Sib Sib Zog rau Duab Super-resolution: Ib Daim Ntawv Soj Ntsuam ). Cov kauj ruam kwv yees ntawd yog tag nrho qhov kev ua si - thiab nws yog vim li cas AI upscaling tuaj yeem zoo nkauj heev ... lossis me ntsis yas ... lossis zoo li koj tus miv loj hlob ntxiv whiskers.

Cov ntawv uas koj yuav nyiam nyeem tom qab qhov no:

🔗 AI ua haujlwm li cas
Kawm txog cov qauv, cov ntaub ntawv, thiab kev xaus lus hauv AI.

🔗 Yuav ua li cas AI kawm
Saib seb cov ntaub ntawv cob qhia thiab cov lus taw qhia txhim kho kev ua tau zoo ntawm tus qauv li cas dhau sijhawm.

🔗 Yuav ua li cas AI nrhiav tau qhov txawv txav
To taub cov qauv kab ke thiab AI cim cov cwj pwm txawv txawv sai li cas.

🔗 Yuav ua li cas AI kwv yees cov qauv
Tshawb nrhiav cov txheej txheem kwv yees uas pom cov cim qhia thiab kwv yees qhov xav tau yav tom ntej.

Yuav ua li cas AI Upscaling ua haujlwm: lub tswv yim tseem ceeb, hauv cov lus txhua hnub 🧩

Kev nce qib txhais tau tias ua kom muaj kev daws teeb meem ntau dua: ntau pixels, duab loj dua. Kev nce qib ib txwm muaj (zoo li bicubic) feem ntau ncab cov pixels thiab ua kom du kev hloov pauv ( Bicubic interpolation ). Nws zoo, tab sis nws tsis tuaj yeem tsim tshiab - nws tsuas yog interpolates.

Kev nce qib AI sim ua qee yam uas ua rau neeg xav ntau dua (uas yog "super-resolution" hauv ntiaj teb kev tshawb fawb) ( Kev Kawm Sib Sib Rau Duab Super-resolution: Ib Daim Ntawv Soj Ntsuam ):

  • Nws saib cov tswv yim qis-res

  • Paub txog cov qauv (ntug, cov qauv, cov yam ntxwv ntawm lub ntsej muag, cov ntawv sau, cov ntaub sib xyaw ...)

  • Kwv yees seb qhov version siab dua yuav tsum zoo li cas

  • Tsim cov ntaub ntawv pixel ntxiv uas haum rau cov qauv ntawd

Tsis yog "rov qab kho qhov tseeb kom zoo tag nrho," zoo li "ua qhov kev kwv yees ntseeg tau heev" ( Image Super-Resolution Using Deep Convolutional Networks (SRCNN) ). Yog tias qhov ntawd zoo li me ntsis txawv txawv, koj tsis yuam kev - tab sis nws kuj yog vim li cas nws ua haujlwm zoo heev 😄

Thiab yog, qhov no txhais tau tias AI upscaling yog qhov tswj hwm kev ua khawv koob ... tab sis hauv txoj kev tsim khoom, pixel-respecting.

Dab tsi ua rau muaj qhov zoo ntawm AI upscaling? ✅🛠️

Yog tias koj tab tom txiav txim siab txog AI upscaler (lossis qhov chaw teeb tsa), ntawm no yog qhov tseem ceeb tshaj plaws:

  • Rov qab kho cov ntsiab lus yam tsis tau ua noj ntau dhau.
    Kev nce qib zoo ua rau cov zaub ntsuab thiab cov qauv zoo, tsis yog suab nrov lossis cov qhov hws cuav.

  • Kev qhuab qhia ntug
    Cov kab huv si tseem huv si. Cov qauv tsis zoo ua rau ntug co lossis tawg paj.

  • Kev ua kom zoo li cov qauv tiag tiag
    Cov plaub hau yuav tsum tsis txhob dhau los ua ib daim txhuam pleev xim. Lub cib yuav tsum tsis txhob dhau los ua ib daim ntawv cim qauv rov ua dua.

  • Kev tswj suab nrov thiab kev nias
    ntau cov duab txhua hnub yog JPEG tuag. Ib qho upscaler zoo tsis ua rau qhov kev puas tsuaj ntawd loj dua ( Real-ESRGAN ).

  • Kev Paub Txog Lub Ntsej Muag thiab Cov Ntawv Sau
    Lub ntsej muag thiab cov ntawv sau yog qhov chaw yooj yim tshaj plaws los pom qhov yuam kev. Cov qauv zoo kho lawv zoo (lossis muaj cov hom kev tshwj xeeb).

  • Kev sib xws thoob plaws cov thav duab (rau cov yeeb yaj kiab)
    Yog tias cov ntsiab lus flickers thav duab-rau-ncej, koj lub qhov muag yuav qw. Video upscaling ciaj sia lossis tuag los ntawm kev ruaj khov ntawm lub sijhawm ( BasicVSR (CVPR 2021) ).

  • Kev tswj hwm uas muaj txiaj ntsig
    Koj xav tau cov sliders uas qhia txog cov txiaj ntsig tiag tiag: denoise, deblur, artifact removal, grain retention, sharpening ... cov khoom siv tau.

Ib txoj cai ntsiag to uas tuav tau: qhov "zoo tshaj plaws" upscaling feem ntau yog qhov koj tsis tshua pom. Nws zoo li koj muaj lub koob yees duab zoo dua los pib nrog 📷✨

Rooj Sib Piv: cov kev xaiv AI upscaling nrov (thiab lawv zoo rau dab tsi) 📊🙂

Hauv qab no yog kev sib piv uas siv tau. Cov nqi tsis meej vim tias cov cuab yeej sib txawv raws li daim ntawv tso cai, cov pob khoom, cov nqi xam, thiab txhua yam lom zem.

Cov Cuab Yeej / Txoj Kev Zoo tshaj plaws rau Tus nqi vibe Vim li cas nws ua haujlwm (kwv yees)
Cov cuab yeej ua kom zoo nkauj hauv desktop zoo li Topaz ( Duab Topaz , Yees Duab Topaz ) Cov duab, video, kev ua haujlwm yooj yim Them nqi Cov qauv dav dav muaj zog + ntau qhov kev kho kom zoo, feem ntau "ua haujlwm xwb" ... feem ntau
Cov yam ntxwv ntawm Adobe "Super Resolution" ( Adobe Enhance > Super Resolution ) Cov kws thaij duab twb nyob hauv lub ecosystem ntawd lawm Kev Sau Npe-y Kev kho dua tshiab kom meej, feem ntau yog kev ceev faj (tsis tshua muaj kev ua yeeb yam)
Cov kev hloov pauv tiag tiag-ESRGAN / ESRGAN ( Real-ESRGAN , ESRGAN ) DIY, cov neeg tsim khoom, cov haujlwm ua ke Dawb (tab sis lub sijhawm kim heev) Zoo heev ntawm cov qauv ntxaws ntxaws, tuaj yeem ua rau ntsej muag ntsim yog tias koj tsis ceev faj
Cov hom kev nce qib raws li kev sib kis ( SR3 ) Kev ua haujlwm muaj tswv yim, cov txiaj ntsig zoo nkauj Sib xyaw Muaj peev xwm tsim cov ntsiab lus zoo nkauj - kuj tuaj yeem tsim cov lus tsis muaj tseeb, yog li ... yog
Cov cuab yeej ua kom qhov kev ua si zoo dua (DLSS/FSR-style) ( Nvidia DLSS , AMD FSR 2 ) Kev ua si tiag tiag thiab kev ua yeeb yam Muab ntim ua ke Siv cov ntaub ntawv txav mus los thiab cov kev kawm ua ntej - yeej kev ua tau zoo du 🕹️
Cov kev pab cuam upscaling huab Kev yooj yim, yeej sai Them ib zaug siv Ceev + scalable, tab sis koj pauv kev tswj hwm thiab qee zaum subtlety
Cov cuab yeej AI upscalers uas tsom mus rau video ( BasicVSR , Topaz Video ) Cov yeeb yaj kiab qub, anime, cov ntaub ntawv khaws cia Them nqi Cov tswv yim siv sijhawm los txo qhov flicker + cov qauv video tshwj xeeb
Kev nce qib ntawm xov tooj ntse / chaw tso duab Siv yooj yim suav nrog Cov qauv sib dua uas tau kho kom zoo rau cov zis tawm, tsis yog qhov zoo tag nrho (tseem siv tau yooj yim)

Kev lees txim txog kev teeb tsa quirk: "Paid-ish" ua haujlwm ntau heev hauv lub rooj ntawd. Tab sis koj nkag siab lub tswv yim 😅

Qhov zais cia loj: cov qauv kawm txog kev kos duab los ntawm qhov tsis zoo mus rau qhov tsis zoo 🧠➡️🖼️

Lub plawv ntawm feem ntau AI upscaling yog kev teeb tsa kev kawm uas muaj kev saib xyuas ( Image Super-Resolution Using Deep Convolutional Networks (SRCNN) ):

  1. Pib nrog cov duab siab daws teeb meem (qhov "qhov tseeb")

  2. Txo lawv mus rau cov qauv qis-kev daws teeb meem (cov "tswv yim")

  3. Qhia ib tug qauv kom rov tsim dua qhov qub high-res los ntawm qhov low-res

Nyob rau lub sijhawm dhau los, tus qauv kawm txog kev sib raug zoo xws li:

  • "Hom kev tsis meej pem no nyob ib puag ncig lub qhov muag feem ntau yog los ntawm cov plaub muag"

  • "Cov pixel cluster no feem ntau qhia txog cov ntawv serif"

  • "Qhov kev hloov pauv ntawm ntug no zoo li kab ntawm lub ru tsev, tsis yog suab nrov random."

Nws tsis yog kev cim cov duab tshwj xeeb (hauv lub ntsiab lus yooj yim), nws yog kev kawm cov qauv lej ( Kev Kawm Sib Sib Zog rau Duab Super-resolution: Ib Daim Ntawv Soj Ntsuam ). Xav txog nws zoo li kev kawm cov qauv sau ntawv ntawm cov qauv thiab cov npoo. Tsis yog cov qauv sau paj huam, zoo li ... IKEA phau ntawv sau ntawv 🪑📦 (lus piv txwv tsis zoo, tab sis ze txaus).

Cov txiv ntoo thiab cov ntsia hlau: dab tsi tshwm sim thaum lub sijhawm xam (thaum koj upscale) ⚙️✨

Thaum koj pub ib daim duab rau hauv AI upscaler, feem ntau muaj cov kav dej zoo li no:

  • Kev Ua Ntej

  • Kev rho tawm nta

    • Cov txheej thaum ntxov ntes tau cov npoo, cov ces kaum, thiab cov gradients

    • Cov txheej tob dua pom cov qauv: cov qauv, cov duab, cov khoom ntawm lub ntsej muag

  • Kev tsim kho dua tshiab

    • Tus qauv tsim daim ntawv qhia feature uas muaj resolution siab dua

    • Tom qab ntawd hloov qhov ntawd mus rau hauv cov zis pixel tiag tiag

  • Kev ua tiav tom qab

    • Kev xaiv ntse

    • Kev xaiv denoise

    • Kev xaiv cov khoom cuav (ringing, halos, blockiness)

Ib qho me me xwb: muaj ntau yam cuab yeej zoo nkauj dua hauv cov vuas, tom qab ntawd sib tov cov seams. Cov cuab yeej zoo heev zais cov ciam teb ntawm cov vuas. Cov cuab yeej me me tawm cov cim me me yog tias koj ntsia. Thiab yog, koj yuav ntsia, vim tias tib neeg nyiam tshuaj xyuas cov qhov tsis zoo me me ntawm 300% zoom zoo li cov gremlins me me 🧌

Cov qauv tsev neeg tseem ceeb siv rau AI upscaling (thiab vim li cas lawv thiaj xav tias txawv) 🤖📚

1) CNN-based super-resolution (tus qauv ua haujlwm qub)

Cov tes hauj lwm neural convolutional zoo heev ntawm cov qauv hauv zos: ntug, cov qauv, cov qauv me me ( Image Super-Resolution Using Deep Convolutional Networks (SRCNN) ).

  • Zoo: ceev ceev, ruaj khov, tsawg dua qhov xav tsis thoob

  • Qhov tsis zoo: yuav zoo li me ntsis "ua tiav" yog tias thawb hnyav

2) Kev nce qib raws li GAN (ESRGAN-style) 🎭

GANs (Generative Adversarial Networks) cob qhia lub tshuab hluav taws xob kom tsim cov duab siab-res uas tus neeg faib tawm tsis tuaj yeem paub qhov txawv ntawm cov duab tiag tiag ( Generative Adversarial Networks ).

  • Zoo: cov ntsiab lus punchy, impressive textures

  • Qhov Tsis Zoo: tuaj yeem tsim cov ntsiab lus uas tsis muaj - qee zaum yuam kev, qee zaum txawv txawv ( SRGAN , ESRGAN )

Ib tug GAN tuaj yeem muab qhov ntse uas ua rau koj xav tsis thoob. Nws kuj tseem tuaj yeem ua rau koj tus neeg thaij duab muaj qhov muag ntxiv. Yog li ... xaiv koj cov kev sib ntaus sib tua 😬

3) Kev nce qib raws li kev sib kis (tus cwj pwm muaj tswv yim) 🌫️➡️🖼️

Cov qauv diffusion denoise ib kauj ruam zuj zus thiab tuaj yeem raug coj los tsim cov ntsiab lus siab ( SR3 ).

  • Zoo: tuaj yeem ua tau zoo heev ntawm cov ntsiab lus tsim nyog, tshwj xeeb tshaj yog rau kev ua haujlwm muaj tswv yim

  • Qhov Tsis Zoo: tuaj yeem ploj ntawm tus kheej / qauv qub yog tias qhov chaw teeb tsa nruj ( SR3 )

Qhov no yog qhov uas "upscaling" pib sib xyaw ua ke rau hauv "reimagining." Qee zaum qhov ntawd yog qhov koj xav tau. Qee zaum nws tsis yog.

4) Kev nce qib video nrog kev sib xws ntawm lub sijhawm 🎞️

Kev nce qib video feem ntau ntxiv cov kev xav txog kev txav mus los:

  • Siv cov thav duab sib ze los ua kom cov ntsiab lus ruaj khov ( BasicVSR (CVPR 2021) )

  • Sim kom tsis txhob muaj kev cuam tshuam thiab cov khoom cuav nkag mus

  • Feem ntau muab kev daws teeb meem zoo tshaj plaws nrog rau denoise thiab deinterlacing ( Topaz Video )

Yog tias kev nce qib duab zoo li rov kho dua ib daim duab, kev nce qib video zoo li rov kho dua ib phau ntawv flipbook yam tsis ua rau tus cwj pwm lub qhov ntswg hloov pauv txhua nplooj ntawv. Uas yog ... nyuaj dua li nws suab.

Vim li cas AI upscaling qee zaum zoo li cuav (thiab yuav ua li cas thiaj paub nws) 👀🚩

Kev txhim kho AI tsis ua haujlwm zoo li qub. Thaum koj kawm cov qauv, koj yuav pom lawv txhua qhov chaw, zoo li yuav lub tsheb tshiab thiab mam li pom tus qauv ntawd ntawm txhua txoj kev 😵💫

Common hais tias:

  • Siv tshuaj pleev rau ntawm daim tawv nqaij ntawm lub ntsej muag (ntau dhau denoise + smoothing)

  • Cov halos ntse dhau nyob ib puag ncig ntug (chaw "overshoot" qub) ( Bicubic interpolation )

  • Cov qauv rov ua dua (phab ntsa cib ua cov qauv theej-muab tshuaj txhuam)

  • Crunchy micro-contrast uas qw "algorithm"

  • Cov ntawv puas tsuaj uas cov ntawv yuav luag dhau los ua ntawv (hom phem tshaj plaws)

  • Kev sib txawv ntawm cov ntsiab lus uas cov yam ntxwv me me hloov pauv me ntsis, tshwj xeeb tshaj yog nyob rau hauv cov txheej txheem sib kis ( SR3 )

Qhov nyuaj: qee zaum cov khoom siv no zoo li "zoo dua" thaum saib ib pliag. Koj lub hlwb nyiam qhov ntse. Tab sis tom qab ib pliag, nws zoo li ... tsis ua haujlwm.

Ib txoj kev zoo yog zoom tawm thiab xyuas seb nws puas zoo li qub ntawm qhov deb saib ib txwm. Yog tias nws tsuas zoo li zoo ntawm 400% zoom, qhov ntawd tsis yog qhov yeej, qhov ntawd yog kev nyiam ua si 😅

Yuav ua li cas AI Upscaling ua haujlwm: sab kev cob qhia, tsis muaj mob taub hau lej 📉🙂

Kev cob qhia cov qauv super-resolution feem ntau suav nrog:

Cov hom kev poob ib txwm muaj:

  • Kev poob pixel (L1/L2)
    Txhawb kom muaj qhov tseeb. Muaj peev xwm tsim cov txiaj ntsig me ntsis mos.

  • Kev poob ntawm kev pom
    piv rau cov yam ntxwv tob dua (xws li "qhov no puas zoo sib xws") es tsis yog cov pixels tseeb ( Kev poob ntawm kev pom (Johnson et al., 2016) ).

  • Kev poob ntawm kev sib tw (GAN)
    Txhawb kom muaj qhov tseeb, qee zaum ntawm tus nqi ntawm qhov tseeb ( SRGAN , Generative Adversarial Networks ).

Muaj kev sib tw khiav tas li:

  • Ua kom nws ncaj ncees rau tus thawj
    vs

  • Ua kom nws zoo nkauj visually

Cov cuab yeej sib txawv nyob rau hauv qhov chaw sib txawv ntawm qhov spectrum ntawd. Thiab koj yuav nyiam ib qho nyob ntawm seb koj puas rov kho cov duab tsev neeg lossis npaj ib daim ntawv tshaj tawm uas "zoo nkauj" tseem ceeb dua li qhov tseeb ntawm kev tshuaj xyuas.

Cov txheej txheem ua haujlwm: cov duab, cov duab scan qub, anime, thiab video 📸🧾🎥

Cov duab (duab, toj roob hauv pes, cov duab khoom)

Kev coj ua zoo tshaj plaws feem ntau yog:

  • Ua ntej tshem tawm suab nrov me ntsis (yog tias xav tau)

  • Kev teeb tsa zoo nrog cov qauv ruaj khov

  • Ntxiv cov nplej rov qab yog tias tej yam zoo li du dhau (yog, tiag tiag)

Cov nplej zoo li ntsev. Noj ntau dhau ua rau pluag mov puas tsuaj, tab sis tsis muaj ib qho twg uas saj tiaj tiaj li

Cov duab scan qub thiab cov duab compressed hnyav

Cov no nyuaj dua vim tias tus qauv yuav kho cov blocks compression ua "texture."
Sim ua:

  • Kev tshem tawm lossis kev tshem tawm cov khoom cuav

  • Tiam sis kev ua lag luam loj heev

  • Tom qab ntawd ua kom lub teeb ci ntsa iab (tsis txhob ntau dhau ... Kuv paub, txhua tus hais li ntawd, tab sis tseem)

Anime thiab kab kos duab

Cov txiaj ntsig ntawm kev kos duab kab los ntawm:

  • Cov qauv uas khaws cov npoo huv si

  • Txo cov qauv kev ua kom pom kev tsis meej.
    Anime upscaling feem ntau zoo nkauj vim tias cov duab yooj yim dua thiab sib xws. (Muaj hmoo.)

Yees duab

Video ntxiv cov kauj ruam ntxiv:

  • Tshem tawm suab nrov

  • Deinterlace (rau qee qhov chaw)

  • Zoo nkauj heev

  • Kev ua kom du lossis ruaj khov ntawm lub sijhawm ( BasicVSR (CVPR 2021) )

  • Kev xaiv rov qab cog qoob loo rau kev sib koom ua ke

Yog koj hla dhau qhov kev sib xws ntawm lub sijhawm, koj yuav pom qhov ci ntsa iab ntawm cov ntsiab lus. Thaum koj pom nws, koj yuav tsis pom nws dua. Zoo li lub rooj zaum squeaky hauv chav ntsiag to 😖

Xaiv qhov chaw yam tsis tas yuav kwv yees ntau dhau (daim ntawv qhia me me) 🎛️😵💫

Nov yog lub tswv yim pib zoo:

  • Yog tias lub ntsej muag zoo li yas.
    Txo qhov tsis hnov ​​​​​​nrov, txo qhov ntse, sim siv tus qauv lossis hom uas tiv thaiv lub ntsej muag.

  • Yog tias cov qauv zoo li khaus dhau lawm.
    Txo cov "kev txhim kho kom meej" lossis "rov qab tau meej" sliders, ntxiv cov noob me me tom qab.

  • Yog tias cov npoo ci ntsa iab,
    txo qhov ntse, xyuas cov kev xaiv tshem tawm halo.

  • Yog tias daim duab zoo li "AI" dhau lawm,
    ua tib zoo saib xyuas dua. Qee zaum qhov zoo tshaj plaws yog ... tsawg dua.

Thiab: tsis txhob ua kom loj dua 8x tsuas yog vim koj ua tau xwb. Feem ntau, 2x lossis 4x huv si yog qhov chaw zoo tshaj plaws. Dhau qhov ntawd, koj tab tom thov tus qauv kom sau fanfiction txog koj cov pixels 📖😂

Kev coj ncaj ncees, qhov tseeb, thiab lo lus nug txawv txawv ntawm "qhov tseeb" 🧭😬

AI upscaling ua rau ib kab tsis meej:

  • Kev kho dua tshiab txhais tau tias rov qab kho qhov uas muaj lawm

  • Kev txhim kho txhais tau tias ntxiv qhov tsis yog

Nrog cov duab tus kheej, nws feem ntau zoo (thiab zoo nkauj). Nrog kev sau xov xwm, pov thawj raug cai, kev thaij duab kho mob, lossis txhua yam uas qhov kev ncaj ncees tseem ceeb ... koj yuav tsum ceev faj ( OSAC/NIST: Phau Ntawv Qhia Txheem rau Kev Tswj Xyuas Duab Digital Forensic , SWGDE Cov Lus Qhia rau Kev Tshawb Fawb Duab Forensic ).

Ib txoj cai yooj yim:

  • Yog tias qhov kev pheej hmoo siab, kho AI upscaling ua piv txwv , tsis yog qhov tseeb.

Tsis tas li ntawd xwb, kev tshaj tawm tseem ceeb hauv cov ntsiab lus kev ua haujlwm. Tsis yog vim AI yog qhov phem, tab sis vim tias cov neeg tuaj saib tsim nyog paub seb cov ntsiab lus puas tau rov tsim dua lossis raug ntes. Qhov ntawd tsuas yog ... kev hwm.

Cov ntawv kaw thiab kev rov hais dua sai sai 🧡✅

Yog li, AI Upscaling ua haujlwm li cas yog qhov no: cov qauv kawm paub tias qhov kev daws teeb meem siab npaum li cas feem ntau cuam tshuam nrog cov qauv qis-kev daws teeb meem, tom qab ntawd kwv yees cov pixels ntxiv uas ntseeg tau thaum lub sijhawm upscaling ( Kev Kawm Sib Sib Zog rau Duab Super-resolution: Ib Daim Ntawv Soj Ntsuam ). Nyob ntawm tsev neeg qauv (CNN, GAN, diffusion, video-temporal), qhov kev kwv yees ntawd tuaj yeem yog kev txuag thiab ncaj ncees ... lossis bold thiab qee zaum unhinged 😅

Rov hais dua sai sai

Yog tias koj xav tau, qhia rau kuv paub tias koj tab tom ua kom loj dua li cas (lub ntsej muag, cov duab qub, video, anime, cov ntawv luam theej), thiab kuv yuav qhia txog txoj kev teeb tsa uas feem ntau zam qhov teeb meem "AI zoo li" 🎯🙂

Cov Lus Nug Feem Ntau

AI upscaling thiab nws ua haujlwm li cas

AI upscaling (feem ntau hu ua "super-resolution") ua rau daim duab zoo dua los ntawm kev kwv yees cov ntsiab lus siab uas ploj lawm los ntawm cov qauv uas tau kawm thaum lub sijhawm kawm. Tsis txhob tsuas yog ncab cov pixels zoo li bicubic interpolation, tus qauv kawm txog cov npoo, cov qauv, cov ntsej muag, thiab cov ntawv zoo li cov ntawv nyeem, tom qab ntawd tsim cov ntaub ntawv pixel tshiab uas sib haum nrog cov qauv uas tau kawm. Nws tsis yog "rov qab ua qhov tseeb" thiab ntau dua "ua qhov kev kwv yees ntseeg tau" uas nyeem tau tias yog ntuj.

AI upscaling piv rau bicubic lossis kev hloov kho qhov loj ib txwm muaj

Cov txheej txheem upscaling ib txwm muaj (xws li bicubic) feem ntau yog interpolate ntawm cov pixels uas twb muaj lawm, smoothing transitions yam tsis tsim cov ntsiab lus tshiab tiag tiag. AI upscaling lub hom phiaj yog los rov tsim dua cov qauv plausible los ntawm kev lees paub cov cues pom thiab kwv yees seb cov qauv siab-res ntawm cov cues ntawd zoo li cas. Yog vim li cas AI cov txiaj ntsig tuaj yeem xav tias ntse dua, thiab kuj yog vim li cas lawv tuaj yeem qhia cov khoom cuav lossis "tsim" cov ntsiab lus uas tsis muaj nyob hauv qhov chaw.

Vim li cas lub ntsej muag thiaj li zoo li quav ciab lossis du dhau

Feem ntau cov ntsej muag uas muaj roj nplaum los ntawm kev tshem tawm cov suab nrov thiab kev ua kom du nrog rau kev ua kom ntse uas tshem tawm cov qauv ntawm daim tawv nqaij. Muaj ntau yam cuab yeej kho cov suab nrov thiab cov qauv zoo sib xws, yog li "kev ntxuav" ib daim duab tuaj yeem tshem tawm cov qhov hws thiab cov ntsiab lus me me. Ib txoj hauv kev feem ntau yog txo cov suab nrov thiab kev ua kom ntse, siv hom kev khaws cia ntsej muag yog tias muaj, tom qab ntawd rov ua dua me ntsis ntawm cov noob kom qhov tshwm sim zoo li yas tsawg dua thiab zoo nkauj dua.

Cov khoom siv AI upscaling uas feem ntau yuav tsum tau saib xyuas

Cov cim qhia ib txwm muaj xws li cov halos nyob ib puag ncig ntug, cov qauv zoo li cov cib theej-muab tshuaj txhuam), cov duab me me uas tsis pom tseeb, thiab cov ntawv uas hloov mus ua "yuav luag cov ntawv." Hauv cov txheej txheem ua haujlwm raws li kev sib kis, koj tuaj yeem pom cov ntsiab lus me me uas cov yam ntxwv me me hloov pauv me ntsis. Rau cov yeeb yaj kiab, flicker thiab cov ntsiab lus nkag mus thoob plaws cov thav duab yog cov chij liab loj. Yog tias nws tsuas yog zoo nkauj ntawm qhov zoom heev, qhov chaw teeb tsa tej zaum yuav nruj dhau.

GAN, CNN, thiab diffusion upscalers feem ntau sib txawv li cas hauv cov txiaj ntsig

CNN-based super-resolution feem ntau yuav ruaj khov dua thiab kwv yees tau ntau dua, tab sis nws tuaj yeem zoo li "ua tiav" yog tias thawb hnyav. Cov kev xaiv raws li GAN (ESRGAN-style) feem ntau tsim cov qauv punchier thiab pom qhov ntse, tab sis lawv tuaj yeem ua rau pom cov ntsiab lus tsis raug, tshwj xeeb tshaj yog ntawm cov ntsej muag. Diffusion-based upscaling tuaj yeem tsim cov ntsiab lus zoo nkauj, plausible, tab sis nws tuaj yeem ploj ntawm cov qauv qub yog tias qhov kev taw qhia lossis lub zog teeb tsa muaj zog dhau.

Ib qho tswv yim teeb tsa uas siv tau zoo rau kev zam kom tsis txhob muaj qhov zoo li "AI dhau"

Pib ua kom zoo: nce qib 2 × lossis 4 × ua ntej siv cov yam ntxwv hnyav heev. Yog tias lub ntsej muag zoo li yas, rov qab txo qhov suab nrov thiab kev ua kom ntse thiab sim hom kev paub lub ntsej muag. Yog tias cov qauv tau hnyav dhau, txo qhov kev txhim kho kom meej thiab xav txog kev ntxiv cov noob me me tom qab. Yog tias cov npoo ci, txo qhov ntse thiab xyuas qhov halo lossis kev tshem tawm cov khoom cuav. Hauv ntau cov kav dej, "tsawg dua" yeej vim nws khaws cia qhov tseeb ntseeg tau.

Kev tswj cov scans qub lossis cov duab JPEG-compressed ntau ua ntej upscaling

Cov duab compressed yog qhov nyuaj vim tias cov qauv tuaj yeem kho cov khoom cuav ua cov qauv tiag tiag thiab ua kom lawv loj dua. Ib qho kev ua haujlwm feem ntau yog tshem tawm cov khoom cuav lossis tshem tawm cov khoom cuav ua ntej, tom qab ntawd upscaling, tom qab ntawd lub teeb ci tsuas yog tias xav tau. Rau kev luam theej duab, kev ntxuav maj mam tuaj yeem pab tus qauv tsom mus rau qhov qauv tiag tiag es tsis yog kev puas tsuaj. Lub hom phiaj yog kom txo "cov cim cuav" yog li tus upscaler tsis raug yuam kom ua qhov kev kwv yees ntseeg siab los ntawm cov lus nkag nrov.

Vim li cas kev nce qib video nyuaj dua li kev nce qib duab

Kev nce qib video yuav tsum sib xws thoob plaws cov thav duab, tsis yog tsuas yog zoo rau ib daim duab xwb. Yog tias cov ntsiab lus flicker thav duab mus rau thav duab, qhov tshwm sim yuav ua rau cuam tshuam sai. Cov txheej txheem tsom mus rau video siv cov ntaub ntawv sijhawm los ntawm cov thav duab sib ze kom ruaj khov kev tsim kho dua tshiab thiab zam kev ci ntsa iab. Ntau cov txheej txheem ua haujlwm kuj suav nrog denoise, deinterlacing rau qee qhov chaw, thiab kev xaiv rov ua dua tshiab kom tag nrho cov kab ke zoo li sib koom ua ke es tsis yog ntse cuav.

Thaum AI upscaling tsis tsim nyog lossis muaj kev pheej hmoo rau kev cia siab rau

Kev txhim kho AI zoo tshaj plaws yog kho kom zoo dua, tsis yog pov thawj. Hauv cov ntsiab lus tseem ceeb xws li kev sau xov xwm, pov thawj raug cai, kev thaij duab kho mob, lossis kev ua haujlwm forensic, kev tsim cov pixels "ntseeg tau" tuaj yeem ua rau yuam kev vim tias nws yuav ntxiv cov ntsiab lus uas tsis tau ntes. Kev teeb tsa zoo dua yog siv nws ua piv txwv thiab qhia tias cov txheej txheem AI rov tsim cov ntsiab lus. Yog tias qhov tseeb yog qhov tseem ceeb, khaws cov thawj thiab sau txhua kauj ruam ua tiav thiab teeb tsa.

Cov ntaub ntawv siv los ua piv txwv

  1. arXiv - Kev Kawm Sib Sib Zog rau Kev daws teeb meem siab heev ntawm Duab: Ib Daim Ntawv Soj Ntsuam - arxiv.org

  2. arXiv - Duab Super-Resolution Siv Deep Convolutional Networks (SRCNN) - arxiv.org

  3. arXiv - Real-ESRGAN - arxiv.org

  4. arXiv - ESRGAN - arxiv.org

  5. arXiv - SR3 - arxiv.org

  6. NVIDIA Tus Tsim Khoom - NVIDIA DLSS - developer.nvidia.com

  7. AMD GPUOpen - FidelityFX Super Resolution 2 - gpuopen.com

  8. Lub Koom Haum Saib Xyuas Kev Pom Kev Hauv Computer (CVF) Qhib Rau Kev Nkag Mus - BasicVSR: Kev Tshawb Nrhiav Cov Cheebtsam Tseem Ceeb Hauv Video Super-Resolution (CVPR 2021) - openaccess.thecvf.com

  9. arXiv - Cov Kev Sib Txuas Lus Sib Txawv - arxiv.org

  10. arXiv - SRGAN - arxiv.org

  11. arXiv - Kev Poob Kev Pom (Johnson et al., 2016) - arxiv.org

  12. GitHub - Real-ESRGAN repo (cov kev xaiv pobzeb) - github.com

  13. Wikipedia - Bicubic interpolation - wikipedia.org

  14. Topaz Labs - Topaz Duab - topazlabs.com

  15. Topaz Labs - Topaz Video - topazlabs.com

  16. Chaw Pabcuam Adobe - Adobe Enhance > Super Resolution - helpx.adobe.com

  17. NIST / OSAC - Cov Lus Qhia Txheem rau Kev Tswj Xyuas Duab Digital Forensic (Version 1.0) - nist.gov

  18. SWGDE - Cov Lus Qhia rau Kev Tshawb Fawb Duab Forensic - swgde.org

Nrhiav cov AI tshiab kawg ntawm lub khw muag khoom AI Assistant Official

Txog Peb

Rov qab mus rau blog