Ahoana ny fiasan'ny AI upscaling

Ahoana no fiasan'ny AI Upscaling?

Valiny fohy: Ny fampitomboana ny sary amin'ny alalan'ny AI dia miasa amin'ny alalan'ny fampiofanana modely amin'ny sary ambany sy avo lenta, avy eo dia ampiasaina mba haminavina piksela fanampiny azo inoana mandritra ny fampitomboana ny sary. Raha nahita endrika na tarehy mitovy nandritra ny fiofanana ilay modely, dia afaka manampy antsipiriany mampiaiky; raha tsy izany, dia mety "hanonofy zavatra tsy misy dikany" toy ny halo, hoditra toy ny savoka, na flicker amin'ny horonan-tsary.

Hevi-dehibe azo tsoahina:

Vinavina : Mamorona antsipiriany azo inoana ny modely, fa tsy famerenana amin'ny laoniny ny zava-misy azo antoka.

Safidy modely : Mazàna milamina kokoa ny CNN; Mety ho maranitra kokoa ny endriky ny GAN saingy mety hamorona endri-javatra vaovao.

Fanamarinana ny zava-kanto : Mitandrema amin'ny endrika boribory, endrika miverimberina, "saika litera", ary endrika toy ny plastika.

Fitonian'ny horonan-tsary : ​​Ampiasao ny fomba ara-potoana, raha tsy izany dia hahita hamirapiratra sy miovaova arakaraka ny frame ianao.

Fampiasana amin'ny loza mitatao : Raha zava-dehibe ny fahamarinan'ny vokatra, dia ambarao ny fikirakirana ary raiso ho toy ny fanazavana fotsiny ny vokatra.

Ahoana no fiasan'ny fanatsarana ny AI? Infographic.

Azo inoana fa efa nahita izany ianao: sary kely sy maranitra dia mivadika ho zavatra maranitra ampy handikana, handefasana mivantana, na hampidirana ao anaty famelabelarana tsy misy ahiahy. Toy ny hoe misoloky izany. Ary - amin'ny fomba tsara indrindra - dia toy izany tokoa 😅

Koa, ny fiasan'ny AI Upscaling dia mirona amin'ny zavatra manokana kokoa noho ny hoe "manatsara ny antsipiriany ny solosaina" (mihodinkodina amin'ny tanana) ary akaiky kokoa ny hoe "ny modely dia maminavina rafitra avo lenta azo inoana mifototra amin'ny lamina nianarany avy amin'ny ohatra maro" ( Deep Learning for Image Super-resolution: A Survey ). Io dingana faminaniana io no lalao manontolo - ary izany no mahatonga ny AI upscaling ho toa mahavariana... na plastika kely... na toy ny volombava bonus nambolen'ny sakanao.

Lahatsoratra mety ho tianao hovakiana aorian'ity iray ity:

🔗 Ny fiasan'ny AI
Mianara ny fototry ny modely, ny angon-drakitra ary ny tsoa-kevitra ao amin'ny AI.

🔗 Ahoana no ianaran'ny AI
Jereo ny fomba hanatsarana ny fahombiazan'ny modely amin'ny alalan'ny angon-drakitra momba ny fiofanana sy ny valin-teny.

🔗 Ahoana no ahitan'ny AI ny tsy fetezana
Mahazoa ireo lamina fototra sy ny fomba famaritan'ny AI haingana ny fitondran-tena tsy mahazatra.

🔗 Ahoana ny faminanian'i AI ny fironana
Mikaroha fomba vinavina izay mamantatra famantarana sy maminavina ny tinady amin'ny ho avy.


Ny fiasan'ny AI Upscaling: ny hevitra fototra, amin'ny teny andavanandro 🧩

Ny fampitomboana ny sary dia midika hoe mampitombo ny famaha: piksela bebe kokoa, sary lehibe kokoa. Ny fampitomboana ny sary nentim-paharazana (toy ny bicubic) dia manitatra ny piksela ary manamora ny fifindrana ( interpolation Bicubic ). Tsy maninona izany, saingy tsy afaka mamorona vaovao - interpolate fotsiny.

Ny fanatsarana ny AI dia manandrana zavatra sahisahy kokoa (fantatra amin'ny anarana hoe "super-resolution" eo amin'ny tontolon'ny fikarohana) ( Deep Learning for Image Super-resolution: Fanadihadiana ):

  • Mijery ny fidirana ambany-res izy io

  • Mahafantatra ireo lamina (sisiny, endrika, endriky ny tarehy, tsipika amin'ny soratra, fanenomana lamba...)

  • ny endriky ny dika avo lenta kokoa

  • Mamokatra angon-drakitra piksela fanampiny izay mifanaraka amin'ireo lamina ireo

Tsy hoe "mamerina amin'ny laoniny ny zava-misy tanteraka", fa toy ny hoe "manao vinavina azo inoana tanteraka" ( Image Super-Resolution Using Deep Convolutional Networks (SRCNN) ). Raha toa ka somary mampiahiahy izany dia tsy diso ianao - fa izany koa no mahatonga azy hiasa tsara 😄

Ary eny, midika izany fa ny fampitomboana ny AI dia toy ny fahitana zavatra tsy misy dikany voafehy... fa amin'ny fomba mahomby sy manaja ny piksela.


Inona no mahatonga ny AI upscaling ho tsara? ✅🛠️

Raha mitsara ny AI upscaler (na ny setting preset) ianao dia ireto no tena zava-dehibe:

  • Famerenana amin'ny laoniny amin'ny antsipiriany tsy misy fandrahoana be loatra.
    Ny fanatsarana tsara ny halehiben'ny vokatra dia manampy fahamainana sy firafitra, fa tsy feo mikorontana na mason-koditra sandoka.

  • Fitsipika momba ny sisiny:
    Mijanona ho madio ny tsipika madio. Ny modely ratsy kosa dia mahatonga ny sisiny hihozongozona na hitsimoka halo.

  • Realisma amin'ny endrika
    Tsy tokony ho lasa dian-borosy ny volo. Tsy tokony ho lasa lamina miverimberina ny biriky.

  • Fikirakirana ny tabataba sy ny famatrarana
    Sary andavanandro maro no simba tanteraka amin'ny JPEG. Ny upscaler tsara dia tsy mampitombo izany fahasimbana izany ( Real-ESRGAN ).

  • Fahafantarana ny endrika sy ny soratra
    Ny endrika sy ny soratra no toerana mora indrindra ahitana lesoka. Ny modely tsara dia mitandrina tsara azy ireo (na manana fomba fiasa manokana).

  • Fifanarahana eo amin'ny sary (ho an'ny horonan-tsary)
    Raha miparitaka ny antsipiriany isaky ny sary, dia hikiakiaka ny masonao. Ny fampitomboana ny horonan-tsary dia mety ho velona na ho faty noho ny fahamarinan'ny fotoana ( BasicVSR (CVPR 2021) ).

  • Fanaraha-maso misy dikany
    Mila slider izay mifanaraka amin'ny vokatra tena izy ianao: denoise, deblur, fanesorana artifact, fitazonana voamaina, fanamafisana… ny zavatra azo ampiharina.

Fitsipika tsotra nefa maharitra: ny "upscaling" "tsara indrindra" matetika no zara raha tsikaritrao. Toa nanana fakantsary tsara kokoa ianao tany am-piandohana 📷✨


Tabilao fampitahana: safidy fanatsarana AI malaza (sy ny tombony azo avy amin'izany) 📊🙂

Ity ambany ity ny fampitahana azo ampiharina. Niniana natao ho tsy mazava ny vidiny satria miovaova arakaraka ny fahazoan-dàlana, ny fonosana, ny vidin'ny kajy, ary ireo zavatra mahafinaritra rehetra ireo ny fitaovana.

Fitaovana / Fomba fiasa Tsara indrindra ho an'ny Vidiny mirindra Nahoana no miasa (eo ho eo)
Fitaovana fanatsarana birao amin'ny fomba Topaz ( Sary Topaz , Lahatsary Topaz ) Sary, lahatsary, fomba fiasa mora Karamaina Modely ankapobeny matanjaka + fanitsiana betsaka, mirona "hiasa fotsiny"... amin'ny ankapobeny
Endri-javatra karazana "Super Resolution" an'ny Adobe ( Adobe Enhance > Super Resolution ) Mpaka sary efa ao anatin'io tontolo iainana io Famandrihana Fanorenana indray ny antsipiriany mazava tsara, matetika mitandrina tsara (tsy dia misy fiantraikany ratsy loatra)
Karazana Real-ESRGAN / ESRGAN ( Real-ESRGAN , ESRGAN ) Asa DIY, mpamorona rindrambaiko, asa andiany Maimaimpoana (saingy mandany fotoana) Tsara amin'ny antsipiriany amin'ny endriny, mety ho masiaka amin'ny tarehy raha tsy mitandrina ianao
Fomba fampitomboana mifototra amin'ny fanaparitahana ( SR3 ) Asa famoronana, vokatra voaravaka mifangaro Afaka mamorona antsipiriany mahafinaritra - afaka mamorona hadalana ihany koa, ka... eny
Fanatsarana ny lalao (fomba DLSS/FSR) ( NVIDIA DLSS , AMD FSR 2 ) Lalao sy fampisehoana amin'ny fotoana tena izy nafatotra ho amboarany Mampiasa angon-drakitra momba ny fihetsehana sy ny zavatra efa nianarana mialoha - fandresena amin'ny fampisehoana milamina 🕹️
Serivisy fanatsarana ny rahona Fahamorana, fandresena haingana Karama isaky ny fampiasana Haingana + azo ovaina, fa mifehy ny varotra ianao ary indraindray amin'ny fomba malefaka
Mpampiakatra ny AI mifantoka amin'ny horonan-tsary ( BasicVSR , Topaz Video ) Lahatsary taloha, anime, arsiva Karamaina Tetika ara-potoana hampihenana ny flicker + modely horonan-tsary manokana
Fanatsarana ny finday/galeria "smart" Fampiasana tsy ara-potoana Tafiditra Modely maivana namboarina mba hahazoana vokatra mahafinaritra, fa tsy tonga lafatra (mbola mora ampiasaina)

Fiekena momba ny endrika tsy mahazatra: "Mandoa vola" dia manao asa be dia be ao amin'io tabilao io. Fa azonao ny hevitra 😅


Ny tsiambaratelo lehibe: mianatra sarintany avy amin'ny res-ivelany ambany mankany amin'ny res-ivelany avo lenta ireo maodely 🧠➡️🖼️

Ao am-pon'ny ankamaroan'ny fanatsarana ny AI dia misy ny fametrahana fianarana voaara-maso ( Image Super-Resolution Using Deep Convolutional Networks (SRCNN) ):

  1. Atombohy amin'ny sary avo lenta (ny "marina")

  2. Ampidino ho amin'ny dikan-teny ambany famaha izy ireo ("fidirana")

  3. Ampiofano ny modely iray mba hanamboarana indray ny sary avo lenta tany am-boalohany avy amin'ny sary ambany kalitao

Rehefa mandeha ny fotoana, mianatra fifandraisana toy ny hoe:

  • "Ity karazana fanjavonan'ny maso ity dia mazàna an'ny volomaso"

  • "Matetika ity vondron-piksela ity dia manondro lahatsoratra serif"

  • "Toy ny tsipika eny amin'ny tafo ity fisondrotry ny sisiny ity, fa tsy feo kisendrasendra"

Tsy fitadidiana sary manokana izany (amin'ny heviny tsotra), fa fianarana rafitra statistika ( Deep Learning for Image Super-resolution: A Survey ). Eritrereto toy ny fianarana ny fitsipi-pitenenan'ny endrika sy ny sisiny. Tsy fitsipi-pitenenan'ny tononkalo, fa toy ny… fitsipi-pitenenana IKEA 🪑📦 (metafora sarotra, nefa mitovy tsara).


Ny tena zava-dehibe: inona no mitranga mandritra ny fanatsoahan-kevitra (rehefa manao "upscale") ⚙️✨

Rehefa ampidirinao ao anaty AI upscaler ny sary dia mazàna misy fomba fiasa toy izao:

  • Fanodinana mialoha

    • Mamadika ny habaka loko (indraindray)

    • Ampifanaraho amin'ny fomba mahazatra ny sandan'ny piksela

    • Zarao ho sombin-javatra ny sary raha lehibe (fanamarinana ny zava-misy VRAM 😭) ( Repo Real-ESRGAN (safidy taila) )

  • Fitrandrahana endri-javatra

    • Ireo sosona voalohany dia mamantatra ny sisiny, ny zorony, ny fiovaovan'ny loko

    • Ireo sosona lalindalina kokoa dia mamantatra lamina: endrika, firafitra, singa amin'ny tarehy

  • fanorenana indray

    • Mamorona sarintany endri-javatra avo lenta kokoa ny modely

    • Avy eo dia mamadika izany ho pixel tena izy

  • Fanodinana aorian'ny fandidiana

    • Fanamafisana azo atao

    • Fanafoanana tabataba azo atao

    • Fanafoanana artifact azo atao (feo maneno, halo, sakana)

Antsipiriany kely iray: fitaovana maro no namboarina tamin'ny taila, avy eo dia nafangaro ny zaitra. Ireo fitaovana tsara dia manafina ny sisin'ny taila. Ireo fitaovana tsy dia tsara dia mamela marika kely raha mijery ianao. Ary eny, hijery ianao, satria tian'ny olombelona ny mijery ireo lesoka madinika amin'ny zoom 300% toy ny gremlins kely 🧌


Ireo fianakaviana modely lehibe ampiasaina amin'ny fanatsarana ny AI (ary ny antony mahatonga azy ireo ho hafa) 🤖📚

1) Famahanana mahery vaika mifototra amin'ny CNN (ilay soavaly miasa mahazatra)

Tena tsara amin'ny lamina eo an-toerana ny tambajotra neural convolutional: sisiny, endrika, rafitra kely ( Image Super-Resolution Using Deep Convolutional Networks (SRCNN) ).

  • Tombony: haingana, marin-toerana, tsy dia mahagaga loatra

  • Fatiantoka: mety ho toa "voahodina" kely raha terena mafy

2) Fampiakarana ny rindrankajy mifototra amin'ny GAN (fomba ESRGAN) 🎭

Ny GAN (Generative Adversarial Networks) dia mampiofana mpamokatra mba hamokatra sary avo lenta izay tsy hain'ny mpanavaka manavaka amin'ny tena izy ( Generative Adversarial Networks ).

  • Tombony: antsipiriany maranitra, endrika mahavariana

  • Fatiantoka: afaka mamorona antsipiriany izay tsy teo - indraindray diso, indraindray hafahafa ( SRGAN , ESRGAN )

Afaka manome anao izany hatsarana mahatalanjona izany ny GAN. Afaka manome endrika volomaso fanampiny ho an'ny olona sarinao ihany koa izany. Koa... fidio ny adinao 😬

3) Fampiakarana mifototra amin'ny fanaparitahana (ny karazana famoronana) 🌫️➡️🖼️

Manala tabataba tsikelikely ny modely diffusion ary azo tarihina mba hamokarana antsipiriany avo lenta ( SR3 ).

  • Tombony: mety ho tena mahay amin'ny antsipiriany azo inoana, indrindra ho an'ny asa famoronana

  • Fatiantoka: mety hiala amin'ny maha-izy azy/rafitra tany am-boalohany raha toa ka mahery setra ny toerana ( SR3 )

Eto no manomboka mifangaro amin'ny "fanavaozana" ny "fanatsarana ny teknolojia". Indraindray izany indrindra no tadiavinao. Indraindray tsy izany mihitsy.

4) Fanatsarana ny haben'ny horonan-tsary miaraka amin'ny tsy fitoviana ara-potoana 🎞️

Matetika ny fampitomboana ny haben'ny horonan-tsary dia manampy lojika mifanaraka amin'ny fihetsehana:

  • Mampiasa ireo sary mifanila mba hampiorenana ny antsipiriany ( BasicVSR (CVPR 2021) )

  • Miezaka misoroka ny flickering sy ny crawling artifacts

  • Matetika dia mampifangaro ny super-resolution amin'ny denoise sy deinterlacing ( Topaz Video )

Raha toa ka toy ny famerenana amin'ny laoniny sary hosodoko iray ny fanatsarana ny haben'ny sary, ny fanatsarana ny haben'ny horonan-tsary kosa dia toy ny famerenana amin'ny laoniny boky kely tsy manova endrika isaky ny pejy ny oron'ilay olona. Izay… sarotra kokoa noho ny fiheverana azy.


Nahoana ny fanatsarana ny AI indraindray no toa sandoka (ary ny fomba hamantarana izany) 👀🚩

Tsy mahomby amin'ny fomba azo fantarina ny fanatsarana ny AI. Raha vao mianatra ireo lamina ianao dia ho hitanao hatraiza hatraiza izy ireo, toy ny hoe mividy fiara vaovao dia tampoka eo dia mahatsikaritra izany modely izany eny an-dalana rehetra 😵💫

Filazana mahazatra:

  • Hoditra savoka amin'ny tarehy (denoise be loatra + fanalefahana)

  • Halo maranitra loatra manodidina ny sisiny (faritra "mihoatra ny mahazatra") ( interpolation Bicubic )

  • Endrika miverimberina (rindrina biriky lasa lamina kopia sy apetaka)

  • Fifanoherana bitika mikorontana izay mikiakiaka hoe "algorithm"

  • Fanovana lahatsoratra izay mahatonga ny litera ho lasa litera saika mitovy (ny karazana ratsy indrindra)

  • Fiovaovan'ny antsipiriany izay miovaova kely ny endri-javatra kely, indrindra amin'ny fizotran'ny diffusion ( SR3 )

Ny sarotra: indraindray ireo zavatra ireo dia toa "tsara kokoa" raha vao jerena. Tian'ny atidohanao ny maranitra. Saingy rehefa afaka kelikely, dia toa... tsy mety izany.

Tetika tsara ny manalavitra ny zoom ary manamarina raha toa ka voajanahary ny endriny amin'ny elanelana mahazatra. Raha toa ka tsara tarehy amin'ny zoom 400% fotsiny izy dia tsy fandresena izany, fa fialam-boly fotsiny 😅


Ny fiasan'ny AI Upscaling: ny lafiny fiofanana, tsy misy olana amin'ny matematika 📉🙂

Ny fampiofanana ireo modely manana vahaolana ambony dia mazàna ahitana ireto manaraka ireto:

Karazana fatiantoka mahazatra:

  • Fahaverezan'ny piksela (L1/L2)
    Mampirisika ny fahamarinan'ny sary. Mety hiteraka vokatra malefaka kely.

  • Fahaverezan'ny fahatsapana
    Mampitaha ireo endri-javatra lalindalina kokoa (toy ny hoe "mitovy ve ity " ) fa tsy piksela marina ( Perceptual Losses (Johnson et al., 2016) ).

  • Ny fahaverezan'ny fifanandrinana (GAN)
    dia mampirisika ny realisma, indraindray amin'ny vidin'ny fahamarinana ara-bakiteny ( SRGAN , Generative Adversarial Networks ).

Misy fifandonana tsy tapaka:

  • Ataovy mahatoky amin'ny tany am-boalohany
    vs.

  • Ataovy mahafinaritra ny maso

Samy hafa ny toerana misy ny fitaovana amin'io sehatra io. Ary mety aleonao ny iray miankina amin'ny hoe mamerina ny sarin'ny fianakaviana ianao na manomana afisy izay zava-dehibe kokoa noho ny fahamarinan'ny fanadihadiana ara-pitsarana ny "tsara tarehy".


Fomba fiasa azo ampiharina: sary, scan taloha, anime, ary horonan-tsary 📸🧾🎥

Sary (sary, tontolo iainana, sarin'ny vokatra)

Ny fomba fanao tsara indrindra dia matetika:

  • Esory aloha ny tabataba kely (raha ilaina)

  • Ambony lenta miaraka amin'ny toe-javatra mahazatra

  • Ampio indray ny voamaina raha toa ka malama loatra ny zavatra (eny, tena marina)

Toy ny sira ny voamaina. Manimba ny sakafo hariva ny be loatra, nefa tsy misy mihitsy mahatonga ny tsirony ho fisaka 🍟

Sary efa nojerena taloha sy sary voaporitra be

Sarotra kokoa ireo satria mety hoheverin'ny modely ho "texture" ny blocs compression.
Andramo:

  • Fanesorana na fanesorana ireo zavatra simba

  • Dia avo lenta

  • Dia afangaro moramora (tsy dia be loatra... Fantatro fa izany no lazain'ny rehetra, fa mbola izany ihany)

Anime sy sary an-tsary

Tombontsoa azo avy amin'ny sary an-tsoratra:

  • Modely izay miaro ny sisiny madio

  • ny endriky
    ny anime dia matetika tsara tarehy satria tsotra sy mitovy ny endriny. (Soa ihany.)

Video

Manampy dingana fanampiny ny lahatsary:

  • Denoise

  • Deinterlace (ho an'ny loharano sasany)

  • Ambony lenta

  • Fanalefahana na fanamafisana ara-potoana ( BasicVSR (CVPR 2021) )

  • Famerenana indray ny voam-bary ho an'ny firaisankina

Raha tsy miraharaha ny fiovaovan'ny fotoana ianao dia ho hitanao ireo antsipiriany mamirapiratra ireo. Raha vao tsikaritrao izany dia tsy ho afaka hadinoinao intsony. Toy ny seza mikitroka ao anaty efitrano mangina 😖


Misafidy toerana tsy misy vinavina be loatra (takelaka kely ho an'ny famitahana) 🎛️😵💫

Ireto misy fomba fisainana tsara hanombohana:

  • Raha toa ka matevina ny tarehy
    dia ahena ny tabataba, ahena ny fanamafisana, andramo ny modely na fomba fiasa miaro ny tarehy.

  • Raha toa ka matanjaka loatra ny endrika
    dia ampio ireo slider "fanatsarana antsipiriany" na "famerenana antsipiriany", ary ampio voa madinika aorian'izay.

  • Raha mamirapiratra ny sisiny
    dia ahena ny fanamafisana, jereo ny safidy hanafoanana ny halo.

  • Raha toa ka toa "AI" loatra ilay sary
    dia mitandrema kokoa. Indraindray ny tsara indrindra dia ny… mampihena fotsiny.

Ary koa: aza ampitomboina ny 8x satria fotsiny hoe afaka manao izany ianao. Ny 2x na 4x madio matetika no tsara indrindra. Ankoatra izany, dia mangataka ny modely hanoratra tantara foronina momba ny pixel-nao ianao 📖😂


Etika, maha-azo itokiana, ary ilay fanontaniana sarotra momba ny "fahamarinana" 🧭😬

Manafina ny fetrany ny fanatsarana ny AI:

  • Ny famerenana amin'ny laoniny dia midika hoe famerenana amin'ny laoniny izay efa nisy

  • Ny fanatsarana dia midika hoe manampy izay tsy teo

Amin'ny sary manokana, mazàna dia mety tsara (ary mahafinaritra). Amin'ny asa fanaovan-gazety, porofo ara-dalàna, sary ara-pitsaboana, na zavatra rehetra izay zava-dehibe ny fahatokisana... mila mitandrina ianao ( OSAC/NIST: Torolàlana mahazatra ho an'ny fitantanana sary nomerika forensika , Torolàlana SWGDE ho an'ny famakafakana sary forensika ).

Fitsipika tsotra iray:

  • Raha toa ka sarotra ny mamaha izany, dia raiso ho fanazavana fotsiny , fa tsy ho famaranana.

Zava-dehibe ihany koa ny famoahana vaovao amin'ny sehatra matihanina. Tsy hoe ratsy ny AI, fa satria mendrika ny hahafantatra ny mpihaino raha naverina namboarina na noraisim-peo ny antsipiriany. Izany fotsiny... fanajana.


Fanamarihana famaranana sy famintinana fohy 🧡✅

Koa, ny fomba fiasan'ny AI Upscaling ifandraisan'ny antsipiriany avo lenta amin'ny lamina ambany famaha ny modely, avy eo dia maminavina piksela fanampiny azo inoana mandritra ny upscaling ( Deep Learning for Image Super-resolution: A Survey ). Miankina amin'ny fianakavian'ny modely (CNN, GAN, diffusion, video-temporal), io vinavina io dia mety ho konservativa sy marina... na sahy ary indraindray tsy voafehy 😅

Famintinana fohy

  • Ny fampitomboana nentim-paharazana dia manitatra ny piksela ( interpolation Bicubic )

  • Ny fampitomboana ny AI dia maminavina ny antsipiriany tsy ampy amin'ny alàlan'ny fampiasana lamina nianarana ( Image Super-Resolution Using Deep Convolutional Networks (SRCNN) )

  • Vokatra tsara no azo avy amin'ny modely mety + fifehezana tsara

  • Mitandrema amin'ny hazavana manodidina ny maso, tarehy misy savoka, endrika miverimberina, ary fikitroka ao amin'ny lahatsary ( BasicVSR (CVPR 2021) )

  • Matetika ny fanatsarana ny kalitao dia "fanarenana azo inoana", fa tsy fahamarinana tonga lafatra ( SRGAN , ESRGAN )

Raha tianao, lazao amiko izay hatsarainao (tarehy, sary taloha, horonan-tsary, anime, scan lahatsoratra), dia hanoro paikady fanovana izay mirona amin'ny fisorohana ireo fandrika mahazatra amin'ny "endrika AI" aho 🎯🙂


FAQ

Fanatsarana ny AI sy ny fomba fiasany

Ny fanatsarana ny sary amin'ny alalan'ny AI (matetika antsoina hoe "super-resolution") dia mampitombo ny famahaman'ny sary amin'ny alalan'ny faminaniana ny antsipiriany avo lenta tsy ampy avy amin'ny lamina nianarana nandritra ny fiofanana. Raha tokony hanitatra fotsiny ny piksela toy ny interpolation bicubic, ny modely dia mandalina ny sisiny, ny endrika, ny tarehy ary ny tsipika toy ny lahatsoratra, avy eo dia mamorona angon-drakitra piksela vaovao izay mifanaraka amin'ireo lamina nianarana ireo. Tsy dia "mamerina ny zava-misy" loatra izany fa "manao vinavina azo inoana" izay toa voajanahary.

Fanatsarana ny haben'ny sary amin'ny alalan'ny AI raha oharina amin'ny fanovana habe bicubic na nentim-paharazana

Ny fomba fampitomboana sary nentim-paharazana (toy ny bicubic) dia mampiasa indrindra ny interpolation eo amin'ireo piksela efa misy, manalefaka ny fifindrana nefa tsy mamorona antsipiriany vaovao marina. Ny tanjon'ny fampitomboana sary amin'ny alalan'ny AI dia ny hanangana indray ny rafitra azo inoana amin'ny alàlan'ny famantarana ireo famantarana hita maso sy ny faminaniana ny endriky ny dikan-teny avo lenta amin'ireo famantarana ireo. Izany no mahatonga ny valin'ny AI ho maranitra kokoa, ary koa ny antony ahafahan'izy ireo mampiditra zavatra na "mamorona" antsipiriany izay tsy hita tao amin'ny loharano.

Nahoana ny tarehy no mety ho toy ny savoka na malama loatra

Matetika ny tarehy misy savoka dia avy amin'ny fanesorana tabataba sy fanalefahana mahery vaika miaraka amin'ny fanasarahana izay manala ny endriky ny hoditra voajanahary. Fitaovana maro no mampiasa ny tabataba sy ny endrika manify mitovy, ka ny "fanadiovana" sary dia afaka mamafa ny mason-koditra sy ny antsipiriany madinika. Ny fomba fanao mahazatra dia ny fampihenana ny fanesorana tabataba sy ny fanasarahana, mampiasa fomba fiarovana ny tarehy raha misy, avy eo dia mamerina mampiditra kely ny grain mba tsy dia ho plastika loatra ny vokatra ary ho sary kokoa.

Ireo zavatra mahazatra tokony harahina amin'ny fanatsarana ny AI

Ny famantarana mahazatra dia ahitana halo manodidina ny sisiny, lamina miverimberina (toy ny biriky kopia sy apetaho), fifanoherana bitika mikorontana, ary lahatsoratra izay mivadika ho "saika litera". Ao amin'ny workflows mifototra amin'ny diffusion, azonao atao ihany koa ny mahita ny fiovaovan'ny antsipiriany izay miova kely. Ho an'ny horonan-tsary, ny flicker sy ny antsipiriany mivelatra manerana ny frame dia famantarana lehibe. Raha toa ka tsara tarehy amin'ny zoom tafahoatra ihany izy io, dia mety ho mahery vaika loatra ny fikirana.

Ny tsy fitovian'ny vokatra eo amin'ny GAN, CNN, ary ireo mpanatsara ny diffusion

Ny "super-resolution" mifototra amin'ny CNN dia mazàna ho marin-toerana kokoa sy azo vinavinaina kokoa, saingy mety ho toa "voahodina" raha terena mafy. Ny safidy mifototra amin'ny GAN (fomba ESRGAN) dia matetika mamokatra endrika matanjaka kokoa sy maranitra kokoa, saingy mety hamorona antsipiriany diso izy ireo, indrindra amin'ny tarehy. Ny "upscaling" mifototra amin'ny diffusion dia afaka mamorona antsipiriany tsara tarehy sy azo inoana, nefa mety hiala amin'ny rafitra tany am-boalohany raha matanjaka loatra ny fitarihana na ny fametrahana tanjaka.

Tetikady azo ampiharina amin'ny fametrahana mba hisorohana ny endrika "AI loatra"

Atombohy amin'ny fomba tsotra: amboary 2× na 4× alohan'ny hanaovana zavatra tafahoatra. Raha toa ka toa mikorontana ny tarehy, ahena ny tabataba sy ny fanasarahana ary andramo ny fomba fijery mahazatra ny tarehy. Raha toa ka mahery loatra ny endrika, ahena ny fanatsarana ny antsipiriany ary diniho ny fanampiana voa madinika aorian'izay. Raha mamirapiratra ny sisiny, ahena ny fanasarahana ary jereo ny fanafoanana ny halo na ny artifact. Amin'ny pipeline maro, ny "kely kokoa" no mandresy satria miaro ny realism azo inoana.

Fikirakirana ireo sary efa tranainy na sary voaporitra JPEG be loatra alohan'ny hampitomboana ny habeny

Sarotra ny sary voaporitra satria afaka mihevitra ny artifacts bloc ho toy ny texture tena izy ny modely ary manamafy azy ireo. Ny fomba fiasa mahazatra dia ny fanesorana na fanesorana ny artifact aloha, avy eo ny fampitomboana, ary avy eo ny fanatsarana kely raha ilaina izany. Ho an'ny scan, ny fanadiovana malefaka dia afaka manampy ny modely hifantoka amin'ny rafitra tena izy fa tsy amin'ny fahasimbana. Ny tanjona dia ny hampihenana ny "cues texture sandoka" mba tsy ho voatery hanao vinavina matoky tena avy amin'ny fidirana mitabataba ny upscaler.

Nahoana no sarotra kokoa ny mampitombo ny haben'ny horonan-tsary noho ny mampitombo ny haben'ny sary

Tsy maintsy mitovy amin'ny sary rehetra ny fampitomboana ny haben'ny horonan-tsary, fa tsy tsara amin'ny sary iray ihany. Raha toa ka miparitaka tsikelikely ny antsipiriany, dia ho lasa manelingelina haingana ny vokatra. Ny fomba fiasa mifantoka amin'ny horonan-tsary dia mampiasa fampahalalana ara-potoana avy amin'ny sary mifanila mba hampiorenana ny fanamboarana sy hisorohana ny zavatra mamirapiratra. Ny fomba fiasa maro koa dia ahitana ny denoise, ny deinterlacing ho an'ny loharano sasany, ary ny fampidirana indray ny voa mba hahatsapana fa mirindra tsara ny fizarana manontolo fa tsy maranitra artifisialy.

Rehefa tsy mety na mampidi-doza ny miantehitra amin'ny fanatsarana ny AI

Ny fanatsarana ny AI dia tsara kokoa raha raisina ho fanatsarana, fa tsy porofo. Amin'ny toe-javatra sarotra toy ny asa fanaovan-gazety, porofo ara-dalàna, sary ara-pitsaboana, na asa forensika, ny famoronana piksela "azo inoana" dia mety hamitaka satria mety hanampy antsipiriany izay tsy voasambotra. Ny endrika azo antoka kokoa dia ny fampiasana azy io amin'ny fanoharana ary ny fampiharihariana fa ny AI dia nanorina indray ny antsipiriany. Raha tena ilaina ny fahamarinan-toerana, dia tehirizo ny tany am-boalohany ary soraty ny dingana sy ny toerana rehetra amin'ny fanodinana.

References

  1. arXiv - Fianarana lalina ho an'ny sary avo lenta: Fanadihadiana - arxiv.org

  2. arXiv - Sary avo lenta mampiasa tambajotra lalina (SRCNN) - arxiv.org

  3. arXiv - Real-ESRGAN - arxiv.org

  4. arXiv - ESRGAN - arxiv.org

  5. arXiv - SR3 - arxiv.org

  6. Mpamorona NVIDIA - NVIDIA DLSS - developer.nvidia.com

  7. AMD GPUOpen - FidelityFX Super Resolution 2 - gpuopen.com

  8. Fidirana Misokatra ho an'ny The Computer Vision Foundation (CVF) - BasicVSR: Ny Fikarohana ireo Singa Tena Ilaina amin'ny Famahanana Lahatsary Mahery (CVPR 2021) - openaccess.thecvf.com

  9. arXiv - Tambajotra Mpifanandrina Generative - arxiv.org

  10. arXiv - SRGAN - arxiv.org

  11. arXiv - Fahaverezan'ny Fahitana (Johnson et al., 2016) - arxiv.org

  12. GitHub - Real-ESRGAN repo (safidy taila) - github.com

  13. Wikipedia - Interpolation Bicubic - wikipedia.org

  14. Topaz Labs - Sary Topaz - topazlabs.com

  15. Topaz Labs - Lahatsary Topaz - topazlabs.com

  16. Foibe Fanampiana Adobe - Adobe Enhance > Famahanana Ambony - helpx.adobe.com

  17. NIST / OSAC - Torolàlana mahazatra ho an'ny fitantanana sary nomerika forensika (Version 1.0) - nist.gov

  18. SWGDE - Torolàlana ho an'ny famakafakana sary forensika - swgde.org

Tadiavo ny AI farany indrindra ao amin'ny fivarotana mpanampy AI ofisialy

Momba anay

Miverena amin'ny bilaogy