Valiny fohy: Ny fampitomboana ny sary amin'ny alalan'ny AI dia miasa amin'ny alalan'ny fampiofanana modely amin'ny sary ambany sy avo lenta, avy eo dia ampiasaina mba haminavina piksela fanampiny azo inoana mandritra ny fampitomboana ny sary. Raha nahita endrika na tarehy mitovy nandritra ny fiofanana ilay modely, dia afaka manampy antsipiriany mampiaiky; raha tsy izany, dia mety "hanonofy zavatra tsy misy dikany" toy ny halo, hoditra toy ny savoka, na flicker amin'ny horonan-tsary.
Hevi-dehibe azo tsoahina:
Vinavina: Mamorona antsipiriany azo inoana ny modely, fa tsy famerenana amin'ny laoniny ny zava-misy azo antoka.
Safidy modely: Mazàna milamina kokoa ny CNN; Mety ho maranitra kokoa ny endriky ny GAN saingy mety hamorona endri-javatra vaovao.
Fanamarinana ny zava-kanto: Mitandrema amin'ny endrika boribory, endrika miverimberina, "saika litera", ary endrika toy ny plastika.
Fitonian'ny horonan-tsary: Ampiasao ny fomba ara-potoana, raha tsy izany dia hahita hamirapiratra sy miovaova arakaraka ny frame ianao.
Fampiasana amin'ny loza mitatao: Raha zava-dehibe ny fahamarinan'ny vokatra, dia ambarao ny fikirakirana ary raiso ho toy ny fanazavana fotsiny ny vokatra.
Azo inoana fa efa nahita izany ianao: sary kely sy maranitra dia mivadika ho zavatra maranitra ampy handikana, handefasana mivantana, na hampidirana ao anaty famelabelarana tsy misy ahiahy. Toy ny hoe misoloky izany. Ary - amin'ny fomba tsara indrindra - dia toy izany tokoa 😅
Koa, ny fiasan'ny AI Upscaling dia mirona amin'ny zavatra manokana kokoa noho ny hoe "manatsara ny antsipiriany ny solosaina" (mihodinkodina amin'ny tanana) ary akaiky kokoa ny hoe "ny modely dia maminavina rafitra avo lenta azo inoana mifototra amin'ny lamina nianarany avy amin'ny ohatra maro" (Deep Learning for Image Super-resolution: A Survey). Io dingana faminaniana io no lalao manontolo - ary izany no mahatonga ny AI upscaling ho toa mahavariana... na plastika kely... na toy ny volombava bonus nambolen'ny sakanao.
Lahatsoratra mety ho tianao hovakiana aorian'ity iray ity:
🔗 Ny fiasan'ny AI
Mianara ny fototry ny modely, ny angon-drakitra ary ny tsoa-kevitra ao amin'ny AI.
🔗 Ahoana no ianaran'ny AI
Jereo ny fomba hanatsarana ny fahombiazan'ny modely amin'ny alalan'ny angon-drakitra momba ny fiofanana sy ny valin-teny.
🔗 Ahoana no ahitan'ny AI ny tsy fetezana
Mahazoa ireo lamina fototra sy ny fomba famaritan'ny AI haingana ny fitondran-tena tsy mahazatra.
🔗 Ahoana ny faminanian'i AI ny fironana
Mikaroha fomba vinavina izay mamantatra famantarana sy maminavina ny tinady amin'ny ho avy.
Ny fiasan'ny AI Upscaling: ny hevitra fototra, amin'ny teny andavanandro 🧩
Ny fampitomboana ny sary dia midika hoe mampitombo ny famaha: piksela bebe kokoa, sary lehibe kokoa. Ny fampitomboana ny sary nentim-paharazana (toy ny bicubic) dia manitatra ny piksela ary manamora ny fifindrana (interpolation Bicubic). Tsy maninona izany, saingy tsy afaka mamorona vaovao - interpolate fotsiny.
Ny fanatsarana ny AI dia manandrana zavatra sahisahy kokoa (fantatra amin'ny anarana hoe "super-resolution" eo amin'ny tontolon'ny fikarohana) (Deep Learning for Image Super-resolution: Fanadihadiana):
-
Mijery ny fidirana ambany-res izy io
-
Mahafantatra ireo lamina (sisiny, endrika, endriky ny tarehy, tsipika amin'ny soratra, fanenomana lamba...)
-
Maminavina ny endriky ny dika avo lenta kokoa
-
Mamokatra angon-drakitra piksela fanampiny izay mifanaraka amin'ireo lamina ireo
Tsy hoe "mamerina amin'ny laoniny ny zava-misy tanteraka", fa toy ny hoe "manao vinavina azo inoana tanteraka" (Image Super-Resolution Using Deep Convolutional Networks (SRCNN)). Raha toa ka somary mampiahiahy izany dia tsy diso ianao - fa izany koa no mahatonga azy hiasa tsara 😄
Ary eny, midika izany fa ny fampitomboana ny AI dia toy ny fahitana zavatra tsy misy dikany voafehy... fa amin'ny fomba mahomby sy manaja ny piksela.
Inona no mahatonga ny AI upscaling ho tsara? ✅🛠️
Raha mitsara ny AI upscaler (na ny setting preset) ianao dia ireto no tena zava-dehibe:
-
Famerenana amin'ny laoniny amin'ny antsipiriany tsy misy fandrahoana be loatra.
Ny fanatsarana tsara ny halehiben'ny vokatra dia manampy fahamainana sy firafitra, fa tsy feo mikorontana na mason-koditra sandoka. -
Fitsipika momba ny sisiny:
Mijanona ho madio ny tsipika madio. Ny modely ratsy kosa dia mahatonga ny sisiny hihozongozona na hitsimoka halo. -
Realisma amin'ny endrika
Tsy tokony ho lasa dian-borosy ny volo. Tsy tokony ho lasa lamina miverimberina ny biriky. -
Fikirakirana ny tabataba sy ny famatrarana
Sary andavanandro maro no simba tanteraka amin'ny JPEG. Ny upscaler tsara dia tsy mampitombo izany fahasimbana izany (Real-ESRGAN). -
Fahafantarana ny endrika sy ny soratra
Ny endrika sy ny soratra no toerana mora indrindra ahitana lesoka. Ny modely tsara dia mitandrina tsara azy ireo (na manana fomba fiasa manokana). -
Fifanarahana eo amin'ny sary (ho an'ny horonan-tsary)
Raha miparitaka ny antsipiriany isaky ny sary, dia hikiakiaka ny masonao. Ny fampitomboana ny horonan-tsary dia mety ho velona na ho faty noho ny fahamarinan'ny fotoana (BasicVSR (CVPR 2021)). -
Fanaraha-maso misy dikany
Mila slider izay mifanaraka amin'ny vokatra tena izy ianao: denoise, deblur, fanesorana artifact, fitazonana voamaina, fanamafisana… ny zavatra azo ampiharina.
Fitsipika tsotra nefa maharitra: ny "upscaling" "tsara indrindra" matetika no zara raha tsikaritrao. Toa nanana fakantsary tsara kokoa ianao tany am-piandohana 📷✨
Tabilao fampitahana: safidy fanatsarana AI malaza (sy ny tombony azo avy amin'izany) 📊🙂
Ity ambany ity ny fampitahana azo ampiharina. Niniana natao ho tsy mazava ny vidiny satria miovaova arakaraka ny fahazoan-dàlana, ny fonosana, ny vidin'ny kajy, ary ireo zavatra mahafinaritra rehetra ireo ny fitaovana.
| Fitaovana / Fomba fiasa | Tsara indrindra ho an'ny | Vidiny mirindra | Nahoana no miasa (eo ho eo) |
|---|---|---|---|
| Fitaovana fanatsarana birao amin'ny fomba Topaz (Sary Topaz, Lahatsary Topaz) | Sary, lahatsary, fomba fiasa mora | Karamaina | Modely ankapobeny matanjaka + fanitsiana betsaka, mirona "hiasa fotsiny"... amin'ny ankapobeny |
| Endri-javatra karazana "Super Resolution" an'ny Adobe (Adobe Enhance > Super Resolution) | Mpaka sary efa ao anatin'io tontolo iainana io | Famandrihana | Fanorenana indray ny antsipiriany mazava tsara, matetika mitandrina tsara (tsy dia misy fiantraikany ratsy loatra) |
| Karazana Real-ESRGAN / ESRGAN (Real-ESRGAN, ESRGAN) | Asa DIY, mpamorona rindrambaiko, asa andiany | Maimaimpoana (saingy mandany fotoana) | Tsara amin'ny antsipiriany amin'ny endriny, mety ho masiaka amin'ny tarehy raha tsy mitandrina ianao |
| Fomba fampitomboana mifototra amin'ny fanaparitahana (SR3) | Asa famoronana, vokatra voaravaka | mifangaro | Afaka mamorona antsipiriany mahafinaritra - afaka mamorona hadalana ihany koa, ka... eny |
| Fanatsarana ny lalao (fomba DLSS/FSR) (NVIDIA DLSS, AMD FSR 2) | Lalao sy fampisehoana amin'ny fotoana tena izy | nafatotra ho amboarany | Mampiasa angon-drakitra momba ny fihetsehana sy ny zavatra efa nianarana mialoha - fandresena amin'ny fampisehoana milamina 🕹️ |
| Serivisy fanatsarana ny rahona | Fahamorana, fandresena haingana | Karama isaky ny fampiasana | Haingana + azo ovaina, fa mifehy ny varotra ianao ary indraindray amin'ny fomba malefaka |
| Mpampiakatra ny AI mifantoka amin'ny horonan-tsary (BasicVSR, Topaz Video) | Lahatsary taloha, anime, arsiva | Karamaina | Tetika ara-potoana hampihenana ny flicker + modely horonan-tsary manokana |
| Fanatsarana ny finday/galeria "smart" | Fampiasana tsy ara-potoana | Tafiditra | Modely maivana namboarina mba hahazoana vokatra mahafinaritra, fa tsy tonga lafatra (mbola mora ampiasaina) |
Fiekena momba ny endrika tsy mahazatra: "Mandoa vola" dia manao asa be dia be ao amin'io tabilao io. Fa azonao ny hevitra 😅
Ny tsiambaratelo lehibe: mianatra sarintany avy amin'ny res-ivelany ambany mankany amin'ny res-ivelany avo lenta ireo maodely 🧠➡️🖼️
Ao am-pon'ny ankamaroan'ny fanatsarana ny AI dia misy ny fametrahana fianarana voaara-maso (Image Super-Resolution Using Deep Convolutional Networks (SRCNN)):
-
Atombohy amin'ny sary avo lenta (ny "marina")
-
Ampidino ho amin'ny dikan-teny ambany famaha izy ireo ("fidirana")
-
Ampiofano ny modely iray mba hanamboarana indray ny sary avo lenta tany am-boalohany avy amin'ny sary ambany kalitao
Rehefa mandeha ny fotoana, mianatra fifandraisana toy ny hoe:
-
"Ity karazana fanjavonan'ny maso ity dia mazàna an'ny volomaso"
-
"Matetika ity vondron-piksela ity dia manondro lahatsoratra serif"
-
"Toy ny tsipika eny amin'ny tafo ity fisondrotry ny sisiny ity, fa tsy feo kisendrasendra"
Tsy fitadidiana sary manokana izany (amin'ny heviny tsotra), fa fianarana rafitra statistika (Deep Learning for Image Super-resolution: A Survey). Eritrereto toy ny fianarana ny fitsipi-pitenenan'ny endrika sy ny sisiny. Tsy fitsipi-pitenenan'ny tononkalo, fa toy ny… fitsipi-pitenenana IKEA 🪑📦 (metafora sarotra, nefa mitovy tsara).
Ny tena zava-dehibe: inona no mitranga mandritra ny fanatsoahan-kevitra (rehefa manao "upscale") ⚙️✨
Rehefa ampidirinao ao anaty AI upscaler ny sary dia mazàna misy fomba fiasa toy izao:
-
Fanodinana mialoha
-
Mamadika ny habaka loko (indraindray)
-
Ampifanaraho amin'ny fomba mahazatra ny sandan'ny piksela
-
Zarao ho sombin-javatra ny sary raha lehibe (fanamarinana ny zava-misy VRAM 😭) (Repo Real-ESRGAN (safidy taila))
-
-
Fitrandrahana endri-javatra
-
Ireo sosona voalohany dia mamantatra ny sisiny, ny zorony, ny fiovaovan'ny loko
-
Ireo sosona lalindalina kokoa dia mamantatra lamina: endrika, firafitra, singa amin'ny tarehy
-
-
fanorenana indray
-
Mamorona sarintany endri-javatra avo lenta kokoa ny modely
-
Avy eo dia mamadika izany ho pixel tena izy
-
-
Fanodinana aorian'ny fandidiana
-
Fanamafisana azo atao
-
Fanafoanana tabataba azo atao
-
Fanafoanana artifact azo atao (feo maneno, halo, sakana)
-
Antsipiriany kely iray: fitaovana maro no namboarina tamin'ny taila, avy eo dia nafangaro ny zaitra. Ireo fitaovana tsara dia manafina ny sisin'ny taila. Ireo fitaovana tsy dia tsara dia mamela marika kely raha mijery ianao. Ary eny, hijery ianao, satria tian'ny olombelona ny mijery ireo lesoka madinika amin'ny zoom 300% toy ny gremlins kely 🧌
Ireo fianakaviana modely lehibe ampiasaina amin'ny fanatsarana ny AI (ary ny antony mahatonga azy ireo ho hafa) 🤖📚
1) Famahanana mahery vaika mifototra amin'ny CNN (ilay soavaly miasa mahazatra)
Tena tsara amin'ny lamina eo an-toerana ny tambajotra neural convolutional: sisiny, endrika, rafitra kely (Image Super-Resolution Using Deep Convolutional Networks (SRCNN)).
-
Tombony: haingana, marin-toerana, tsy dia mahagaga loatra
-
Fatiantoka: mety ho toa "voahodina" kely raha terena mafy
2) Fampiakarana ny rindrankajy mifototra amin'ny GAN (fomba ESRGAN) 🎭
Ny GAN (Generative Adversarial Networks) dia mampiofana mpamokatra mba hamokatra sary avo lenta izay tsy hain'ny mpanavaka manavaka amin'ny tena izy (Generative Adversarial Networks).
-
Tombony: antsipiriany maranitra, endrika mahavariana
-
Fatiantoka: afaka mamorona antsipiriany izay tsy teo - indraindray diso, indraindray hafahafa (SRGAN, ESRGAN)
Afaka manome anao izany hatsarana mahatalanjona izany ny GAN. Afaka manome endrika volomaso fanampiny ho an'ny olona sarinao ihany koa izany. Koa... fidio ny adinao 😬
3) Fampiakarana mifototra amin'ny fanaparitahana (ny karazana famoronana) 🌫️➡️🖼️
Manala tabataba tsikelikely ny modely diffusion ary azo tarihina mba hamokarana antsipiriany avo lenta (SR3).
-
Tombony: mety ho tena mahay amin'ny antsipiriany azo inoana, indrindra ho an'ny asa famoronana
-
Fatiantoka: mety hiala amin'ny maha-izy azy/rafitra tany am-boalohany raha toa ka mahery setra ny toerana (SR3)
Eto no manomboka mifangaro amin'ny "fanavaozana" ny "fanatsarana ny teknolojia". Indraindray izany indrindra no tadiavinao. Indraindray tsy izany mihitsy.
4) Fanatsarana ny haben'ny horonan-tsary miaraka amin'ny tsy fitoviana ara-potoana 🎞️
Matetika ny fampitomboana ny haben'ny horonan-tsary dia manampy lojika mifanaraka amin'ny fihetsehana:
-
Mampiasa ireo sary mifanila mba hampiorenana ny antsipiriany (BasicVSR (CVPR 2021))
-
Miezaka misoroka ny flickering sy ny crawling artifacts
-
Matetika dia mampifangaro ny super-resolution amin'ny denoise sy deinterlacing (Topaz Video)
Raha toa ka toy ny famerenana amin'ny laoniny sary hosodoko iray ny fanatsarana ny haben'ny sary, ny fanatsarana ny haben'ny horonan-tsary kosa dia toy ny famerenana amin'ny laoniny boky kely tsy manova endrika isaky ny pejy ny oron'ilay olona. Izay… sarotra kokoa noho ny fiheverana azy.
Nahoana ny fanatsarana ny AI indraindray no toa sandoka (ary ny fomba hamantarana izany) 👀🚩
Tsy mahomby amin'ny fomba azo fantarina ny fanatsarana ny AI. Raha vao mianatra ireo lamina ianao dia ho hitanao hatraiza hatraiza izy ireo, toy ny hoe mividy fiara vaovao dia tampoka eo dia mahatsikaritra izany modely izany eny an-dalana rehetra 😵💫
Filazana mahazatra:
-
Hoditra savoka amin'ny tarehy (denoise be loatra + fanalefahana)
-
Halo maranitra loatra manodidina ny sisiny (faritra "mihoatra ny mahazatra") (interpolation Bicubic)
-
Endrika miverimberina (rindrina biriky lasa lamina kopia sy apetaka)
-
Fifanoherana bitika mikorontana izay mikiakiaka hoe "algorithm"
-
Fanovana lahatsoratra izay mahatonga ny litera ho lasa litera saika mitovy (ny karazana ratsy indrindra)
-
Fiovaovan'ny antsipiriany izay miovaova kely ny endri-javatra kely, indrindra amin'ny fizotran'ny diffusion (SR3)
Ny sarotra: indraindray ireo zavatra ireo dia toa "tsara kokoa" raha vao jerena. Tian'ny atidohanao ny maranitra. Saingy rehefa afaka kelikely, dia toa... tsy mety izany.
Tetika tsara ny manalavitra ny zoom ary manamarina raha toa ka voajanahary ny endriny amin'ny elanelana mahazatra. Raha toa ka tsara tarehy amin'ny zoom 400% fotsiny izy dia tsy fandresena izany, fa fialam-boly fotsiny 😅
Ny fiasan'ny AI Upscaling: ny lafiny fiofanana, tsy misy olana amin'ny matematika 📉🙂
Ny fampiofanana ireo modely manana vahaolana ambony dia mazàna ahitana ireto manaraka ireto:
-
Angon-drakitra mifamatotra (fidirana ambany-res, lasibatra avo-res) (Sary Super-Resolution Mampiasa Tambajotra Deep Convolutional (SRCNN))
-
Ireo asa fatiantoka izay manasazy ny fanamboarana diso (SRGAN)
Karazana fatiantoka mahazatra:
-
Fahaverezan'ny piksela (L1/L2)
Mampirisika ny fahamarinan'ny sary. Mety hiteraka vokatra malefaka kely. -
Fahaverezan'ny fahatsapana
Mampitaha ireo endri-javatra lalindalina kokoa (toy ny hoe "mitovy ve ity " ) fa tsy piksela marina (Perceptual Losses (Johnson et al., 2016)). -
Ny fahaverezan'ny fifanandrinana (GAN)
dia mampirisika ny realisma, indraindray amin'ny vidin'ny fahamarinana ara-bakiteny (SRGAN, Generative Adversarial Networks).
Misy fifandonana tsy tapaka:
-
Ataovy mahatoky amin'ny tany am-boalohany
vs. -
Ataovy mahafinaritra ny maso
Samy hafa ny toerana misy ny fitaovana amin'io sehatra io. Ary mety aleonao ny iray miankina amin'ny hoe mamerina ny sarin'ny fianakaviana ianao na manomana afisy izay zava-dehibe kokoa noho ny fahamarinan'ny fanadihadiana ara-pitsarana ny "tsara tarehy".
Fomba fiasa azo ampiharina: sary, scan taloha, anime, ary horonan-tsary 📸🧾🎥
Sary (sary, tontolo iainana, sarin'ny vokatra)
Ny fomba fanao tsara indrindra dia matetika:
-
Esory aloha ny tabataba kely (raha ilaina)
-
Ambony lenta miaraka amin'ny toe-javatra mahazatra
-
Ampio indray ny voamaina raha toa ka malama loatra ny zavatra (eny, tena marina)
Toy ny sira ny voamaina. Manimba ny sakafo hariva ny be loatra, nefa tsy misy mihitsy mahatonga ny tsirony ho fisaka 🍟
Sary efa nojerena taloha sy sary voaporitra be
Sarotra kokoa ireo satria mety hoheverin'ny modely ho "texture" ny blocs compression.
Andramo:
-
Fanesorana na fanesorana ireo zavatra simba
-
Dia avo lenta
-
Dia afangaro moramora (tsy dia be loatra... Fantatro fa izany no lazain'ny rehetra, fa mbola izany ihany)
Anime sy sary an-tsary
Tombontsoa azo avy amin'ny sary an-tsoratra:
-
Modely izay miaro ny sisiny madio
-
ny endriky
ny anime dia matetika tsara tarehy satria tsotra sy mitovy ny endriny. (Soa ihany.)
Video
Manampy dingana fanampiny ny lahatsary:
-
Denoise
-
Deinterlace (ho an'ny loharano sasany)
-
Ambony lenta
-
Fanalefahana na fanamafisana ara-potoana (BasicVSR (CVPR 2021))
-
Famerenana indray ny voam-bary ho an'ny firaisankina
Raha tsy miraharaha ny fiovaovan'ny fotoana ianao dia ho hitanao ireo antsipiriany mamirapiratra ireo. Raha vao tsikaritrao izany dia tsy ho afaka hadinoinao intsony. Toy ny seza mikitroka ao anaty efitrano mangina 😖
Misafidy toerana tsy misy vinavina be loatra (takelaka kely ho an'ny famitahana) 🎛️😵💫
Ireto misy fomba fisainana tsara hanombohana:
-
Raha toa ka matevina ny tarehy
dia ahena ny tabataba, ahena ny fanamafisana, andramo ny modely na fomba fiasa miaro ny tarehy. -
Raha toa ka matanjaka loatra ny endrika
dia ampio ireo slider "fanatsarana antsipiriany" na "famerenana antsipiriany", ary ampio voa madinika aorian'izay. -
Raha mamirapiratra ny sisiny
dia ahena ny fanamafisana, jereo ny safidy hanafoanana ny halo. -
Raha toa ka toa "AI" loatra ilay sary
dia mitandrema kokoa. Indraindray ny tsara indrindra dia ny… mampihena fotsiny.
Ary koa: aza ampitomboina ny 8x satria fotsiny hoe afaka manao izany ianao. Ny 2x na 4x madio matetika no tsara indrindra. Ankoatra izany, dia mangataka ny modely hanoratra tantara foronina momba ny pixel-nao ianao 📖😂
Etika, maha-azo itokiana, ary ilay fanontaniana sarotra momba ny "fahamarinana" 🧭😬
Manafina ny fetrany ny fanatsarana ny AI:
-
Ny famerenana amin'ny laoniny dia midika hoe famerenana amin'ny laoniny izay efa nisy
-
Ny fanatsarana dia midika hoe manampy izay tsy teo
Amin'ny sary manokana, mazàna dia mety tsara (ary mahafinaritra). Amin'ny asa fanaovan-gazety, porofo ara-dalàna, sary ara-pitsaboana, na zavatra rehetra izay zava-dehibe ny fahatokisana... mila mitandrina ianao (OSAC/NIST: Torolàlana mahazatra ho an'ny fitantanana sary nomerika forensika, Torolàlana SWGDE ho an'ny famakafakana sary forensika).
Fitsipika tsotra iray:
-
Raha toa ka sarotra ny mamaha izany, dia raiso ho fanazavana fotsiny, fa tsy ho famaranana.
Zava-dehibe ihany koa ny famoahana vaovao amin'ny sehatra matihanina. Tsy hoe ratsy ny AI, fa satria mendrika ny hahafantatra ny mpihaino raha naverina namboarina na noraisim-peo ny antsipiriany. Izany fotsiny... fanajana.
Fanamarihana famaranana sy famintinana fohy 🧡✅
Koa, ny fomba fiasan'ny AI Upscaling dia toy izao: mianatra ny fomba ifandraisan'ny antsipiriany avo lenta amin'ny lamina ambany famaha ny modely, avy eo dia maminavina piksela fanampiny azo inoana mandritra ny upscaling ( Deep Learning for Image Super-resolution: A Survey ). Miankina amin'ny fianakavian'ny modely (CNN, GAN, diffusion, video-temporal), io vinavina io dia mety ho konservativa sy marina... na sahy ary indraindray tsy voafehy 😅
Famintinana fohy
-
Ny fampitomboana nentim-paharazana dia manitatra ny piksela (interpolation Bicubic)
-
Ny fampitomboana ny AI dia maminavina ny antsipiriany tsy ampy amin'ny alàlan'ny fampiasana lamina nianarana (Image Super-Resolution Using Deep Convolutional Networks (SRCNN))
-
Vokatra tsara no azo avy amin'ny modely mety + fifehezana tsara
-
Mitandrema amin'ny hazavana manodidina ny maso, tarehy misy savoka, endrika miverimberina, ary fikitroka ao amin'ny lahatsary (BasicVSR (CVPR 2021))
-
Matetika ny fanatsarana ny kalitao dia "fanarenana azo inoana", fa tsy fahamarinana tonga lafatra (SRGAN, ESRGAN)
Raha tianao, lazao amiko izay hatsarainao (tarehy, sary taloha, horonan-tsary, anime, scan lahatsoratra), dia hanoro paikady fanovana izay mirona amin'ny fisorohana ireo fandrika mahazatra amin'ny "endrika AI" aho 🎯🙂
Ohatra tena misy: Fanatsarana ny sarin'ny vokatra efa ela amidy eny an-tsena 📸
Tantara
Fivarotana fakantsary kely efa nampiasaina iray no manana sary vokatra 40 naondrana avy amin'ny tranonkala taloha izay mirefy 800px ny sakany. Tian'ny tompony hampiasaina indray ao amin'ny pejy fivarotana an-tserasera vaovao izy ireo, izay 1.600px ny sakany araka ny soso-kevitra.
Ny olana: ny fanovana habe mahazatra dia mahatonga ny fakantsary ho toa malefaka, raha toa kosa ny fanatsarana AI mahery vaika dia mety hahatonga ny tahony fingotra, ny laharan'ny andiany, ary ny marika amin'ny fakantsary ho toa sandoka. Zava-dehibe izany satria ny mpividy dia miankina amin'ireo antsipiriany ireo alohan'ny hividianana.
Tsy ny "hamerina" tanteraka ny fampahalalana tsy ampy no tanjona. Fa ny hamorona sary lisitra madio kokoa sady mitazona ny rakitra tany am-boalohany ho azo ampiasaina, satria ny fampitomboana ny AI dia maminavina antsipiriany azo inoana fa tsy ny fahamarinana azo antoka.
Izay ilain'ny fizotran'ny asa
Sarin'ny vokatra tany am-boalohany, tsara kokoa raha ireo dikan-teny tsy dia voatsindry loatra misy
Haben'ny vokatra kendrena, toy ny 2× avo lenta manomboka amin'ny 800px ka hatramin'ny 1.600px ny sakany
Fitaovana na modely misy fanaraha-maso misaraka ho an'ny fanesorana tabataba, fanamafisam-peo ary fanesorana zavatra simba
Lisitra fanamarinana tsotra ho an'ny lahatsoratra, sisiny, logo, visy, bokotra, voamaina hoditra, ary taratra
Fampidirana ho an'ny rakitra tany am-boalohany sy fampidirana misaraka ho an'ny fanondranana novaina, mba tsy hisy ho voasolo
Ohatra amin'ny toromarika
Ampiasao ity karazana toromarika ity rehefa manao fitiliana AI upscaler:
Ampitomboy 2× ity sarin'ny vokatra ity mba hahazoana lisitra an-tserasera. Tazomy ho akaiky araka izay azo atao ny endriky ny zavatra, ny toerana misy ny logo, ny mariky ny family, ny sisin'ny bokotra, ary ny endriky ny ety ivelany amin'ny tany am-boalohany. Manaova fanadiovana malefaka, tsy dia maranitra loatra, ary aza mamorona lahatsoratra fanampiny, rangotra, marika, laharan'ny andiany, na antsipiriany haingon-trano. Tokony ho voajanahary ny endriky ny sary farany amin'ny haben'ny pejy vokatra mahazatra, fa tsy maranitra artifisialy amin'ny zoom 400%.
Ahoana ny fomba fitsapana azy
Atombohy amin'ny sary mifangaro dimy alohan'ny hikirakirana ny andiany manontolo:
Sarin'ny vokatra madio iray misy jiro tsara
Sary iray voatsindry JPEG miaraka amin'ny endrika voasakana
Sary iray misy soratra kely vita pirinty na marika eo amin'ny family
Sary maizina iray misy tabataba ao anaty aloka
Sary iray misy metaly na fitaratra taratra
Rehefa avy nampitombo ny scaling, ampitahao amin'ny vokatra tany am-boalohany ny vokatra tsirairay amin'ny 100% sy 200%. Jereo raha mbola mifanaraka ny anaran'ny marika, ny dial, ny visy, ny port, ary ny lamina misy ny endriny. Raha toa ka mamorona "litera saika" na marika sandoka ny modely, dia ampidino ny fikirana fanamafisana na famerenana ny antsipiriany.
vokany
Vokatra maneho izany: mifototra amin'ny fandrefesana ny fotoana nanaovana fitsapana sary dimy aloha sy aorian'ny fampiasana ity fomba fiasa ity.
Naharitra 9 minitra teo ho eo ny fanadiovana sy fanovana habe tamin'ny tanana isaky ny sary, na 45 minitra ho an'ny sary dimy.
Naharitra 3 minitra teo ho eo ny fizotran'asa nampian'ny AI isaky ny sary, na 15 minitra ho an'ny sary dimy.
Izany dia tombanana ho 30 minitra voatahiry amin'ny sary dimy, na eo amin'ny 4 ora eo ho eo voatahiry amin'ny andian-tsary 40.
Vokatra fanamarinana kalitao: sary 4 amin'ny 5 no nandalo ny famerenana voalohany. Sary iray no tsy nahomby satria nanova ny endriky ny lahatsoratra kely ilay fitaovana fanatsarana kalitao, ka naverina nojerena indray ilay izy ary tsy nohatsaraina intsony.
Ny metrika sarobidy eto dia tsy hoe "toa maranitra kokoa" fotsiny. Fa hoe: firy ny sary mandalo fandinihana mifanila nefa tsy misy antsipiriany noforonina?
Inona no mety ho diso
Mety hamadika ny vovoka, ny sakana JPEG, na ny rangotra ho endrika "tena izy" ilay modely.
Mety ho lasa lahatsoratra sandoka izay toa azo inoana ireo lahatsoratra madinika ireo mandra-pahitanao zoom akaiky kokoa.
Mety hahatonga ny fingotra, hoditra, na metaly voaborosy ho toy ny savoka ny denoise be loatra.
Ny fandranitana mafy dia mety hamorona endrika boribory manodidina ny sisin'ny vokatra.
Afaka manafina lesoka ny fanodinana andiany (assembly processing), koa avereno jerena ny santionany alohan'ny hanondranana ny zava-drehetra.
Ho an'ny varotra an-tserasera, tsotra ny fitsipika azo antoka indrindra: aza mampiasa ny fanatsarana ny AI mihitsy mba hanafenana ny fahasimbana, hanovana ny toe-javatra, na hahatonga ny vokatra ho toa vaovao kokoa noho ny tena izy.
Sakafo azo sotroina azo ampiharina
Ny fanatsarana ny sary amin'ny alalan'ny AI dia miasa tsara indrindra rehefa raisinao ho toy ny dingana famaranana voafehy izany, fa tsy toy ny bokotra fanamboarana majika. Ampiasao ny fikirana 2× tsy miovaova, jereo ireo antsipiriany izay tena zava-dehibe amin'ny mpividy, ary tazomy ny sary tany am-boalohany mba hijanonana ho azo itokisana ny dikan-teny novaina.
Ohatra tena misy: Manatsara ny kalitaon'ny lahatsary fiofanana efa tranainy nefa tsy mahatonga azy hamirapiratra
Tantara
Manana lahatsary fampisehoana fiarovana maharitra 7 minitra voarakitra tamin'ny taona 2014 amin'ny 720p ny orinasa kely iray mpanao fiofanana. Mbola misy lanjany ihany ny votoatiny, saingy toa malefaka ny lahatsary ao amin'ny tranonkalan'ny orinasa vaovao, indrindra amin'ny efijerin'ny solosaina finday lehibe kokoa.
Tian'ny ekipa ny hanondrana dika 1080p madio kokoa tsy mila manova ny sary. Ny mety ho voka-dratsin'ny fampitomboana ny sary amin'ny alalan'ny AI dia ny mety hahatonga ny tarehy ho toa savoka, hanova ny lahatsoratra amin'ny famantarana ho "saika toy ny teny", na hamorona endrika miredareda isaky ny sary.
Tsy ny hahatonga ny lahatsary ho toy ny vaovao tanteraka no tanjona. Fa ny hahatonga azy ho mazava kokoa, milamina kokoa, ary tsy dia tery loatra sady mitazona ny endrik'ilay mpampianatra, ny marika fampitandremana, ny fihetsiky ny tanana, ary ny antsipirian'ny fitaovana ho mitovy amin'ny tany am-boalohany.
Izay ilain'ny fizotran'ny asa
Rakitra lahatsary tany am-boalohany, fa tsy azo alaina avy amin'ny tambajotra sosialy voaporitra raha azo atao
Kendreo ny haben'ny fanondranana, toy ny 720p hatramin'ny 1080p fa tsy mitsambikina avy hatrany amin'ny 4K
Fanatsarana horonan-tsary misy safidy denoise, sharpening, fanamboarana compression, ary safidy momba ny tsy fitoviana ara-potoana
Horonan-tsary fohy misy endrika, fihetsehana, lahatsoratra ary velarana amin'ny antsipiriany
Lisitra fanamarinana ho an'ny flicker, halo, lahatsoratra miolikolika, endriky ny tarehy, ary sisiny mihetsika
Dika voatahiry amin'ny lahatsary tany am-boalohany mba ho fampitahana sy hozaraina raha ilaina
Ohatra amin'ny toromarika
Ampiasao ity karazana toromarika ity alohan'ny hikirakirana ny lahatsary feno:
Ampitomboy ho 1080p ity lahatsary fiofanana 720p ity. Ataovy laharam-pahamehana ny fihetsehana voajanahary, ny sisiny marin-toerana, ny lahatsoratra efa misy azo vakiana, ary ny endriky ny hoditra tena izy. Ampiasao ny fanamboarana tsindry malefaka sy ny fanamafisana tsy dia be loatra. Aza mamorona lahatsoratra, logo, marika, rangotra, antsipirian'ny tarehy, na marika fitaovana tsy ampy. Fadio ny mamirapiratra avy amin'ny frame mankany amin'ny frame. Tokony ho mazava kokoa ny vokatra farany amin'ny haben'ny fijerena mahazatra, fa tsy maranitra artifisialy rehefa ajanona sy atao zoom in.
Ahoana ny fomba fitsapana azy
Alohan'ny hikirakirana ny rakitra feno 7 minitra dia manondrana santionany 20 segondra izay ahitana ireto manaraka ireto:
Ny endrik'ilay mpampianatra rehefa miteny
Tanana mihetsika eo amin'ny rindrina
Etikety fampitandremana na lahatsoratra kely vita pirinty
Ety ambonin'ny tany misy endrika, toy ny lamba, simenitra, metaly voaborosy, na plastika
Fakan-tsary na fihetsehana mangovitra
Jereo indroa ny santionany: indray mandeha amin'ny hafainganam-pandeha mahazatra ary indray mandeha miato isaky ny frame. Amin'ny hafainganam-pandeha mahazatra, tadiavo raha misy flicker, endrika mandady, na fihetsehana tsy mahazatra manodidina ny sisiny. Rehefa miato, ampitahao ny dikan-teny tany am-boalohany sy ny nohatsaraina mba hijerena raha mbola mifanaraka ny lahatsoratra, ny bokotra, ny fitaovana ary ny endriky ny tarehy.
vokany
Vokatra maneho izany: mifototra amin'ny fandrefesana ny fotoana amin'ny horonan-tsary fitsapana 20 segondra iray ary avy eo mampihatra ireo fikirana mitovy amin'ny horonan-tsary 7 minitra.
Naharitra 35 minitra teo ho eo ny fomba fiasa "fanovana habe sy fanatsarana" natao tanana, anisan'izany ny fanondranana sy famerenana, saingy ny vokatra dia nampiseho famirapiratana hita maso teo amin'ny volon'ny mpampianatra sy ny manodidina ny famantarana fiarovana.
Naharitra 55 minitra teo ho eo ny fizotran'asa notohanan'ny AI, anisan'izany ny fanondranana andrana, saingy nampihena ny olana momba ny famerenana avy amin'ny olana hita maso 8 tamin'ny fanondranana voalohany ho olana madinidinika 2 tamin'ny fanondranana farany.
Nahazo isa 10 amin'ny 12 tamin'ny fanamarinana natao ny dikan-teny farany. Ny olana roa sisa dia ny halemilemy kely amin'ny lahatsoratra ambadika sy ny tabataba kely amin'ny zorony maizina iray. Samy nekena izy roa satria nitovy hatrany ny fomba fijerin'ny mpampianatra, ny fitaovana ary ny dingana fiarovana.
Ny metrika misy dikany eto dia tsy ny hoe "vita 1080p". Fa ny hoe: firy segondra amin'ny lahatsary no mampiseho zavatra manelingelina mandritra ny fijerena mahazatra?
Inona no mety ho diso
Mety hanamafy ireo sakana famoretana ilay modely ary hahatonga azy ireo hitovy amin'ny tena endriny.
Mety ho toa matoky tena kokoa ny lahatsoratra manify saingy tsy dia marina loatra.
Mety ho malama loatra ny tarehy raha avo loatra ny denoise.
Mety hamirapiratra ny sisiny mihetsika raha toa ka tsy miraharaha loatra ny fomba fiasan'ny fitaovana amin'ny frame tsirairay.
Mety ho ratsy kokoa ny endriky ny fanondranana horonan-tsary 4K noho ny fanondranana horonan-tsary 1080p voafetra satria tsy maintsy mamorona antsipiriany be loatra ilay maodely.
Ny fahadisoana lehibe indrindra dia ny mitsara sary miato fotsiny. Ny fampitomboana ny horonan-tsary dia tsy maintsy ho hita ho toy ny sary mihetsika, fa tsy hoe mahavariana fotsiny.
Sakafo azo sotroina azo ampiharina
Ho an'ny horonan-tsary, ny fanatsarana ny AI dia miasa tsara indrindra rehefa andramana aloha ny fizarana fohy, tazomy ho antonony ny avo lenta, ary tsaraina ny fihetsehana alohan'ny hamafin'ny sary. Ny vokatra malefaka kokoa nefa marin-toerana dia mazàna tsara kokoa noho ny dikan-teny mazava izay miredareda isaky ny misy mihetsika.
FAQ
Fanatsarana ny AI sy ny fomba fiasany
Ny fanatsarana ny sary amin'ny alalan'ny AI (matetika antsoina hoe "super-resolution") dia mampitombo ny famahaman'ny sary amin'ny alalan'ny faminaniana ny antsipiriany avo lenta tsy ampy avy amin'ny lamina nianarana nandritra ny fiofanana. Raha tokony hanitatra fotsiny ny piksela toy ny interpolation bicubic, ny modely dia mandalina ny sisiny, ny endrika, ny tarehy ary ny tsipika toy ny lahatsoratra, avy eo dia mamorona angon-drakitra piksela vaovao izay mifanaraka amin'ireo lamina nianarana ireo. Tsy dia "mamerina ny zava-misy" loatra izany fa "manao vinavina azo inoana" izay toa voajanahary.
Fanatsarana ny haben'ny sary amin'ny alalan'ny AI raha oharina amin'ny fanovana habe bicubic na nentim-paharazana
Ny fomba fampitomboana sary nentim-paharazana (toy ny bicubic) dia mampiasa indrindra ny interpolation eo amin'ireo piksela efa misy, manalefaka ny fifindrana nefa tsy mamorona antsipiriany vaovao marina. Ny tanjon'ny fampitomboana sary amin'ny alalan'ny AI dia ny hanangana indray ny rafitra azo inoana amin'ny alàlan'ny famantarana ireo famantarana hita maso sy ny faminaniana ny endriky ny dikan-teny avo lenta amin'ireo famantarana ireo. Izany no mahatonga ny valin'ny AI ho maranitra kokoa, ary koa ny antony ahafahan'izy ireo mampiditra zavatra na "mamorona" antsipiriany izay tsy hita tao amin'ny loharano.
Nahoana ny tarehy no mety ho toy ny savoka na malama loatra
Matetika ny tarehy misy savoka dia avy amin'ny fanesorana tabataba sy fanalefahana mahery vaika miaraka amin'ny fanasarahana izay manala ny endriky ny hoditra voajanahary. Fitaovana maro no mampiasa ny tabataba sy ny endrika manify mitovy, ka ny "fanadiovana" sary dia afaka mamafa ny mason-koditra sy ny antsipiriany madinika. Ny fomba fanao mahazatra dia ny fampihenana ny fanesorana tabataba sy ny fanasarahana, mampiasa fomba fiarovana ny tarehy raha misy, avy eo dia mamerina mampiditra kely ny grain mba tsy dia ho plastika loatra ny vokatra ary ho sary kokoa.
Ireo zavatra mahazatra tokony harahina amin'ny fanatsarana ny AI
Ny famantarana mahazatra dia ahitana halo manodidina ny sisiny, lamina miverimberina (toy ny biriky kopia sy apetaho), fifanoherana bitika mikorontana, ary lahatsoratra izay mivadika ho "saika litera". Ao amin'ny workflows mifototra amin'ny diffusion, azonao atao ihany koa ny mahita ny fiovaovan'ny antsipiriany izay miova kely. Ho an'ny horonan-tsary, ny flicker sy ny antsipiriany mivelatra manerana ny frame dia famantarana lehibe. Raha toa ka tsara tarehy amin'ny zoom tafahoatra ihany izy io, dia mety ho mahery vaika loatra ny fikirana.
Ny tsy fitovian'ny vokatra eo amin'ny GAN, CNN, ary ireo mpanatsara ny diffusion
Ny "super-resolution" mifototra amin'ny CNN dia mazàna ho marin-toerana kokoa sy azo vinavinaina kokoa, saingy mety ho toa "voahodina" raha terena mafy. Ny safidy mifototra amin'ny GAN (fomba ESRGAN) dia matetika mamokatra endrika matanjaka kokoa sy maranitra kokoa, saingy mety hamorona antsipiriany diso izy ireo, indrindra amin'ny tarehy. Ny "upscaling" mifototra amin'ny diffusion dia afaka mamorona antsipiriany tsara tarehy sy azo inoana, nefa mety hiala amin'ny rafitra tany am-boalohany raha matanjaka loatra ny fitarihana na ny fametrahana tanjaka.
Tetikady azo ampiharina amin'ny fametrahana mba hisorohana ny endrika "AI loatra"
Atombohy amin'ny fomba tsotra: amboary 2× na 4× alohan'ny hanaovana zavatra tafahoatra. Raha toa ka toa mikorontana ny tarehy, ahena ny tabataba sy ny fanasarahana ary andramo ny fomba fijery mahazatra ny tarehy. Raha toa ka mahery loatra ny endrika, ahena ny fanatsarana ny antsipiriany ary diniho ny fanampiana voa madinika aorian'izay. Raha mamirapiratra ny sisiny, ahena ny fanasarahana ary jereo ny fanafoanana ny halo na ny artifact. Amin'ny pipeline maro, ny "kely kokoa" no mandresy satria miaro ny realism azo inoana.
Fikirakirana ireo sary efa tranainy na sary voaporitra JPEG be loatra alohan'ny hampitomboana ny habeny
Sarotra ny sary voaporitra satria afaka mihevitra ny artifacts bloc ho toy ny texture tena izy ny modely ary manamafy azy ireo. Ny fomba fiasa mahazatra dia ny fanesorana na fanesorana ny artifact aloha, avy eo ny fampitomboana, ary avy eo ny fanatsarana kely raha ilaina izany. Ho an'ny scan, ny fanadiovana malefaka dia afaka manampy ny modely hifantoka amin'ny rafitra tena izy fa tsy amin'ny fahasimbana. Ny tanjona dia ny hampihenana ny "cues texture sandoka" mba tsy ho voatery hanao vinavina matoky tena avy amin'ny fidirana mitabataba ny upscaler.
Nahoana no sarotra kokoa ny mampitombo ny haben'ny horonan-tsary noho ny mampitombo ny haben'ny sary
Tsy maintsy mitovy amin'ny sary rehetra ny fampitomboana ny haben'ny horonan-tsary, fa tsy tsara amin'ny sary iray ihany. Raha toa ka miparitaka tsikelikely ny antsipiriany, dia ho lasa manelingelina haingana ny vokatra. Ny fomba fiasa mifantoka amin'ny horonan-tsary dia mampiasa fampahalalana ara-potoana avy amin'ny sary mifanila mba hampiorenana ny fanamboarana sy hisorohana ny zavatra mamirapiratra. Ny fomba fiasa maro koa dia ahitana ny denoise, ny deinterlacing ho an'ny loharano sasany, ary ny fampidirana indray ny voa mba hahatsapana fa mirindra tsara ny fizarana manontolo fa tsy maranitra artifisialy.
Rehefa tsy mety na mampidi-doza ny miantehitra amin'ny fanatsarana ny AI
Ny fanatsarana ny AI dia tsara kokoa raha raisina ho fanatsarana, fa tsy porofo. Amin'ny toe-javatra sarotra toy ny asa fanaovan-gazety, porofo ara-dalàna, sary ara-pitsaboana, na asa forensika, ny famoronana piksela "azo inoana" dia mety hamitaka satria mety hanampy antsipiriany izay tsy voasambotra. Ny endrika azo antoka kokoa dia ny fampiasana azy io amin'ny fanoharana ary ny fampiharihariana fa ny AI dia nanorina indray ny antsipiriany. Raha tena ilaina ny fahamarinan-toerana, dia tehirizo ny tany am-boalohany ary soraty ny dingana sy ny toerana rehetra amin'ny fanodinana.
References
-
arXiv - Fianarana lalina ho an'ny sary avo lenta: Fanadihadiana - arxiv.org
-
arXiv - Sary avo lenta mampiasa tambajotra lalina (SRCNN) - arxiv.org
-
arXiv - Real-ESRGAN - arxiv.org
-
arXiv - ESRGAN - arxiv.org
-
arXiv - SR3 - arxiv.org
-
Mpamorona NVIDIA - NVIDIA DLSS - developer.nvidia.com
-
AMD GPUOpen - FidelityFX Super Resolution 2 - gpuopen.com
-
Fidirana Misokatra ho an'ny The Computer Vision Foundation (CVF) - BasicVSR: Ny Fikarohana ireo Singa Tena Ilaina amin'ny Famahanana Lahatsary Mahery (CVPR 2021) - openaccess.thecvf.com
-
arXiv - Tambajotra Mpifanandrina Generative - arxiv.org
-
arXiv - SRGAN - arxiv.org
-
arXiv - Fahaverezan'ny Fahitana (Johnson et al., 2016) - arxiv.org
-
GitHub - Real-ESRGAN repo (safidy taila) - github.com
-
Wikipedia - Interpolation Bicubic - wikipedia.org
-
Topaz Labs - Sary Topaz - topazlabs.com
-
Topaz Labs - Lahatsary Topaz - topazlabs.com
-
Foibe Fanampiana Adobe - Adobe Enhance > Famahanana Ambony - helpx.adobe.com
-
NIST / OSAC - Torolàlana mahazatra ho an'ny fitantanana sary nomerika forensika (Version 1.0) - nist.gov
-
SWGDE - Torolàlana ho an'ny famakafakana sary forensika - swgde.org