Ny fitadiavana tsy fetezana no maherifo mangina amin'ny asa angon-drakitra - ny fanairana setroka izay mibitsibitsika alohan'ny hirehetan'ny zavatra.
Raha lazaina amin'ny teny tsotra: Ny AI dia mianatra ny endriky ny "normal-ish", manome isa tsy mahazatra , ary avy eo dia manapa-kevitra raha hampiditra olona amin'ny pejy (na hanakana azy ho azy) mifototra amin'ny fetrany iray. Ny olana dia ny fomba famaritanao ny "normal-ish" rehefa ara-potoana, mikorontana, miovaova, ary indraindray mandainga aminao ny angon-drakitrao. [1]
Lahatsoratra tianao hovakiana aorian'ity:
🔗 Nahoana ny AI no mety hanimba ny fiaraha-monina?
Mandinika ny mety ho loza ateraky ny fampiasana AI miely patrana eo amin'ny lafiny etika, ara-toekarena ary ara-tsosialy.
🔗 Ny habetsahan'ny rano tena ampiasain'ny rafitra AI
Manazava ny fampangatsiahana ny foibem-pahalalana, ny filàna fiofanana, ary ny fiantraikan'ny rano amin'ny tontolo iainana.
🔗 Ny atao hoe angon-drakitra AI sy ny antony maha-zava-dehibe azy.
Mamaritra ny angon-drakitra, ny famaritana azy, ny loharano, ary ny anjara asany amin'ny fahombiazan'ny modely.
🔗 Ny fomba faminanian'ny AI fironana avy amin'ny angon-drakitra sarotra
dia mandrakotra ny famantarana lamina, ny modely fianarana milina, ary ny fampiasana vinavina amin'ny tena fiainana.
"Ahoana no ahitan'ny AI ny tsy fetezana?"
Ny valiny tsara dia tokony hanao mihoatra noho ny fitanisana algorithm fotsiny. Tokony hanazava ny mekanika sy ny endriny rehefa ampiharina amin'ny angon-drakitra tena izy sy tsy lavorary izy io. Ireto ny fanazavana tsara indrindra:
-
Asehoy ireo singa fototra: endri-javatra , fototra , isa , ary fetrany . [1]
-
Ampitahao ireo fianakaviana azo ampiharina: elanelana, hakitroky, kilasy iray, fitokana-monina, mety hitranga, fanarenana. [1]
-
Mahaiza miatrika ireo tsy fetezan'ny andian-tantara: ny "ara-dalàna" dia miankina amin'ny fotoana, ny andro, ny famoahana ary ny andro fialan-tsasatra. [1]
-
Ataovy toy ny fameperana tena izy ny fanombanana: tsy manelingelina fotsiny ny fanairana diso - fa mandoro ny fitokisana ihany koa. [4]
-
Ampidiro ao ny fahafahana mandika + ny olombelona ao anatin'ny tadivavarana, satria ny hoe "hafahafa izany" dia tsy fotony antony. [5]
Ny Mekanika Fototra: Fototra, Isa, Fetra 🧠
Ny ankamaroan'ny rafitra tsy mahazatra - na maoderina na tsia - dia mifarana amin'ny singa telo mihetsika:
hitan'ny modely )
Mahalana vao ampy ny famantarana manta. Na manamboatra endri-javatra (statistika mihodina, tahan'ny, fahatarana, delta ara-potoana) na mianatra maneho (fampidirana, habaka kely, fanarenana). [1]
2) Fanomezana isa (fantatra ihany koa amin'ny hoe: "hafahafa" ve ity?)
Ireto misy hevitra mahazatra momba ny fanomezana isa:
-
Mifototra amin'ny halavirana : lavitra ny mpiara-monina = mampiahiahy. [1]
-
Mifototra amin'ny hakitroky : hakitroky ambany eo an-toerana = mampiahiahy (LOF no zanaka famantarana). [1]
-
Fetra kilasy iray : mianara "ara-dalàna", asio marika izay any ivelany. [1]
-
Probabilistika : mety ho kely eo ambanin'ny modely mifanaraka = mampiahiahy. [1]
-
Fahadisoana amin'ny fanamboarana indray : raha toa ka tsy afaka manamboatra azy indray ny modely iray izay nampiofanina tamin'ny fomba mahazatra, dia mety ho diso izy. [1]
3) Fetrany (fantatra ihany koa amin'ny hoe rahoviana no tokony hampanenoana ny lakolosy)
Mety ho raikitra, mifototra amin'ny habetsahana, isaky ny fizarana, na miankina amin'ny vidiny ny fetra - saingy tokony ho amboarina amin'ny tetibola fanairana sy ny fandaniana manaraka izany, fa tsy amin'ny rivo-piainana. [4]
Antsipiriany iray tena azo ampiharina: ny fitaovana mpitsikilo tsy fantatra/vaovao an'ny scikit-learn dia mampiseho isa manta ary avy eo dia mampihatra fetra (matetika fehezina amin'ny alàlan'ny fiheverana ny fandotoana) mba hanovana ny isa ho fanapahan-kevitra tsy fantatra/tsy fantatra. [2]
Famaritana haingana izay misoroka ny fanaintainana any aoriana 🧯
Fahasamihafana roa izay mamonjy anao amin'ny fahadisoana madinika:
-
Fitihana ireo zavatra tsy dia misy loatra : mety efa ahitana zavatra tsy dia misy loatra ny angon-drakitry ny fiofananao; miezaka mamolavola ny "faritra ara-dalàna matevina" ihany ny algorithm.
-
Fitihana zava-baovao : heverina ho madio ny angon-drakitra fiofanana; mitsara ianao raha mifanaraka amin'ny lamina mahazatra nianarana ny fandinihana vaovao
Ary koa: ny fitadiavana zava-baovao dia matetika sokajiana ho fanasokajiana kilasy iray - modely ara-dalàna satria vitsy na tsy voafaritra ny ohatra tsy ara-dalàna. [1]
Ireo mpiasa tsy misy fanaraha-maso izay tena hampiasainao 🧰
Rehefa tsy dia misy marika firy (izay matetika mitranga), ireto no fitaovana miseho amin'ny fantsona tena izy:
-
Ala Isolation : fomba fiasa mahazatra amin'ny tranga maro amin'ny tabilao, ampiasaina betsaka amin'ny fampiharana ary ampiharina amin'ny scikit-learn. [2]
-
SVM Kilasy Iray : mety hahomby saingy mora tohina amin'ny fanitsiana sy ny fiheverana; ny scikit-learn dia manondro mazava tsara ny filàna fanitsiana hyperparameter amim-pitandremana. [2]
-
Local Outlier Factor (LOF) : isa mifototra amin'ny hakitroky mahazatra; tsara rehefa tsy dia mazava loatra ny "ara-dalàna". [1]
Zavatra azo ampiharina hitan'ny ekipa isan-kerinandro: Miovaova ny fihetsiky ny LOF arakaraka ny hoe manao "outlier detection" amin'ny "training set" ve ianao sa tsia, raha oharina amin'ny "novelty detection" amin'ny angon-drakitra vaovao - ny scikit-learn aza dia mitaky "novelty=True" mba hahazoana isa tsy hita maso soa aman-tsara. [2]
Fototra matanjaka izay mbola miasa na dia sarotra aza ny angon-drakitra 🪓
Raha ao anatin'ny toe-tsaina hoe "mila zavatra izay tsy hahatonga antsika ho hadino fotsiny isika" ianao, dia tsy dia omena lanja loatra ireo antontan'isa matanjaka.
Mampiasa ny antonony sy MAD (fivilian-dàlana tanteraka mediana) ny isa-z novaina mba hampihenana ny fahatsapana amin'ny sanda tafahoatra. Ny boky torolalana EDA an'ny NIST dia mirakitra ny endrika isa-z novaina ary manamarika fitsipika "mety ho ivelany" ampiasaina matetika amin'ny sanda tanteraka mihoatra ny 3.5 . [3]
Tsy hamaha ny olana rehetra tsy mahazatra izany - fa matetika fiarovana voalohany matanjaka izany, indrindra ho an'ny metrika misy tabataba sy ny fanaraha-maso amin'ny dingana voalohany. [3]
Zava-misy momba ny andian-tantara: Miankina amin'ny fotoana ny "ara-dalàna" ⏱️📈
Sarotra ny tsy fitoviana amin'ny andian-tantara satria ny teny manodidina no tena zava-dehibe: mety hisy fiakarana amin'ny mitataovovonana; ny fiakarana mitovy amin'izany amin'ny 3 maraina dia mety hidika fa misy zavatra mirehitra. Noho izany, rafitra azo ampiharina maro no mamolavola ny ara-dalàna amin'ny fampiasana endri-javatra mahafantatra ny fotoana (fahatarana, delta ara-potoana, varavarankely mihodina) ary fivilian-dàlana amin'ny isa mifandraika amin'ny lamina andrasana. [1]
Raha fitsipika iray monja no tadidinao: sokafy ny fototra iorenanao (ora/andro/faritra/ambaratongan'ny serivisy) alohan'ny hanambaranao ny antsasaky ny fifamoivoizanao ho "tsy mahazatra." [1]
Fanombanana: Ny Fandrika Tsy Mahazatra 🧪
Matetika ny fitadiavana tsy fetezana dia toy ny "fanjaitra ao anaty mololo", izay mahatonga ny fanombanana ho hafahafa:
-
Mety ho toa tsara dia tsara ny fiolahana ROC rehefa mahalana vao misy vokatra tsara.
-
Matetika ny fomba fijery "precision-recall" dia manome fampahalalana bebe kokoa ho an'ny toe-javatra tsy voalanjalanja satria mifantoka amin'ny fahombiazana amin'ny kilasy tsara izy ireo. [4]
-
Eo amin'ny lafiny fiasa, mila tetibola fanairana : firy isan'ora ny fanairana azon'ny olombelona karakaraina raha tsy miala amin'ny hatezerana? [4]
Ny fitsapana miverimberina amin'ny varavarankely mihodina dia manampy anao hahita ny fomba fiasa mahazatra amin'ny tsy fahombiazana: "miasa tsara izy io... amin'ny fizarana tamin'ny volana lasa." [1]
Fahaiza-mandika sy Antony Fototra: Asehoy ny Asanao 🪄
Toy ny mahazo karatra paositaly mistery ny fampandrenesana tsy misy fanazavana. Mahasoa ihany, nefa mahasosotra.
Afaka manampy amin'ny alalan'ny fanondroana ireo endri-javatra tena nandray anjara tamin'ny isa tsy ara-dalàna ny fitaovana fandikana, na amin'ny fanomezana fanazavana momba ny fomba "inona no mila ovaina mba hiseho ho ara-dalàna?". Ny Interpretable Machine Learning dia torolàlana matanjaka sy manan-danja momba ny fomba mahazatra (anisan'izany ny fanomezana anarana SHAP) sy ny fetrany. [5]
Tsy ny fampiononan'ny mpandray anjara fotsiny no tanjona - fa ny fandaminana haingana kokoa sy ny fampihenana ny tranga miverimberina.
Fametrahana, Fiovaovana, ary Fiverenan'ny Valin-kafatra 🚀
Tsy mipetraka ao anaty "slides" ny modely. Mipetraka ao anaty "pipelines" izy ireo.
Tantara mahazatra momba ny "volana voalohany amin'ny famokarana": ny ankamaroan'ny fitaovana fitiliana dia mampiseho famantarana ny fametrahana, ny asa marobe, ary ny angona tsy hita... izay mbola ilaina ihany satria manery anao hanavaka ny "tranga momba ny kalitaon'ny angona" amin'ny "anomalian'ny orinasa".
Amin'ny fampiharana:
-
Araho maso ny fiovaovan'ny fihetsika ary avereno averina amboarina/amboary rehefa miova ny fitondran-tena. [1]
-
Fidirana isa amin'ny log + dikan-modely mba hahafahanao mamerina ny antony nametrahana pejy ny zavatra iray. [5]
-
Makà valin-tenin'olombelona (fanairana mahasoa vs. fanairana mitabataba) mba handrindrana ny fetra sy ny fizarana rehefa mandeha ny fotoana. [4]
Lafiny fiarovana: IDS sy famakafakana fitondran-tena 🛡️
Matetika ny ekipa fiarovana dia mampifangaro hevitra tsy mahazatra amin'ny fitadiavana mifototra amin'ny fitsipika: fototra ho an'ny "fitondran-tena mahazatra an'ny mpampiantrano", miampy sonia sy politika ho an'ny lamina ratsy fantatra. Ny SP 800-94 (Final) an'ny NIST dia mbola fomba fiteny betsaka ho an'ny fandinihana ny rafitra fitadiavana sy fisorohana ny fidirana an-tsokosoko; manamarika ihany koa izy fa ny drafitra "Rev. 1" tamin'ny taona 2012 dia tsy lasa farany ary najanona taty aoriana. [3]
Dikanteny: ampiasao ny ML raha ilaina izany, fa aza ariana ireo fitsipika mankaleo - mankaleo izy ireo satria mandaitra.
Tabilao fampitahana: Topimaso momba ny fomba malaza 📊
| Fitaovana / Fomba | Tsara indrindra ho an'ny | Nahoana no miasa (amin'ny fampiharana) |
|---|---|---|
| Isa-z matanjaka / novaina | Metrika tsotra, fototra haingana | Fandalovana voalohany matanjaka rehefa mila "ampy tsara" sy fanairana diso vitsy kokoa ianao. [3] |
| Ala Mitokana | Tabilao, endri-javatra mifangaro | Fampiharana efa voafaritra mialoha ary ampiasaina betsaka amin'ny fampiharana. [2] |
| SVM kilasy tokana | Faritra "ara-dalàna" mifintina | Fitiliana zava-baovao mifototra amin'ny fetra; zava-dehibe ny fanitsiana. [2] |
| Antony ivelany eo an-toerana | Normaly mitovy amin'ny Manifold | Ny fifanoheran'ny hakitroky sy ny manodidina dia mahatsikaritra ny hafahafa eo an-toerana. [1] |
| Fahadisoana amin'ny fanamboarana indray (oh: fomba autoencoder) | Lamina avo lenta | Miofana amin'ny fomba mahazatra; ny fahadisoana lehibe amin'ny fanamboarana dia mety hanamarika ny fivilian-dalana. [1] |
Kaody fitaka: atombohy amin'ny fototra matanjaka + fomba mankaleo tsy misy fanaraha-maso, dia ampio ny fahasarotana rehefa mandoa hofan-trano ihany.
Boky Filalaovana Kely: Manomboka amin'ny Aotra ka hatramin'ny Fanairana 🧭
-
Farito amin'ny fomba fiasa ny hoe "hafahafa" (fahatarana, risika amin'ny hosoka, fikorontanan'ny CPU, risika amin'ny lisitra).
-
Atombohy amin'ny fototra (statistika matanjaka na fetra voafaritra). [3]
-
Misafidiana modely tsy misy mpanara-maso iray ho toy ny dingana voalohany (Isolation Forest / LOF / One-Class SVM). [2]
-
Mametraha fetra miaraka amin'ny tetibola mailo , ary tombano amin'ny fomba fisainana PR raha toa ka mahalana ny zavatra tsara. [4]
-
Ampio fanazavana + firaketana an-tsoratra mba hahafahana mamerina sy mamaha olana amin'ny fampandrenesana rehetra. [5]
-
Miverena amin'ny fitsapana, mandefa, mianatra, manitsy - ara-dalàna ny fiovaovan'ny toe-javatra. [1]
Azonao atao tsara ao anatin'ny herinandro izany... raha tsy voafatotra amin'ny kasety sy fanantenana ny mari-potoananao. 😅
Fanamarihana farany - Lava loatra, tsy novakiko🧾
Ny AI dia mamantatra ny tsy fetezana amin'ny alàlan'ny fianarana sary azo ampiharina momba ny "ara-dalàna", ny fanomezana isa ny fivilian-dalana, ary ny fanamarihana izay mihoatra ny fetra. Ny rafitra tsara indrindra dia mandresy tsy amin'ny maha-mamirapiratra azy, fa amin'ny alàlan'ny fanitsiana azy : fototra voazarazara, teti-bola fanairana, vokatra azo adika, ary tadivavarana feedback izay mamadika ny fanairana mitabataba ho famantarana azo itokisana. [1]
References
-
Pimentel et al. (2014) - Famerenana ny famantarana zava-baovao (PDF, Oniversiten'i Oxford) vakio bebe kokoa
-
Antontan-taratasy scikit-learn - Famantarana ny zava-baovao sy ny tsy fahita firy hamaky bebe kokoa
-
Boky an-tserasera NIST/SEMATECH - Fitihana ireo zavatra tsy tafiditra (outliers) vakio bebe kokoa ary NIST CSRC - SP 800-94 (Final): Torolalana ho an'ny Rafitra Fitihana sy Fisorohana ny Fidirana An-tsokosoko (IDPS) vakio bebe kokoa
-
Saito & Rehmsmeier (2015) - Ny Plot Precision-Recall dia manome fampahalalana bebe kokoa noho ny Plot ROC rehefa manombana ny Binary Classifiers amin'ny Datasets tsy mifandanja (PLOS ONE) vakio bebe kokoa
-
Molnar - Fianarana Milina Azo Adika (boky an-tranonkala) vakio bebe kokoa