Pri izdelavi modela strojnega učenja ne gre le za hranjenje podatkov, obstaja veliko pomanjkljivosti, ki vplivajo na natančnost katerega koli modela. Prekomerno opremljanje je ena od pomanjkljivosti strojnega učenja, ki ovira natančnost in učinkovitost modela. V tem članku so zajete naslednje teme:
- Kaj je prekomerno opremljanje pri strojnem učenju?
- Primeri prekomerne opremljenosti
- Signal proti hrupu
- Kaj je Underfitting?
- Kako zaznati prekomerno opremljanje?
- Kako se izogniti prekomerni opremi pri strojnem učenju
- Kaj je dobrota fit?
- Kompromis med pristranskostjo in varianco
Kaj je prekomerno opremljanje pri strojnem učenju?
Statistični model naj bi bil preveč opremljen, če mu pošljemo veliko več podatkov, kot je potrebno. Če želite, da je primeren, si predstavljajte, da se poskušate obleči v preveliko oblačilo.
Ko model prilega več podatkov, kot jih dejansko potrebuje, začne loviti hrupne podatke in netočne vrednosti v podatkih. Posledično se zmanjšata učinkovitost in natančnost modela. Oglejmo si nekaj primerov prekomerne opremljenosti, da bomo razumeli, kako se to dejansko zgodi.
Primeri prekomerne opremljenosti
Primer 1
Če vzamemo primer preprostega linearna regresija , usposabljanje podatkov je namenjeno ugotavljanju minimalnih stroškov med najprimernejšo črto in podatkovnimi točkami. Gre za več ponovitev, da bi ugotovil, kako se najbolje prilega, kar zmanjša stroške. Tu nastopi prekomerno opremljanje.
Črta na zgornji sliki lahko daje zelo učinkovit rezultat za novo podatkovno točko. V primeru prekomerne opremljenosti, ko zaženemo algoritem treninga na naboru podatkov, omogočimo, da se stroški zmanjšajo z vsakim številom ponovitev.
Zagon tega predolgo bo pomenilo nižje stroške, vendar bo ustrezalo tudi hrupnim podatkom iz nabora podatkov. Rezultat bi bil videti tako kot na spodnjem grafu.
To se morda zdi učinkovito, vendar v resnici ni. Glavni cilj algoritma, kot je linearna regresija je najti prevladujoč trend in temu primerno prilagoditi podatkovne točke. Toda v tem primeru črta ustreza vsem podatkovnim točkam, kar ni pomembno za učinkovitost modela pri napovedovanju optimalnih rezultatov za nove vstopne podatkovne točke.
Zdaj pa si oglejmo bolj opisen primer s pomočjo težave.
2. primer
Izjava o težavi: Premislimo, da želimo napovedati, ali bo nogometaš pristal na igralnem mestu v prvem nogometnem klubu na podlagi njegove trenutne uspešnosti v tier 2 ligi.
Zdaj pa si predstavljamo, da treniramo in prilagodimo model z 10.000 takimi igralci z rezultati. Ko poskušamo napovedati rezultat na prvotnem naboru podatkov, recimo, da imamo 99-odstotno natančnost. Toda natančnost pri drugačnem naboru podatkov je približno 50-odstotna. To pomeni, da model ne posplošuje dobro iz naših podatkov o usposabljanju in nevidnih podatkov.
Takole je videti prekomerno opremljanje. To je zelo pogost problem strojnega učenja in celo podatkovne znanosti. Zdaj pa razumimo signal in šum.
Signal proti hrupu
Pri napovednem modeliranju se signal nanaša na resnični osnovni vzorec, ki modelu pomaga pri učenju podatkov. Po drugi strani pa je šum v naboru podatkov nepomemben in naključni podatki. Da bi razumeli koncept hrupa in signala, vzemimo resničen primer.
Predpostavimo, da želimo modelirati starost in pismenost odraslih. Če vzorčimo zelo velik del populacije, bomo našli jasno povezavo. To je signal, medtem ko hrup moti signal. Če bomo enako storili z lokalnim prebivalstvom, bodo odnosi postali blatni. Na to bi vplivali odstopanja in naključnost, na primer ena odrasla oseba je šla zgodaj v šolo ali si katera odrasla oseba ni mogla privoščiti izobraževanja itd.
pravočasno prevajalnik java
Če govorimo o hrupu in signalih v smislu strojnega učenja, bo dober algoritem strojnega učenja samodejno ločil signale od šuma. Če je algoritem preveč zapleten ali neučinkovit, se lahko nauči tudi šuma. Zato prekomerno opremljanje modela. Razumejmo tudi premajhno opremljenost v strojnem učenju.
Kaj je Underfitting?
Da bi se izognili prekomerni opremi, bi lahko trening ustavili že prej. Lahko pa tudi privede do tega, da se model ne bo mogel dovolj naučiti iz podatkov o treningu, zato bo morda težko ujeti prevladujoči trend. To je znano kot pomanjkanje opreme. Rezultat je enak prekomerni opremi, neučinkovitosti pri napovedovanju rezultatov.
Zdaj, ko smo razumeli, kaj v resnici predstavlja premajhno in prekomerno opremljanje v strojnem učenju, poskusimo razumeti, kako lahko zaznamo prekomerno opremljanje v strojnem učenju.
Kako zaznati prekomerno opremljanje?
Glavni izziv pri prekomerni opremi je ocena natančnosti delovanja našega modela z novimi podatki. Natančnosti ne bi mogli oceniti, dokler je dejansko ne preizkusimo.
Da bi rešili to težavo, lahko začetni nabor podatkov razdelimo na ločene nabore podatkov za usposabljanje in preizkušanje. S to tehniko lahko dejansko ocenimo, kako uspešen bo naš model z novimi podatki.
Razumimo to na primeru, predstavljajmo si, da dobimo 90+-odstotno natančnost na vadbenem in 50-odstotno natančnost na testnem naboru. Potem bi bila samodejno rdeča zastavica za model.
Drug način za odkrivanje prekomerne opremljenosti je začeti s poenostavljenim modelom, ki bo služil kot merilo.
Če preizkusite bolj zapletene algoritme, boste s tem pristopom razumeli, ali se dodatna zapletenost sploh splača za model ali ne. Znano je tudi kot Occamov test britvice , v bistvu izbere poenostavljeni model v primeru primerljive zmogljivosti v primeru dveh modelov. Čeprav je odkrivanje prekomerne opremljenosti dobra praksa,obstaja pa več tehnik, ki preprečujejo tudi prekomerno opremljanje. Oglejmo si, kako lahko preprečimo prekomerno opremljanje s strojnim učenjem.
Kako se izogniti prekomerni opremi pri strojnem učenju?
Spodaj je naštetih več tehnik, s katerimi se izognemo prekomerni opremi pri strojnem učenju.
1. Navzkrižno potrjevanje
Ena najmočnejših funkcij za preprečevanje / preprečevanje prekomernega opremljanja je navzkrižno preverjanje veljavnosti. Ideja tega je, da uporabimo podatke o začetnem treningu za generiranje mini vlak-test-split-ov, nato pa te delitve uporabimo za nastavitev vašega modela.
V standardni potrditvi k-krat so podatki razdeljeni na k-podnabore, znane tudi kot zgibi. Po tem se algoritem iteracijsko usposobi za k-1 pregibe, medtem ko preostale pregibe uporablja kot testni niz, znan tudi kot zadrževalni zgib.
Navzkrižno preverjanje nam pomaga pri nastavitvi hiperparametrov samo z originalnim nizom vadbe. V osnovi hrani testni niz ločeno kot resnično neviden podatkovni niz za izbiro končnega modela. Zato se izogibajte prekomerni opremi.
2. Trening z več podatki
Ta tehnika morda ne bo delovala vsakič, o čemer smo govorili tudi v zgornjem primeru, kjer model pomaga treningom z veliko populacijo. V bistvu pomaga modelu pri boljši prepoznavi signala.
Toda v nekaterih primerih lahko povečani podatki pomenijo tudi dovajanje več hrupa modelu. Ko treniramo model z več podatki, moramo zagotoviti, da so podatki čisti in brez naključnosti in nedoslednosti.
3. Odstranjevanje funkcij
kaj je kontekstni filter v tabeli
Čeprav imajo nekateri algoritmi samodejni izbor funkcij. Za večje število tistih, ki nimajo vgrajene izbire lastnosti, lahko iz vhodnih funkcij ročno odstranimo nekaj nepomembnih funkcij, da izboljšamo posploševanje.
To lahko naredite tako, da ugotovite, kako se neka značilnost prilega modelu. Povsem podobno je razhroščevanju kode po vrsticah.
Če funkcija ne more pojasniti ustreznosti v modelu, jih lahko preprosto prepoznamo. Za dobro izhodišče lahko uporabimo celo nekaj hevristik izbora funkcij.
4. Zgodnje ustavljanje
Ko model vadi, lahko dejansko izmerite, kako uspešen je model na podlagi vsake ponovitve. To lahko počnemo do točke, ko ponovitve izboljšajo zmogljivost modela. Po tem model prekomerno prilagodi podatke o treningu, saj posploševanje po vsaki ponovitvi oslabi.
V bistvu torej zgodnje ustavljanje pomeni ustavitev procesa vadbe, preden model preide točko, ko začne model pretiravati s podatki vadbe. Ta tehnika se večinoma uporablja v globoko učenje .
5. Regularizacija
V bistvu pomeni, da umetno prisilite svoj model, da postane enostavnejši z uporabo širšega nabora tehnik. Popolnoma je odvisno od vrste učenca, ki ga uporabljamo. Na primer, lahko obrežemo a , uporabite osip na zivcno omrezje ali dodajte funkcijo kazni funkciji stroškov v regresiji.
Pogosto je regularizacija tudi hiperparameter. To pomeni, da ga je mogoče nastaviti tudi z navzkrižno potrditvijo.
6. Sestavljanje
Ta tehnika v osnovi združuje napovedi različnih modelov strojnega učenja. Spodaj sta navedena dva najpogostejša načina sestavljanja:
S poskusi vrečk se zmanjša možnost pretiranega opremljanja modelov
Spodbujanje poskusov izboljšanja napovedne prožnosti enostavnejših modelov
Čeprav sta obe metodi ansambel, se pristop popolnoma začne iz nasprotnih smeri. Bagging uporablja zapletene osnovne modele in poskuša zgladiti njihove napovedi, medtem ko pospeševanje uporablja preproste osnovne modele in poskuša povečati njihovo skupno kompleksnost.
Kaj je dobrota fit?
Pri statističnem modeliranju se dobrost prilagajanja nanaša na to, kako natančno se rezultati ali predvidene vrednosti ujemajo z opaženimi ali resničnimi vrednostmi.Model, ki se je naučil šuma namesto signala, je preveč opremljen, ker bo ustrezal naboru podatkov o vadbi, vendar bo z novim naborom podatkov slabše izkoristil.
Kompromis med pristranskostjo in varianco
Tako varianca kot tudi pristranskost sta v napovedi napake v . Kompromis med visoko varianco in visoko pristranskostjo je zelo pomemben koncept v statistiki in strojnem učenju. To je en koncept, ki vpliva na vse nadzorovane algoritme strojnega učenja.
Kompromis pristranskosti in variance zelo pomembno vpliva na določanje zapletenosti, premajhne in prekomerne opremljenosti katerega koli modela strojnega učenja.
Pristranskost
To ni nič drugega kot razlika med napovedanimi vrednostmi in dejanskimi ali resničnimi vrednostmi v modelu. Za model ni vedno lahko učiti se iz precej zapletenih signalov.
Predstavljajmo si, da se prilega a linearna regresija modelu z nelinearnimi podatki. Ne glede na to, kako učinkovito se model nauči opazovanj, krivulj ne bo učinkovito modeliral. Znano je kot underfitting.
Varianca
Nanaša se na občutljivost modela na določene sklope v podatkih o treningu. Algoritem z veliko varianco bo ustvaril bizaren model, ki se drastično razlikuje od niza treningov.
Predstavljajte si algoritem, ki ustreza neomejenemu in super fleksibilnemu modelu, saj se bo tudi učil iz hrupa v vadbenem kompletu, ki povzroča prekomerno opremljanje.
Kompromis pristranskosti in variance
Algoritma strojnega učenja ni mogoče razumeti kot enkratno metodo za usposabljanje modela, temveč gre za ponavljajoč se postopek.
Algoritmi z majhno varianco in pristranskostjo so manj zapleteni, s preprosto in togo strukturo.
Usposobili bodo modele, ki so skladni, v povprečju pa netočni.
Sem spadajo linearni ali parametrični algoritmi, kot so regresija, itd.
Algoritmi z visoko varianso in nizko pristranskostjo so ponavadi bolj zapleteni in imajo prožno strukturo.
Usposobili bodo modele, ki so v povprečju nedosledni, a natančni.
Sem spadajo nelinearni ali neparametrični algoritmi, kot so , itd.
S tem smo prišli do konca tega članka, kjer smo se naučili prekomernega opremljanja v strojnem učenju in različnih tehnik, kako se temu izogniti. Upam, da ste seznanjeni z vsem, kar je bilo z vami razdeljeno v tej vadnici.
Če se vam zdi ta članek o »Prekomerni opremljenosti s strojnim učenjem« ustrezen, si oglejte zaupanja vredno podjetje za spletno učenje z mrežo več kot 250.000 zadovoljnih učencev, ki se širijo po vsem svetu.
Tu smo, da vam pomagamo pri vsakem koraku na poti in pripravimo učni načrt, ki je zasnovan za študente in strokovnjake, ki želijo biti . Tečaj je zasnovan tako, da vam omogoči uvod v programiranje Python in vas usposobi za temeljne in napredne koncepte Pythona ter različne všeč , itd.
povratne številke celoštevilčnega pitona
Če naletite na kakršna koli vprašanja, vas prosimo, da vsa vprašanja postavite v oddelku za komentarje »Prekomerno opremljanje s strojnim učenjem« in naša ekipa vam bo z veseljem odgovorila.