I den här artikeln får du lära dig hur du kan använda Labelfs Active Learning-system och rekommendationer för att effektivisera ditt arbete som Modelltränare och hitta de mest värdefulla exemplen för modellträning.
Vad är Active Learning?
Active Learning är en teknik inom maskininlärning som syftar till att maximera modellens prestanda genom att välja ut de mest informativa exemplen för träning. Istället för att slumpmässigt välja exempel att annotera, väljer Active Learning-systemet ut de exempel som modellen är mest osäker på eller som förväntas ge störst förbättring av modellens prestanda.
Hur Fungerar Labelfs Active Learning-system?
Labelfs Active Learning-system analyserar kontinuerligt modellens prestanda och identifierar de områden där den behöver förbättras. Systemet använder sedan en algoritm för att välja ut de texter som är mest värdefulla att annotera för att förbättra modellen. Dessa texter presenteras för dig som rekommendationer.
Rekommendationer
Rekommendationer är texter som Labelfs Active Learning-system har valt ut åt dig att annotera. Du hittar dem i två huvudvyer:
Träningsvyn: När du annoterar i träningsvyn, kommer du att se rekommenderade texter dyka upp i flödet, blandat med andra slumpmässigt utvalda texter.
Hur Använder Man Rekommendationer?
Prioritera rekommendationer: De rekommenderade texterna är utvalda för att de är extra värdefulla för modellens inlärning. Prioritera därför att annotera dessa texter framför andra.
Titta på osäkerhetsnivån: Active Learning-systemet visar ofta hur osäker modellen är på sin klassificering av en viss text. Fokusera på de texter där modellen är som mest osäker (dvs de med lägst konfidens).
Leta efter "nålen i höstacken": Rekommendationerna kan hjälpa dig att hitta ovanliga men viktiga exempel som annars kan vara svåra att hitta.
Använd rekommendationer i kombination med andra verktyg: Kombinera rekommendationer med sökfunktionen, filter och Confusion Matrix för att få en ännu bättre förståelse för modellens styrkor och svagheter.
Var uppmärksam på kategorier med få exempel: Om en kategori har få exempel i pie-charten, var extra uppmärksam på rekommendationer för den kategorin.
Pie Chart (Cirkeldiagram)
Pie-charten längst ner på sidan för modellöversikten ger dig en visuell översikt över fördelningen av annoteringar per kategori.
Hur tolkar man informationen i pie-charten?
Storleken på tårtbitarna: Varje tårtbit representerar en kategori, och storleken på tårtbiten motsvarar antalet annoterade exempel för den kategorin.
Färgkodning: Varje kategori har en unik färg som används konsekvent i hela Labelf-plattformen.
Procentandel: Siffran i mitten av tårtbiten anger hur stor procentandel av annoteringarna som tillhör den kategorin.
Antal exempel: Under tårtbiten kan du se det exakta antalet exempel som har annoterats för varje kategori.
Klickbar: Du kan klicka på en tårtbit för att se de rekommenderade exemplen för den kategorin.
Hur kan man använda pie-charten?
Identifiera obalanser: Om en kategori har betydligt färre exempel än de andra kan det vara ett tecken på att modellen behöver mer träning på den kategorin.
Hitta "nålen i höstacken": Kategorier med få exempel kan vara extra viktiga att fokusera på. Använd pie-charten för att hitta dessa kategorier och använd sedan sökfunktionen och filter för att hitta fler exempel.
Få en överblick: Pie-charten ger dig en snabb överblick över hur datan är fördelad mellan de olika kategorierna.
Se rekommendationer: Klicka på en tårtbit för att se de rekommenderade exemplen för den kategorin.
Se till att alla kategorier har tillräckligt med exempel: En tumregel är att ha minst 50 exempel per kategori, och gärna 200 eller fler om det är en komplex kategori.
Hitta och Annotera "Nålen i Höstacken"
"Nålen i höstacken" är ovanliga men viktiga exempel som kan vara svåra att hitta men som är avgörande för att träna en träffsäker modell. Här är några tips för att hitta och annotera dessa exempel:
Använd rekommendationer: Active Learning-systemet är utformat för att hitta just dessa exempel. Var därför noga med att annotera de rekommenderade texterna, speciellt de som tillhör kategorier med få exempel.
Använd pie-charten: Identifiera kategorier med få exempel och använd sökfunktionen och filter för att hitta fler exempel på dessa kategorier.
Använd sökfunktionen: Var kreativ med dina sökord och försök att tänka på hur olika kunder kan uttrycka sig. Använd synonymer, omskrivningar och olika tempus. Använd också "*" för att hitta böjningar och olika stavningar av ord. Kombinera sökord med booleska operatorer (AND, OR, NOT) för att göra mer precisa sökningar.
Använd filter: Använd metadatafilter (t.ex. kö, agent, datum, produkttyp) för att begränsa datamängden och hitta specifika exempel. Leta efter ovanliga kombinationer av metadata som kan indikera en "nål i höstacken".
Leta efter specifika fraser: Om du vet att en viss fras ofta förekommer i en viss typ av samtal kan du söka efter den frasen för att hitta fler exempel.
Tänk som kunden: Försök att sätta dig in i kundens situation och tänk på hur de skulle kunna uttrycka sig.
Var uppmärksam på avvikelser: Om du ser något som sticker ut från mängden, ta dig tid att undersöka det närmare. Det kan vara en "nål i höstacken".
Använd Confusion Matrix: Identifiera de kategorier som modellen har svårast att skilja åt och leta efter fler exempel på dessa kategorier.
Exempel:
Du jobbar med ett projekt där du ska identifiera samtal som handlar om bedrägeriförsök. Du vet att den här typen av samtal är relativt ovanliga. Du kan då:
Använda pie-charten för att se om kategorin "Bedrägeri" har tillräckligt många exempel.
Använda sökfunktionen för att söka efter specifika ord och fraser som är vanliga i bedrägerirelaterade samtal, till exempel "bedrägeri", "lurendrejeri", "falsk faktura", "okänd debitering", osv.
Använda filter för att se samtal som har hanterats av en viss kö eller agent som är specialiserad på bedrägerier.
Vara extra uppmärksam på rekommendationer från Active Learning-systemet som rör kategorin "Bedrägeri".
Sammanfattning
Active Learning och rekommendationer är kraftfulla verktyg i Labelf som kan hjälpa dig att:
Effektivisera ditt arbete som Modelltränare.
Hitta de mest värdefulla exemplen för modellträning.
Förbättra modellens prestanda snabbare.
Hitta "nålen i höstacken", det vill säga ovanliga men viktiga exempel.
Genom att använda dessa verktyg på ett smart sätt kan du bidra till att skapa träffsäkra och användbara AI-modeller som ger värdefulla insikter om er data och er verksamhet.
I nästa artikel kommer vi att titta närmare på hur du kan använda "Confusion Matrix" för att utvärdera och förbättra dina modeller.