Automunge python kitaplığının belirli bir özelliğine, tablolu veri ön işleme özelliğine hızlı bir şekilde bir giriş sunmak istendi; bu, etiket kümesi sınıf dengesizliği durumlarında yüksek hızda örnekleme için eğitim verilerinin hazırlanmasıyla ilişkilidir. Bazı yönlerden önemsiz bir şey, muhtemelen neden daha önce dokümantasyonun dışında yazmadım, ancak bu kadar basit bir işlem için bile model performans özelliklerine maddi olarak fayda sağlama potansiyeline sahip ve bu nedenle belki de bazı genişletmeler ayrıntılar burada haklı.
Etiket kümesi sınıf dengesizliği, bir sınıflandırma uygulaması için eğitim verilerindeki etiket sınıflarının dağılımının yeterince temsil edilmeyen bazı bölümlere sahip olduğu durumları ifade eder. Mükemmel bir dünyada eğitim verilerimizin özelliklerinin, bağımsız ve aynı şekilde dağıtılmış anlamına gelen istatistiksel bir terim olan iid olacağını görüyorsunuz; bu, vekil ile eşit bir etiket dağılımına sahip bir veri kümesiyle sonuçlanacaktır. Araştırmacılar çeşitli öğrenme algoritmaları türettiklerinde, eğitim verilerinin bu biçimde alınacağı yaygın bir varsayımdır. Gerçek dünyada eğitim verilerinin iid özelliğine uyumu genellikle çok daha gevşek bir varsayımdır. Derin öğrenme çağından önce, özellik mühendisliği uygulaması kısmen verileri bu varsayıma daha yakın olacak şekilde dönüştürmeye çalışma sanatıdır, örneğin özellikler arasındaki varyansı artırmak için prensip bileşen analizi gibi. Artık derin ağlara sahip olduğumuza göre, birçok durumda iid varsayımı daha az alakalı olabilir, ancak gevşetme, sınıf dağılımı özelliklerini etiketlemek için genişlemeyebilir. Sonuçta, eğitim örnekleri özelliklerinin ve etiketlerinin toplanmasında etiket seti, değerlerin doğrudan kayıp işlevine entegre edilmesi ve bu nedenle sunumları için bazı ekstra özen gösterilmesi açısından özel bir öneme sahiptir.
Automunge, eğitim verilerini bir şekilde hazırlamak için basma düğmeli bir çözüm sunar, böylece aşağı akışlı bir öğrenme modeli daha dengeli bir etiket kümesine maruz kalabilir. Automunge (.) Parametresini (kuşkusuz biraz uygunsuz bir şekilde adlandırılmış) etkinleştirerek
TrainLabelFreqLevel = True, etiket kümesi, sınıf dengesizliği durumlarını belirlemek için değerlendirilir ve döndürülen işlenmiş veriler, yetersiz temsil edilen etiketlere (ve bunlara karşılık gelen özellik kümesi örneklerine) döndürülen kümelerde çoğaltılır. satır sayısının artmasına neden olmak için.
(Bir şapka ipucu olarak, yüksek hızda örnekleme fikri kısmen, Jeremy Howard'ın bir süre önce yaptığı fast.ai derslerinden birinde yapılan bir yorumdan esinlenmiştir (hangisi olduğunu söyleyememiştim).)
Elbette, yüksek hızda örneklemeyle başa çıkmanın birden fazla yolu olduğunu belirtmekte fayda var. Automunge yaklaşımı, yeterince temsil edilmeyen etiket sınıflarının kopyalarını ekleyerek eğitim verilerinin boyutunu artırmaktır. Alternatif olarak, eğitim sırasında toplu örneklemeyi ağırlıklandırarak bazı öğrenme kitaplıklarında yüksek hızda örnekleme uygulamak da mümkündür, örneğin TensorFlow'da Keras
class_weightsfit işleminin bir parçası olarak çağırabilir ve bu şekilde ağırlıkları manuel olarak atayabilirsiniz. Mevcut olduğunda, bu yaklaşım, eğitim veri örneklerini çoğaltmadığınız için bellek ek yükü söz konusu olduğunda bazı faydalar sağlar. Hala daha hantal alternatifimizi sunmamızın nedeni, tüm öğrenme kitaplıklarının bu özelliği sunmaması ve bir öğrenme çerçevesi agnostik ön işleme kütüphanesi olarak yüksek hızda örneklemeyi olabildiğince kolaylaştırmak istememizdir.
Otomatikleştirme işleminin basma düğmesi olduğunu söylediğimde, bu, çoğaltma sayımlarının otomatik olarak türetilmesinin dahil edildiği anlamına gelir, burada formül oldukça basittir: her etiket sınıfı için sayımlar toplanır ve ardından fazladan yinelenenlerin sayısı türetilir. gibi
(extra duplicates count) = round( (maximum class count) / (target class count) ) - 1
(Hızlı bir teğet olarak, bunu yazarken David Deutsche'nin The Beginning of Infinity'de yasama meclislerinde nüfus büyüklüğüne göre yasama temsilci sayıları atamaya çalışırken ortaya çıkan bu tür yuvarlama işlemlerinden kaynaklanan bölme paradoksu hakkındaki tartışmaları belli belirsiz hatırlatıldı . Mükemmel denge için endişelenmemize gerek yok, dengeye yakın olmak yeterince iyi.)
Kullanıcının bilmesi gereken bir hata modu vardır. Aşırı sınıf dengesizliği durumları için, örneğin 1. sınıf sayım >> 2. sınıf sayılırsa, 2. sınıf yinelenenlerin sayısı oldukça yükselebilir, bu da birden çok uç durum etiketi olduğunda birleşik olabilir ve bu da bir şekilde aşırı derecede şişirilmiş çoğaltma sayılarına neden olabilir. en kötü durumda bellek kısıtlamalarına yaklaşabilir. Yani evet, sadece dikkat edilmesi gereken bir şey, etiket sınıfları çok fazla dengesiz olmadığı sürece bu bir sorun olmayacak.
Automunge (.) İşlevi için olan kural, hazırlanan verilerin (ayrı ayrı eğitim, test veya doğrulama olarak tasarlanan kümeler dahil) her birinin, her birinin yüksek hızda örneklenmesi amacıyla 3 karşılık gelen [özellikler, dizin, etiketler] kümesi halinde döndürülmesi olduğu için bu setler, karşılık gelen yüksek hızda örnekleme kopyaları ile tutarlı bir şekilde dönüştürülecektir. Ayrıca, veri kümesi karıştırması seçilirse (tren verileri için varsayılan olarak açıktır), karıştırma, çoğaltmaları yüksek hızda örnekledikten sonra gerçekleşir - bu nedenle, yinelemeleri incelemek isterseniz daha kolay bir görünüm için karıştırmayı devre dışı bırakabilirsiniz (örneğin, dizini inceleyerek) veri çerçevesinin alt satırlarında döndürülen verilerin numaraları). Temel konfigürasyonda yüksek hızda örneklemenin sadece belirlenen eğitim setine uygulandığını unutmayın. Etiketli test verileri için karşılaştırılabilir işlemin istenebileceği bazı iş akışları vardır - bu, geçirerek
TrainLabelFreqLevel = ‘traintest’(hem eğitim hem de test verilerini
‘test’ aşırı örneklemek için ) veya (yalnızca test verilerini aşırı örneklemek için ) tamamen desteklenir . Benzer şekilde, postmunge (.) İşlevine geçirilen etiketlere sahip test verileri geçerek yüksek hızda örnekleme için hazırlanabilir
TrainLabelFreqLevel=True.
Oh ve bu özel özellik oldukça şık. Automunge yüksek hızda örneklemenin diğer kitaplıklarda olduğu gibi yalnızca sınıflandırma uygulamalarına uygulanması gerekmediğini unutmayın. Regresyon uygulamalarında, sayısal verileri toplanmış bölmelerle tamamlayan bir dönüşüm kümesine sayısal etiketler atayarak (ortalamadan standart sapma sayısı için bölmeler, on'un katları, özel bölmeler vb.), Dağıtımı düzleştirmek için yüksek hızda örnekleme otomatik olarak gerçekleştirilebilir. bu kutulardan. Doğru, regresyon için yüksek hızda örnekleme. Oldukça temiz.
Kapanırken, bir dakikalığına uzaklaşmak için, bu yüksek hızda örnekleme hazırlıklarının tüm amacı, eğitim operasyonunu, yetersiz temsil edilen etiketlere daha fazla dikkat göstermeye teşvik etmektir, bu da çıkarım kalibrasyonlarını iyileştirebilir. Bu, örneğin olasılıksal tahminler döndürüldüğünde özellikle fark edilebilir. Gerçek dünya uygulamalarında, genellikle bir değerlendirmenin en çok ilgisini çeken uç durum etiket sınıflarıdır ve bu nedenle, değerlendirmelerini iyileştirmeye yardımcı olabilecek herhangi bir etiket mühendisliği, özellikle de hazırlıklarının basitçe gerektirdiği Automunge durumunda, çabaya değerdir. tek bir parametrenin etkinleştirilmesi.
Automunge: Makine öğrenimini kolaylaştırıyoruz.
Burada atıfta bulunulan veya başka bir şekilde bu gönderiye ilham veren kitaplar:
Bir Amazon Associate olarak, uygun satın alımlardan para kazanıyorum.
Daha fazla okuma için lütfen İçindekiler , Kitap Önerileri ve Müzik Önerileri'ne bakın . Automunge hakkında daha fazlası için: automunge.com
Etrafımızdaki dünya gibi, dil de sürekli değişiyor. Önceki dönemlerde dil değişiklikleri yıllar hatta on yıllar içinde meydana gelirken, artık günler hatta saatler içinde gerçekleşebilir.
"En sıcak aşk, en soğuk sona sahiptir." — Yunan filozofu Sokrates “Aşk, iki bedende yaşayan tek bir ruhtan oluşur.
Proje Arka Planı Bir iş teklifi ve kendi alanımda, zamanımda ve tarzımda yeni bir hayata başlama hayaliyle 2019 yılında yeni bir şehre taşındım. Kötü PG durumu göz önüne alındığında, arkadaşım ve ben bir daire kiralamaya karar verdik.
Empati, bir başkasının durumu, zihni (düşünceleri) ve hissi (duyguları) hakkında farkındalık eylemi/sürecidir. Başkalarının bakış açısını anlama kapasitesidir.
Yapay Zekaya Giriş Yapay Zeka (AI), endüstrilerde devrim yaratma, yaşama ve çalışma şeklimizi değiştirme ve topluma sayısız fayda sağlama potansiyeline sahip, hızla gelişen bir teknolojidir. Ancak, her yeni teknolojide olduğu gibi, dikkate alınması gereken etik hususlar da vardır.