Genişletilmiş veri hazırlama nedir?
Basitçe ifade etmek gerekirse, genişletilmiş veri hazırlama, iş insanlarını ve veri bilimi ve analizi konusunda derin uzmanlığa sahip olmayan diğer çalışanları, analiz için zengin ve güvenilir veri kümeleri oluşturma konusunda güçlendirir. Makine öğrenimi (ML) ve yapay zeka (AI) tarafından desteklenen ve otomatik self servis bir platformda sunulan genişletilmiş veri hazırlama araçları, ham verileri bulup inceleme ve tüketilebilir biçimlere dönüştürme sürecini dönüştürür. İnsan zekasının ve bağlamsal farkındalığın yerini almazlar, onu geliştirirler.
Liderler, iş kolu yöneticileri, iş ortakları ve diğerleri, rekabet avantajı elde etmek için kendilerine doğru, zamanında ve ilgili içgörüler sağlamak üzere iş zekasına (BI) ve iş analizine güvenir. Şirketiniz, genişletilmiş veri hazırlamayı kullanarak daha fazla çalışanın bu içgörüleri oluşturmaya yardım edebilmesi için veri hazırlama sorumluluğunu dağıtmaya ve herkesin kullanımına sunmaya yardımcı olabilir.
Genişletilmiş veri hazırlama araçları nasıl kullanılır?
Genişletilmiş veri hazırlama araçları, analiz modellerini oluşturmak, test etmek ve eğitmek için gereken veri kümelerini oluşturarak veri işlemedeki ilk ve belki de en önemli adımı kolaylaştırır.
Geleneksel olarak veri hazırlama, şirket içi operasyonel sistemlerden veri ayıklamak, temizleyip yapılandırmak ve bunları veri ambarlarına yüklemek için kod yazan ve özel yazılımlar kullanan teknik ekiplerin alanına girer. Veri ayıklama, dönüştürme ve yükleme (ETL) olarak bilinen bu süreçler karmaşık, zaman alıcı ve hataya açık olabilir.
Ortalama işletme kullanıcılarının çoğu, ETL çalışmalarını kendileri yürütmek için gerekli becerilere veya zamana sahip değildi. İş analistleri, geliştiriciler ve resmi veri bilimi eğitiminden yoksun olan ancak bazı gelişmiş analiz çalışmaları yapan diğerleri gibi sıradan veri bilimcileri bile hangi verilerin nasıl analiz edileceğine karar vermek için veri mühendislerine ve diğer veri uzmanlarına güveniyordu.
Zaman değişti. Artık kuruluşlar, metin ve görüntüler dahil olmak üzere büyük hacimlerde yapılandırılmış, yarı yapılandırılmış ve yapılandırılmamış veriyi birden çok depolu uygulama ve sistemlerde depolamaktadır. Merkezi BT ve veri yönetimi ekipleri, şirketin çeşitli analiz girişimlerini desteklemek için verileri modellemek ve incelemek bir yana, verileri toplamak ve hazırlamak için bile nadiren zamana ve kaynaklara sahipler.
Genişletilmiş veri hazırlama araçları sayesinde daha fazla kişi adım atıp yardım edebilir. Tıklayarak kullanılan konuşma arabirimlerine sahip araçlar, veri hazırlamayla ilgili veri temelli kararlar üzerinden istikrarlı şekilde kullanıcılara rehberlik eder.
Veri hazırlama adımları nelerdir?
Verileri kullanışlı hale getirme olarak da bilinen veri hazırlama süreci, verilerin tümleştirilmesi, yapılandırılması ve düzenlenmesi için bir dizi ardışık etkinlik içerir. Aşağıda yaygın olarak kullanılan kategorilerde özetlenen veri hazırlama adımları, bir veya daha fazla özel kullanım durumunu bilgilendirmek için tek ve güvenilir bir veri kümesinin oluşturulmasıyla sonuçlanır:
- Toplama. Analiz ekibi, amaçladıkları analizin hedefleri tarafından yönlendirilen ilgili verileri tanımlar ve şirket içi ve harici veri kaynaklarından alır. Örneğin amaç, müşterinin ürün tercihlerine ışık tutmaksa ekip, CRM ve satış uygulamalarından, müşteri anketlerinden ve sosyal medya geri bildirimlerinden nicel ve nitel veriler elde edebilir. Bu aşamada ekip tüm paydaşlara danışmalı ve güvenilir veri kümeleri kullanmalıdır, aksi takdirde taraflı veya yanlış sonuç riski vardır.
- Bulma ve profil oluşturma. Ekip, bulma ve analizin yinelemeli aşamaları üzerinden her bir veri kümesinin genel yapısını ve bireysel içeriğini daha iyi anlamak için topladığı ham verileri inceler. Ayrıca veri kümeleri arasındaki ilişkileri de inceler. Ekip, veri profili oluşturma üzerinden veriler analizi modelleri geliştirmek ve eğitmek için kullanılmadan önce ele alınması gereken anormallikler, tutarsızlıklar, boşluklar ve diğer sorunlarla ilgili istatistikleri toplar ve özetler. Örneğin, sistemler arasında depolanan adları ve adresleri içeren müşteri, hasta ve diğer veri kümeleri genellikle yazımda ve diğer şekillerde farklılık gösterir.
- Temizleme. Bu aşamada ekip, tüm veri kalitesi sorunlarını titizlikle düzeltmelidir. Temizleme, eksik değerlerin doldurulması, hatalı verilerin düzeltilmesi veya kaldırılması, ilgisiz verilerin filtrelenmesi ve hassas verilerin maskelenmesi gibi etkinlikleri içerir. Zaman alıcı ve zahmetli olan bu veri hazırlama adımı, veri doğruluğunu ve tutarlılığını sağlamak için kritiktir. Uyumlu hale getirilmesi gereken yüksek veri hacimleri nedeniyle büyük verilerle çalışırken temizleme özellikle önemlidir.
- Yapı oluşturma. Bu adım, modelleme araçlarıyla sorunsuz erişim sağlamak için verilerin tablolar halinde nasıl düzenleneceğini açıklayan bir veritabanı şeması geliştirmeyi içerir. Şema, sürekli değişen verileri birleşik şekilde barındıracak kalıcı bir yapı olarak düşünülebilir. Tüm şematik bileşenler tanımlanır.
- Dönüştürme ve zenginleştirme. Şema ayarlandığında, ekip tüm verilerin uygun olduğundan emin olmalıdır. Hiyerarşilerin ayarlanması ve sütunların ve alanların eklenmesi, birleştirilmesi veya silinmesi gibi bazı mevcut veri biçimlerinin değiştirilmesi gerekir. Ekip ayrıca kuruluş içindeki ve dışındaki kaynaklardan alınan davranışsal, demografik, coğrafi ve diğer bağlamsal bilgilerle verileri zenginleştirebilir. Zenginleştirilmiş veri kümesi, analiz modellerinin daha kapsamlı veri kümeleriyle eğitilmesine ve dolayısıyla daha kesin ve değerli içgörüler sunulmasına olanak tanır.
- Doğrulama. Artık ekip, veri kümesinin kalitesini ve doğruluğunu doğrulamak için yazılı betikler veya araçlar kullanmalıdır. Ayrıca ekip, kullanıcıların ve proje modelleme araçlarının verilere kolayca erişebilmesi için veri yapısının ve biçimlendirmenin proje gereksinimleriyle uyumlu olduğunu da onaylar. Veri kümesinin boyutuna bağlı olarak ekip, tam veri kümesi yerine bir veri örneğini test etmeyi seçebilir. Ekip, veri hazırlama sürecinin son adımına geçmeden önce tüm sorunları çözmelidir.
- Yayımlama. Ekip, verilerinin yüksek kalitede olduğundan emin olduğunda bunları hedeflenen veri ambarına, veri gölüne veya başka bir depoya aktarır. Burada ekip ve kuruluş içindeki diğer kişiler, analiz modelleri geliştirmek ve test etmek için verilere erişebilir.
Makine öğrenimi, veri hazırlama ve modellemeyi nasıl zenginleştirir?
Genişletilmiş veri analizi; ML, otomasyon, doğal dil oluşturma (NLG) ve veri görselleştirme dahil olmak üzere genişletilmiş analiz, tarafından mümkün kılınır. Örneğin genişletilmiş veri keşfi, büyük ölçüde verilerden bilgi edinmek ve insan yardımı olmadan uyum sağlamak için algoritmalar ve istatistiksel modeller kullanan bir yapay zeka türü olan ML yöntemine dayanır.
Keşif araçları, ML kullanarak modelin çözmesi gereken sorun ve test edilecek hipotez göz önüne alındığında ne tür veri kümelerinin gerekli olduğunu düşünmek için öğrenilen bilgileri uygular. Ayrıca veri kümelerinin toplandığı bağlamı da dikkate alırlar. Böylece araçlar hızlı şekilde analiz eder ve veri kümelerindeki modellerden çıkarımlar yapıp hangilerinin birleştirileceğini akıllıca önerir.
Genişletilmiş veri bulma, yalnızca ML kullanmakla kalmaz, aynı zamanda makine öğrenimi modelleri için etkili veri hazırlama sağlamaya da yardımcı olur. Örneğin keşif araçları, kullanıcılara yönelik olarak verilerin nasıl temizlenip zenginleştirileceği ve ML model analizi için uygun bir biçime nasıl dönüştürüleceği hakkında öneriler oluşturmak üzere ML algoritmalarını kullanır.
Şirketiniz, genişletilmiş veri hazırlamadan nasıl yararlanabilir?
Sektörlerdeki iş liderleri ve ekipler her gün verilerden yararlanmanın yeni ve stratejik yollarını belirlemektedir. Genişletilmiş veri hazırlama sayesinde, BT uzmanlarının yardımı olmadan analiz projeleri için yenilikçi fikirler üzerinden harekete geçebilirler.
Kuruluşunuz genelinde genişletilmiş veri hazırlamanın avantajlarına ulaşılabilir:
- Üretkenliği artırır: Yetenekli iş kullanıcıları, otomatik self-servis araçlarla sezgisel ve grafiksel kullanıcı arabirimlerini kullanarak farklı kaynaklardan verileri hızla toplayabilir ve bunları profil oluşturma, temizleme ve diğer önemli veri hazırlama işlevleri üzerinden çalıştırabilir. Genişletilmiş veri hazırlama ayrıca BT ve veri uzmanları için zaman alan görevlerin azaltılmasına veya ortadan kaldırılmasına da yardımcı olur.
- Yüksek kalitede veriler sunar: Verileri el ile hazırlarken deneyimli veri bilimcileri bile yanlışlıkla hatalı ve ilgisiz veriler sunabilir veya önemli verileri dahil edemeyebilir. Genişletilmiş veri hazırlama, kalite sorunlarını otomatik olarak bulup düzelterek veri kümenizin geçerli sonuçlar üretmesini sağlamaya yardımcı olabilir.
- Yatırım geri dönüşünü hızlandırır: Analiz projelerinin ön ucunda daha fazla üretkenlik; veri modelleme, madencilik ve analiz için daha fazla zaman ve kaynak bırakır. Kullanıcılar, el ile veri hazırlama çalışmalarına yoğunlaşmak yerine içgörüleri incelemeye ve bunları işletme faaliyetlerini ve zorlukları dönüştürmek için uygulamaya odaklanabilir. Veri kümesi oluşturulduktan sonra birkaç uygulamaya sahip olabilir ve bu da yatırımlarınızı en iyi duruma getirebilir.
- Verilerin herkesin kullanımına sunulmasını teşvik eder: Analiz için verilerin hazırlanmasına ve yayımlanmasına yardımcı olacak şekilde donatılan uzman olmayan kullanıcılar, ham verilerle daha rahat çalışabilir. Ek olarak, analiz sorununu en iyi bilen kullanıcılar, istatistiksel olarak önemli veri kümelerini seçmek ve proje hedeflerini desteklemek için verileri yapılandırmaya ve zenginleştirmeye yardımcı olmak üzere iş bilgileri ve uzmanlıklarından yararlanabilir. Kuruluşunuzda veri okuryazarlığı arttıkça kişiler veri temelli kararlara ve stratejilere daha fazla güven duyar.
- Kurum çevikliğini artırır: Kapsamlı veri kümelerini hızla hazırlayabilen kullanıcılar, değişen iş ve pazar koşullarını desteklemek için hızla yeni analiz projeleri başlatabilir. İçgörü elde etme süresi ne kadar hızlı olursa şirketiniz rekabet avantajı elde etmek için bu içgörüleri o kadar hızlı uygulayabilir.
Şirketler genişletilmiş veri hazırlamayı nasıl uyguluyor?
Tüm sektörlerdeki şirketler, verilerden daha büyük değer elde etmek için iş zekası ve iş analizi araçları kullanır. Örneğin, iş akışlarına genişletilmiş veri hazırlamayı dahil eden aşağıdaki kuruluşlar, analizlerini beslemek için verileri verimli şekilde toplayıp işlemiştir:
Bankacılık
Büyük bir banka, hangi müşterilerin varlık yatırım hizmetlerini kullanma olasılığının daha yüksek olduğunu daha iyi anlamak ve ardından kişiselleştirilmiş promosyonlarla bu müşterileri hedeflemek için şube ve ATM ağındaki hesap, mevduat, para çekme ve kredi kartı verilerini hızla toplayıp birleştirdi. Ayrıca harici kaynaklardan demografik, sosyoekonomik ve diğer bağlamsal verileri de aldı.
Perakende
Uluslararası bir eczane zinciri, marka tanınırlığının neden diğer yerlerde düşük değilken bazı yerlerde düşük olduğunu öğrenmeye çalıştı. Analiz için zengin bir veri kümesi oluşturmak üzere satış noktası, ürün kategorisi, müşteri bağlılığı, net tavsiye puanı ve şirket içi sistemlerindeki fiyatlandırma verilerini harici coğrafi verilerle birleştirdi.
Tarım
Küçük bir tarım teknolojisi şirketi, küçük ölçekli çiftçilere hangi ekinleri ne zaman ekecekleri konusunda tavsiyelerde bulunabilmek için kuraklığın olduğu bölgelerde mahsul verimi eğilimlerini incelemek üzere özel algoritmalarını kullanmak istedi. Kamu kuruluşları ve özel kuruluşlar tarafından sağlanan büyük veri havuzlarından yararlanarak hava koşulları, toprak sıcaklıkları, nem içeriği, su kullanımı ve mahsul durumu dahil olmak üzere birden fazla değişkene ilişkin verileri toplayıp birleştirdi.
Hukuk
Büyük bir davada kurumsal bir müşteriyi savunan bir hukuk firması, ilgili geçmiş için milyonlarca müşteri e-postasını ve diğer yapılandırılmamış belgeleri analiz etti. Firma, el ile yapılan ve tekrarlayan veri bulma etkinliklerini önemli ölçüde azaltarak ilgili bulguları inceleyip analiz etmek için daha fazla zamana sahip oldu.
Kamu
Bir ABD eyalet hükümeti, otomobil ve ağır iş makinesi filosu için yakıt, bakım ve servis maliyetlerini düşürmeye yardımcı olacak tahmine dayalı bakım uygulamalarını kullanmak istedi. Varlık yönetimi ekibi, hangi araçların ne zaman bakıma ihtiyacı olduğunu ve her aracın bir servis tesisine gerçek zamanlı yakınlığını daha iyi belirlemek için araç bakım kayıtlarından ve performans sensörlerinden gelen bilgileri harici GPS verileriyle tümleştirdi.
Şirketiniz bir genişletilmiş veri hazırlama çözümünü nasıl uygulayabilir?
Şirketiniz, çalışanlara genişletilmiş veri hazırlamayı tanıtmadan önce onların güvenini kazanmalıdır. Bazı kişiler, yeni teknolojilerin rollerini değiştireceğinden ve hatta ortadan kaldıracağından endişe duyabilir. Kabulü teşvik etmek için yöneticiler, etkilenen ekipleri yeni veri hazırlama süreçlerini tanımlamaya yardımcı olmaya ve rollerinin nasıl gelişebileceğini tartışmaya davet edebilir. Ayrıca kuruluş genelinde ve özellikle genişletilmiş veri analizini bilmeyen ekipler arasında veri okuryazarlığını proaktif olarak teşvik etmek, elde edilen içgörülere olan güveni artırmaya yardımcı olur.
Self servis veri hazırlama çözümü seçerken aşağıdaki soruları sorun:
- Çözüm, şirket içinde veya bulutta çeşitli veri kaynaklarına bağlanacak mı?
- Kısmen yapılandırılmış ve yapılandırılmamış ham verilerle birlikte çalışabilir mi?
- Veri hazırlama sürecini ne ölçüde otomatikleştirir?
- Sağlam ve sezgisel araçlara sahip mi?
- Çözüm, kuruluşlar arası iş birliğini ve veri paylaşımını destekler mi?
- Büyük verileri işlemek için ölçeklendirilebilir mi?
- Bulut tabanlı analiz platformlarını destekleyecek mi? Öyleyse bu platformlar nelerdir?
- Veri güvenliğini ve gizliliğini mümkün kılacak ve mevzuat uyumluluğunu destekleyecek mi?
- Yazılım lisansları, işleme ve depolama gereksinimleri, çalışan işe alıştırma ve eğitimi dikkate alındığında maliyeti ne olacak?
Çözüme karar verdiğinizde uygulamaya küçük adımlarla başlayın. Veri bilimi, işletme ve diğer paydaşlardan, kendilerini genişletilmiş veri hazırlamaya uygun hale getiren kullanım örnekleri olan birkaç veri okuryazarı ekip seçmesini isteyin. Genişletilmiş veri analizi için şirket hedeflerinize dayanarak, çözümü kademeli olarak diğer ekiplere sunun.