Visual Studio’da Adım Adım Partition İşlemi
Visual Studioda Adım Adım Partition İşlemi Bu makalede, Microsoft’un Contoso veritabanındaki Sales tablosuna Visual Studio kullanarak partition işlemi uygulama adımlarını detaylı bir şekilde ele alacağız. Partition işlemi, büyük veri kümelerini yönetmek ve performansı artırmak için kullanılan önemli bir veri depolama tekniğidir. . 1. Yeni Proje Oluşturma Visual Studio‘yu açın ve yeni bir Analysis Services Tabular Project oluşturun. Sağ paneldeki Data Sources bölümüne sağ tıklayıp Import From Data Source seçeneğini seçin. Contoso veritabanına bağlanın ve Sales-Customer-Date -Product-Store tablosunu modele ekleyin. 2. Partition Tanımlama Sales tablosuna sağ tıklayıp Partition seçeneğini seçin. Design seçeneğine tıklayarak Power Qery editörünü açın. 3. Parametre Tanımlama New düğmesine tıklayarak yeni bir parametre oluşturun. Parametre adını Year olarak belirleyin ve partition işlemini yıllık olarak yapacağınızı belirtin. 4. Parametreyi Veriye Uygulama Order date kolonuna gidip Data filters seçeneğini seçin. Year ve ardından this year seçeneğini seçin. M kodu kısmını düzenleyerek parametreyi dinamik hale getirin. 5. Fonksiyon Oluşturma Sales Partition tablosuna sağ tıklayıp Create Function seçeneğini seçin. Fonksiyon adını SalesOneYear olarak belirleyin ve parametreyi ekleyin. Bu sayede belirli bir yıl için partition tablosu oluşturabilirsiniz. 6. Partition Manager’ı Düzenleme Partition Manager ekranında ilgili alanı düzenleyerek partition işlemlerini yönetebilirsiniz. Bu adımları takip ederek Visual Studio’da partition işlemini başarılı bir şekilde uygulayabilirsiniz. Partition işlemi sayesinde büyük veri kümelerini daha etkin bir şekilde yönetebilir ve sorgularınızın performansını artırabilirsiniz. Veysel Özer Anıl Pehlivan
Tabular Model Process ,Deploy ve Schedule İşlemi
Tabular Model Process ,Deploy ve Schedule İşlemi Bu makalemizde, Visual Studio ortamında oluşturduğumuz Power BI modelindeki tabloları SQL Server Analysis Services (SSAS) üzerinde nasıl schedule edeceğimizi adım adım açıklayacağız. Power BI modelimizin tablolarını SQL Server Analysis Services (SSAS) üzerinde işlemeye başlamadan önce, Visual Studio’da oluşturduğumuz modelin deploy işlemini gerçekleştirmemiz gerekmektedir. Aşağıdaki adımlarda bu süreci detaylı bir şekilde ele alacağız. 1. Power BI Modelinin Hazırlanması Öncelikle, Visual Studio’da Customer ve Date adında iki tabloyu oluşturuyoruz. Bu tablolar arasındaki ilişkileri belirleyerek, tabloları birleştiriyoruz. Ardından, Power BI modelimizi oluşturduktan sonra aşağıdaki adımları takip ediyoruz: 1.1 Build Adımı Modelimizi başarıyla oluşturduktan sonra, Visual Studio üzerinde Build işlemini gerçekleştiriyoruz. Bu adımda, modelde herhangi bir hata olup olmadığı kontrol edilerek derleme işlemi tamamlanır. 1.2. Deploy Adımı Modelin doğru şekilde derlendiğinden emin olduktan sonra, oluşturduğumuz Power BI modelini SQL Server Analysis Services (SSAS) makinesine deploy ediyoruz. Deploy işlemi tamamlandığında, modelimiz SSAS sunucusunda kullanılabilir hale gelir. Not: Bu adımların detaylı açıklamalarını ilerleyen dönemlerde kapsamlı bir yazı ile paylaşmayı planlıyoruz. 2. SSAS Üzerinde İşlem Yapmak Modelimizi SQL Server Analysis Services (SSAS) üzerine deploy ettikten sonra, SQL Server Management Studio’yu (SSMS) açarak işlemlerimize devam ediyoruz. 2.1. SSAS Sunucusuna Bağlanmak SQL Server Management Studio’yu açarak, deploy ettiğimiz modelin bulunduğu SSAS sunucusuna bağlanıyoruz. SSAS altındaki “Databases” bölümünde, deploy edilen modeli buluyoruz. 2.2. Modeldeki Tabloyu Seçmek SSAS’ta ilgili modelin altındaki “Tables” sekmesine tıklıyoruz. Burada, işlem yapmak istediğimiz tabloyu sağ tıklayarak açılan menüden “Process Table” seçeneğine tıklıyoruz. 2.3. Full Process Seçeneğini Seçmek Açılan pencere üzerinde, “Mode” alanında yer alan seçeneklerden “Full Process” seçeneğini seçiyoruz. Ardından, sol üst köşede bulunan “Script” butonuna tıklayarak, işlemle ilgili SQL script’ini açıyoruz. Bu script’i, ilerleyen adımlarda kullanmak üzere kopyalıyoruz. 3. SQL Server Agent ile Job Oluşturmak SQL Server Management Studio’da Database Engine üzerinde çalışabilmek için, öncelikle SQL Server Agent servisinin aktif olması gerekmektedir. Aşağıdaki adımları takip ederek, SQL Server Agent’ı etkinleştiriyor ve iş planlaması yapıyoruz. 3.1. SQL Server Agent’ı Aktif Hale Getirmek SQL Server Management Studio’da, Database Engine bağlantısını kurduktan sonra, “SQL Server Agent” servisinin kırmızı olduğunu görmeliyiz. Bu servisi sağ tıklayarak “Start” seçeneğiyle aktif hale getiriyoruz. 3.2. Yeni Job Oluşturmak SQL Server Agent aktif hale geldikten sonra, alt menüde bulunan “Jobs” bölümüne sağ tıklayarak “New Job” seçeneğine tıklıyoruz. Bu işlem, yeni bir job oluşturma penceresini açacaktır. 3.3. SQL Server Analysis Services Query Ekleme Yeni job penceresinde, “Steps” sekmesine tıklıyoruz ve burada “SQL Server Analysis Services Query” seçeneğini belirliyoruz. Açılan alana, daha önce kopyaladığımız SSAS işlem script’ini yapıştırıyoruz. 3.4. Job Adımını Başarılı Olarak Tamamlama “Advanced” kısmına gelerek, job’ın başarılı bir şekilde tamamlanmasını sağlamak için gerekli ayarları yapıyoruz. Ardından, “OK” diyerek işlemi tamamlıyoruz. 4. Zamanlama (Scheduling) İşlemi Oluşturduğumuz job’ın zamanlamasını yapmak için, SSMS üzerinde sol menüde yer alan “Schedules” sekmesine tıklıyoruz. Burada, job’ın hangi zaman diliminde çalışması gerektiğine dair seçenekler sunulacaktır. İstediğimiz zaman dilimlerini seçerek, işlemi tamamlıyoruz. 5. Job’ı Çalıştırmak Son adımda, oluşturduğumuz job’ı sağ tıklayarak “Start Job at Step” seçeneğiyle manuel olarak çalıştırıyoruz. Bu işlem, sürecin başarılı bir şekilde tamamlanmasını sağlar. Sonuç: Bu adımları takip ederek, Visual Studio’da oluşturduğumuz Power BI modelini SQL Server Analysis Services (SSAS) üzerinden schedule edebiliriz. Bu işlem sayesinde, tablolarımızın verilerini belirlediğimiz zaman dilimlerinde otomatik olarak işleyebilir ve raporlama süreçlerini düzenli hale getirebiliriz. Yukarıdaki makale, adımları detaylı şekilde açıklamaktadır. Her aşamanın doğru şekilde takip edilmesi, başarılı bir deployment ve scheduling süreci için kritik öneme sahiptir. Veysel Özer Anıl Pehlivan
On-Prem Mimarisi
On-Prem Mimarisi Bu Makalede On Prem Mimarisinden bahsedeceğim. On-Prem Mimarisinin Yapısı ve Veri Analizi Süreci On-Prem mimarisi, modern veri analizi süreçlerinin temellerini oluşturan önemli bir yapı sunmaktadır. Bu yapı, veri kaynaklarının yönetimi, veri temizleme ve dönüşüm işlemleri, veri modelleme ve raporlama aşamalarını kapsamaktadır. Veri Kaynakları On-Prem mimarisinin sol tarafında, çeşitli veri kaynakları yer almaktadır. Bu kaynaklar, işletmelerin veri ihtiyacını karşılamak üzere farklı sistemlerden toplanan verileri temsil eder. Veri kaynaklarının etkin bir şekilde yönetilmesi, analitik süreçlerin başarısı için kritik öneme sahiptir. ETL Katmanı Orta katmanda yer alan ETL (Extract, Transform, Load) katmanı, verilerin temizlenmesi ve dönüştürülmesi işlemlerinin gerçekleştirildiği aşamadır. Bu aşamada, ham veriler analiz için uygun hale getirilir. Veri temizleme süreçleri, verinin doğruluğunu ve güvenilirliğini artırırken, dönüşüm işlemleri verinin analiz için anlamlı bir biçimde yapılandırılmasını sağlar. Veri Modelleme Veri temizleme ve dönüşüm işlemlerinin ardından, oluşturulan verinin geliştirilmesi gerekmektedir. Bu süreç, genellikle Visual Studio veya Tabular Editor gibi üçüncü parti araçlar kullanılarak gerçekleştirilir. Geliştirilen veri modeli, işletmenin analitik ihtiyaçlarına uygun olarak yapılandırılmalıdır. Nihai hale getirilen model, SQL Server Analysis Services (SSAS) üzerinden dağıtım (Deploy) aşamasına geçer. Raporlama Süreci Veri modeli başarıyla dağıtıldıktan sonra, Power BI Desktop RS üzerinden istenilen raporların oluşturulması aşamasına geçilir. Bu raporlar, işletmelerin veriye dayalı kararlar almasına yardımcı olur. Raporlar oluşturulduktan sonra, Power BI Rapor Sunucusu aracılığıyla yayımlanır. Yayımlama işlemi, raporların kullanıcılarla paylaşılmasını ve erişim sağlanmasını kolaylaştırır. Yük Dengeleme Görselin sağ tarafında yer alan yapı, raporların yayımlanmasının ardından sunucuda yoğunluk oluşmasını önlemek için tasarlanmıştır. Yük dengeleyici (Load Balancer), kullanıcı taleplerini dağıtarak rapora erişimi kolaylaştırmayı hedefler. Bu sayede, performans artışı sağlanır ve kullanıcı deneyimi iyileştirilir. Sonuç On-Prem mimarisi, veri kaynaklarının yönetiminden başlayarak, ETL süreçleri, veri modelleme ve raporlama aşamalarına kadar uzanan bütünleşik bir yapıdır. Bu süreçler, işletmelerin veri analizi yapmalarını kolaylaştırırken, verinin temizlenmesi, dönüştürülmesi ve raporlanması aşamalarında sağladığı yapı ile karar verme süreçlerini destekler. Yük dengeleme çözümleri ile birlikte, kullanıcıların raporlara erişimi daha verimli hale gelir, bu da genel sistem performansını artırır. Bu mimari, veri tabanlı karar alma süreçlerinde kritik bir rol oynamaktadır. Veysel Özer Anıl Pehlivan
On-Prem Kavramlar
On-Prem Kavramlar Giriş Power BI, veri analizi ve raporlama için güçlü bir araçtır. Power BI’ın on-prem (yerel) sürümü, organizasyonların kendi altyapılarında verileri analiz etmelerine olanak tanır. Bu makalede, Power BI on-prem mimarisini, bileşenlerini ve yapılandırmasını inceleyeceğiz. Power BI On-Prem Bileşenleri 1. Power BI Desktop RS Kullanıcıların rapor ve veri görselleştirmeleri oluşturduğu yerel uygulamadır. Farklı veri kaynaklarından veri alabilir, verileri dönüştürebilir ve görselleştirebilir. 2. Power BI Report Server Power BI raporlarını barındıran ve yöneten sunucudur. Kullanıcılar, oluşturdukları raporları yayınlayabilir ve bu raporlara web veya mobil cihazlar üzerinden erişebilir. 3. SQL Server Analysis Services (SSAS) Veri modelleme ve analitik işlemler için kullanılır. Rapor sunucusu ile entegre çalışarak, karmaşık veri setlerinin analizine olanak tanır. 4. SQL Server Database Raporlarda kullanılan veri kaynaklarını barındırır. Power BI, SQL Server,Oracle vb.. veritabanlarından veri çekebilir. 5. Data Gateway Bulut hizmetleri ile yerel veri kaynakları arasında veri akışını sağlayan bir bileşendir. Kullanıcıların Power BI hizmetlerine erişmeden, on-prem verilerini güncelleyebilmesini sağlar. Power BI On-Prem Mimarisi Akışı Power BI On-Prem Mimarisi Akışı 1. Veri Kaynakları On-prem mimarisi, SQL Server, Oracle, Excel ve diğer veri kaynaklarıyla entegrasyon sağlar. 2. Power BI Desktop Kullanıcılar, Power BI Desktop uygulamasında veri setlerini oluşturur, dönüştürür ve raporlar tasarlar. Hazırlanan raporlar, Power BI Report Server’a yayınlanabilir. 3. Power BI Report Server Yayınlanan raporlar burada depolanır ve yönetilir. Kullanıcılar, web veya mobil uygulama üzerinden raporlara erişebilir. 4. Data Gateway Yerel verilerin bulut üzerindeki Power BI hizmetine entegre edilmesini sağlar. Kullanıcılar, veri kaynaklarından güncel bilgileri alabilir. 5. Kullanıcı Erişimi Son kullanıcılar, web tarayıcıları veya mobil uygulamalar aracılığıyla raporlara erişebilir. Güvenlik ve erişim kontrolleri, kullanıcı rollerine göre yapılandırılabilir. Power BI On-Prem Mimarisi Akışı Avantajlar Veri Güvenliği: Veriler, organizasyonun kendi sunucularında tutulduğundan güvenlik önlemleri tam olarak kontrol edilebilir. Yerli Çözüm: Bulut çözümlerine bağımlı olmadan, organizasyonun kendi altyapısında çalışır. Esneklik: Rapor ve veri setleri üzerinde tam kontrol sağlar; ihtiyaçlara göre özelleştirme imkanı sunar. Esneklik: Rapor ve veri setleri üzerinde tam kontrol sağlar; ihtiyaçlara göre özelleştirme imkanı sunar. Power BI on-prem mimarisi, organizasyonların verilerini yönetme ve analiz etme süreçlerini güçlendiren sağlam bir yapıdır. Bu mimari, kullanıcıların verilerini kendi altyapılarında güvenli bir şekilde kullanmalarına olanak tanır. Power BI Desktop, Report Server ve Data Gateway gibi bileşenlerin entegrasyonu sayesinde, kullanıcılar etkili raporlar ve analizler oluşturabilir. Veysel Özer Anıl Pehlivan
On-Prem Nedir?
On-Prem Nedir? On-prem, kullanıcıların verilerini ve yazılımlarını kendi donanımlarında barındırarak, bu kaynaklar üzerinde tam kontrol sağladıkları bir sistemdir. Bu terim, bulut bilişim (cloud computing) ile karşıt bir kavram olarak ortaya çıkmıştır. On-prem çözümleri, donanım, yazılım ve veri yönetimini kullanıcıya bırakırken, birçok işletmenin güvenlik ve kontrol gereksinimlerini karşılamakta önemli bir rol oynar. Avantajları Kontrol ve Güvenlik: On-prem çözümleri, kullanıcıların verilerinin nerede saklandığını ve kimlerin erişebileceğini kontrol etmelerine olanak tanır. Bu, özellikle hassas verilerin korunmasının kritik olduğu finans ve sağlık sektörleri gibi alanlarda büyük bir avantajdır. Donanım ve Yazılım Yönetimi: Tüm altyapının yönetimi kullanıcıya aittir. Bu, güncellemelerin ve sistem yönetiminin doğrudan kullanıcı tarafından yapılabileceği anlamına gelir. Kullanıcılar, sistemin performansını doğrudan etkileyebilirler. Özelleştirme: On-prem sistemler, işletmelerin özel ihtiyaçlarına göre daha kolay özelleştirilebilir. Kullanıcılar, kendi gereksinimlerine uygun yapılandırmalar yaparak sistemlerini optimize edebilirler. Performans: Yerel sunucularda barındırıldığı için, on-prem çözümleri düşük gecikme süreleri ve yüksek hız sunabilir. Bu avantaj, özellikle veri yoğun uygulamalar için kritiktir. Dezavantajları Yüksek Bakım Maliyeti: On-prem çözümleri, sürekli güncellemeler ve bakım gerektirdiğinden, yüksek bir toplam sahip olma maliyetine yol açabilir. Donanımın güncellenmesi ve sistemin bakımı için sürekli yatırım yapılması gerekir. Uzmanlık Gereksinimi: Sistemlerin yönetimi için teknik bilgiye sahip personel gereklidir. Bu, işletmelerin ek insan gücü veya dış kaynak kullanma ihtiyacını doğurabilir. Esneklik Sorunları: İhtiyaçlar değiştiğinde, on-prem çözümlerinin ölçeklenmesi genellikle zor ve maliyetli olabilir. Bulut çözümleri, daha kolay ve hızlı bir şekilde ölçeklenebilirken, on-prem çözümler bu esnekliği sunmaz. Kullanım Alanları On-prem çözümleri, genellikle kurumsal uygulamalar, veri analizi ve büyük veri yönetimi gibi alanlarda tercih edilmektedir. Ayrıca, yasal düzenlemeler nedeniyle verilerin belirli bir lokasyonda tutulması zorunlu olan sektörlerde de yaygın olarak kullanılmaktadır. Sonuç olarak, on-prem çözümleri, belirli ihtiyaçlar ve koşullar altında önemli avantajlar sunarken, bulut çözümlerinin sağladığı esneklik ve ölçeklenebilirlik gibi özellikler göz önünde bulundurulduğunda, her iki yaklaşımın da kendi içinde değerlendirilmesi gerekmektedir. İşletmeler, ihtiyaçlarına en uygun çözümü belirlemek için her iki seçeneği de titizlikle analiz etmelidir. Veysel Özer Anıl Pehlivan