Power BI’a ne kadar veri yükleyebiliriz?

Power BI büyük hacimli verileri işleyebilir, ancak bu veriler ne kadar büyüklükte olmalıdır?
Veri büyüklüğü ve işlenebilmesi konusu, aslında hepimizin üzerinde çalıştığımız datasetlerin herhangi birinde kolaylıkla karşılaştığımız sorunlardan biridir. Bu tarz bir sorununun yanıtını bulmak zor olabilir. Gerçekten de çoğu durum da cevap “duruma göre değişir” şeklindedir bu da bize pek yardımcı olmaz. Bu yazım da Power BI dataset boyutuyla ilgili çeşitli sınırları açıklamaya çalışacağım.

Power BI Storage Modları
Her şeyden önce, Power BI’a “veri yüklemek”(Data Import) ne anlama geliyor? Power BI’ın verilerle çalışmasının iki temel yolu vardır: Import modu ve DirectQuery modu. Power BI datasetinizdeki tabloların farklı storage modları olabilir. Bir tablonun koşullara bağlı olarak Import modu ile DirectQuery modu arasında geçiş yapabileceği Dual mod adı verilen ayrı bir seçenek de vardır.
DirectQuery modunda, Power BI datasetiniz de hiçbir veri depolanmaz ve raporunuz işlenip datasetine sorgular gönderildiğinde talep üzerine veri almak için sorguları veri kaynağına geri gönderir. Bu, çalışabileceğiniz veri miktarındaki tek sınırın, veri kaynağınız tarafından belirlenen sınırlar olduğu anlamına gelmektedir.
Import modu varsayılan depolama modudur, bu nedenle raporlarınız için size neredeyse her zaman en iyi performansı verir ve tüm Power BI işlevlerini kullanmanıza izin verir. “Ne kadar veri?” sorusu yalnızca Import moduyla ilgilidir çünkü bu modu kullandığınız da Power BI, bir veri kümesin de depolanabilecek veri miktarına çeşitli sınırlamalar getirir.

Veri kaynağınızda ne kadar veri olduğunu biliyor olsanız bile, datasetinizin ne kadar büyük olduğunu tahmin edebilir misiniz?
Datasetinizin ne kadar büyük olduğunu öğrenmek için tüm verilerinizi datsetinize aktarmanız gerekir. Ancak bunu yapmadan önce datasetinizin ne kadar büyük olacağını hesaplayabilir misiniz?Malesef hayır. Datasetinizin boyutunun, verilerinizin veri kaynağınızdaki boyutundan daha küçük olacağından emin olabilirsiniz. Bu küçüklük duruma göre değişebilir. Orijinalin %10-20’si kadar boyutta olabilir. Bunun nedeni, Power BI’ın verilerinizi import ettiğinde çok verimli bir şekilde sıkıştırmasıdır. Dahası, verilerinizi nasıl modellediğiniz, sıkıştırmanın ne kadar iyi çalıştığı üzerinde büyük bir etkiye sahip olabilir ve birkaç değişiklik yapmak, çok daha küçük bir datasetiyle sonuçlanabilir.

Power BI Desktop’a ne kadar veri yükleyebilirsiniz?
Power BI Desktop’a yükleyebileceğiniz veri miktarıyla ilgili tek sınır, bilgisayarınız da sahip olduğunuz bellek miktarıdır; en iyi deneyimi elde etmek için en az 16 GB, ideal olarak 32 GB RAM’e ihtiyacınız olacak. Ancak Power BI Desktop yalnızca bir geliştirme aracıdır; diğer kişilerin raporunuzu görüntülemesi için Power BI Hizmetinde yayımlamanız gerekir ve sınırlar burada devreye girer. Ayrıca, Power BI Desktop’tan Power BI Hizmetinde yayımlayabileceğiniz datasetin boyutunda 10 GB’lık bir sınır vardır, ancak Power BI Premium’dakinden çok daha büyük datasetlerine sahip olabilirsiniz.
Aslında Power BI Desktop’ta asla 10 GB gibi bir veriyle çalışmamalısınız. Dosya boyutu çok büyük olacak, kaydetme işlemi yavaş olacak ve geliştirme sırasında verilerin import edilmesi için uzun süre bekleyeceksiniz. Yapmanız gereken, desktopta verilerinizin küçük bir alt kümesiyle çalışmak ve yalnızca yayımladıktan sonra tüm hacmi yüklemektir. Bunu birkaç farklı yolla yapabilirsiniz; örneğin desktop’a yüklediğiniz veri miktarını sınırlamak için Incremental Refresh veya M Parametrelerini kullanıp yayınladıktan sonra parametreyi değiştirebilirsiniz.

Power BI Pro Hizmetine ne kadar veri yükleyebilirsiniz?
Power BI Pro da bir datasetin maksimum boyutu 1 GB’tır. Bu sınıra ulaşırsanız “Değişiklikler kaydedilemiyor” hatasını alırsınız . Ayrıca Excel Veri Modeli/Power Pivot’taki verileri içeren bir Excel çalışma kitabını upload yaparak Power BI Hizmeti’ndeki ‘Rather Obscure’ seçeneğini kullanırsanız, elde edilen dataset 250 MB ile sınırlandırılır.

Power BI Premium Hizmetine ne kadar veri yükleyebilirsiniz?
Power BI Premium kapasitesinde varsayılan maksimum dataset boyutu 10 GB’dir, ancak Large dataset storage modunu açarsanız bundan daha büyük datasetlerle de çalışabilirsiniz. Maksimum boyut, Premium kapasitenizde bulunan bellek miktarına bağlıdır. PPU’da dataset başına kullanılabilen maksimum bellek miktarı 100 GB’dir. Bununla birlikte, bir dataset için kullanılabilen maksimum bellek miktarı, bir datasetin maksimum boyutu değildir: bir datasette verileri depolamak için kullanılan bellek dışında, dataset sorgulandığında veya yenilendiğinde daha fazla belleğe ihtiyaç duyulacaktır. Bir dataseti tam olarak yenilerseniz, kendisini depolamak için gereken bellek miktarının neredeyse iki katına ihtiyaç duyabilirsiniz, incremental refresh daha az bellek gerektirebilir. Datasetinizin bellek kullanımının zaman içinde nasıl değiştiğini görmek için Premium Capacity Metrics uygulamasını kullanabilirsiniz. 

Diğer Import modu sınırları
Import modunun belirtilmesi gereken birkaç sınırlama vardır. Tek bir sütun da yalnızca 1.999.999.997 farklı değere sahip olabilirsiniz ve bir tablo da yalnızca 16.000 sütuna sahip olabilirsiniz – ancak bu kadar çok sütuna sahipseniz, verilerinizi modelleme konusunda kesinlikle bir hata yaptınız. Not: Median() gibi bazı DAX işlevleri yalnızca içinde 2 milyardan az satır bulunan tablolarda çalışır .

Power BI tüm verilerimi yükleyebilir, ancak raporlarım kullanılabilecek kadar hızlı olacak mı?
Tüm verilerinizi Power BI’a yükleyebilir, ancak önemli olan oluşturduğunuz raporların kullanılabilecek kadar hızlı olup olmadığıdır. Kanaatimce, veri hacmiyle ilgili performans sorunları, ölçümlerdeki verimsiz DAX’ın veya kötü modelleme kararlarının neden olduğu performans sorunları kadar yaygın değildir, ancak meydana gelebilirler. Premium gerektiren türde veri hacimleriyle çalışmadığınız sürece bunlarla karşılaşmanız pek olası değildir. DAX Studio’nun sunucu zamanlamaları özelliği, sorgularınızın neden yavaş olduğunu ve veri hacimlerinin sorun olup olmadığını anlamanıza yardımcı olabilir.

Tüm bunlar ne anlama geliyor?
Power BI Import moduna ne kadar veri yükleyebileceğiniz konusunda birkaç genelleme yaparak bitirmeme izin verin. Modelleme verileri etrafında paylaşılan kapasitede birkaç milyon satıra kadar, hatta on milyonlarca satıra kadar tablolarla ve Premium da birkaç milyar satıra kadar tablolarla çalışabilmelisiniz. Veri kaynağınız Excel ise, Power BI kesinlikle sahip olduğunuz veri miktarını işleyebilir, SQL Server gibi ilişkisel bir veritabanıyla çalışıyorsanız, yine de büyük ihtimalle Import modu çalışacaktır, Azure Synapse, Snowflake veya BigQuery gibi bir kaynakta yüzlerce gigabayt veya daha fazla veriyle çalışıyor olsanız bile, Import modu yine de uygun olabilir. En büyük veri hacimleriyle Import modunda iyi performans elde etmek için Power BI’ı çok iyi bilmeniz gerekir, bu kesinlikle mümkündür.

Power BI workspacelerinde veri depolamayı yönetme
Raporları ve datasetleri yayımlamaya devam edebilmek için bireysel veya workspace hesabınızdaki veri depolamayı nasıl yöneteceğinizi öğrenmelisiniz.

Kapasitenin sınırları;
-Workspace veya bir uygulama workspace için workspace depolama sınırları, workspace’in Shared ve Premium kapasitede olmasına bağlıdır.
-Paylaşılan kapasitedeki workspace başına 10 GB depolama sınırı vardır.
-Kullanıcı Başına Premium (PPU) kiracılarının 100 TB depolama sınırı vardır.
-Bir Pro lisansı kullandığınızda toplam kullanım, kiracıdaki Pro lisans sayısıyla çarpılan 10 GB olan kiracı depolama sınırını aşamaz.

Premium kapasitedeki workspace için:
-Premium kapasite başına 100 TB sınırı vardır.
-Kullanıcı başına depolama sınırı yoktur.
-Workspace bir Premium kapasiteye atanırsa, workspace depolama kullanımı 0 olarak gösterilir.

Depolamaya neler dahildir?
Veri depolamanıza kendi datasetleriniz, Excel raporları ve birisinin sizinle paylaştığı öğeler dahildir. Datasetler, yüklediğiniz veya bağlandığınız veri kaynaklarından herhangi biridir. Bu veri kaynakları, kullandığınız Power BI Desktop dosyalarını ve Excel çalışma kitaplarını içerir. Veri kapasitenize aşağıdakiler de dahildir:
-Bir panoya sabitlenmiş Excel aralıkları.
-Bir Power BI panosuna sabitlenmiş Raporlama Hizmetleri şirket içi görselleştirmeler.
-Yüklenen resimler.
-Paylaştığınız bir kontrol panelinin boyutu, neyin sabitlendiğine bağlı olarak değişir. Örneğin, iki farklı veri kümesinin parçası olan iki rapordaki öğeleri sabitlerseniz, boyut her iki veri kümesini de içerir.

Itemsimizi yönetelim;
Power BI hesabınızda ne kadar veri depolama alanı kullandığınızı görün ve hesabınızı yönetin.
1.Kendi depolama alanınızı yönetmek için Workspace’e gidin.

2.Sağ üst köşedeki ayarlar simgesini seçin.  Ardından Settings > Manage personal storage öğesini seçin.

3.Üstteki çubuk, depolama sınırınızın ne kadarını kullandığınızı gösterir.

Datasetler ve raporlar iki sekmeye ayrılmıştır:
Owned by us: Salesforce ve Dynamics CRM gibi hizmet datasetler dahil olmak üzere bu raporları ve datasetleri Power BI hesabınıza yüklediniz.
Owned by others: Diğerleri bu raporları ve datasetleri sizinle paylaştı.

Bir dataseti veya raporu silmek için çöp kutusu simgesini seçin. Silerken, sizin veya bir başkasının bir datasete dayalı raporları ve panoları olabileceğini unutmayın. Datasetinizi silerseniz bu raporlar ve panolar artık çalışmaz.

Workspace’inizi yönetin;

1.My Workspace’in yanındaki oku kullanarak ve workspace adınızı seçin.

2. Sağ üst köşedeki ayarlar simgesini seçin . Ardından Ayarlar >  Manage group storage öğesini seçin. Grubun depolama sınırının ne kadarının kullanıldığını görebilirsiniz.

Datasetler ve raporlar iki sekmeye ayrılmıştır:
Owned by us: Salesforce ve Dynamics CRM gibi hizmet datasetler dahil olmak üzere bu raporları ve datasetleri siz veya bir başkası grubun Power BI hesabına yüklediniz.
Owned by others:  Diğerleri bu raporları ve datasetleri grubunuzla paylaştı.

3. Bir dataseti veya raporu silmek için çöp kutusu simgesini seçin .
Bir çalışma alanındaki yönetici, üye veya katkıda bulunan rolüne sahip herhangi bir üye, çalışma alanından datasetleri ve raporları silme izinlerine sahiptir.

Workspaces Power BI Premium kapasitesinde değilse, Power BI’a import edilen dataset başına 1 GB’lık bir sınır vardır. Ancak, verileri import etmek yerine Excel’i seçerseniz, dataset için sınır 250 MB’dir.
Yapabilecekleriniz kapasitesi sınırına ulaştığınızda, hizmet içinde istemler görürsünüz. Bu sınır,  Manage personal storage bölümünde de belirtilir. Limitlerden birine ulaşacak bir işlem yapmaya kalktığınızda limiti aştınız mesajını görürsünüz. 

 

Kaynakça
https://blog.crossjoin.co.uk/2022/11/21/how-much-data-can-you-load-into-power-bi/
https://learn.microsoft.com/en-us/power-bi/admin/service-admin-manage-your-data-storage-in-power-bi