Azure Synapse Analytics Nedir?

Synapse Analytics, Azure platformu içerisinde veri entegrasyonunu, veri ambarını (Data Warehouse), büyük veri analizini (Big Data), raporlamayı CI/CD analizi dahil çok kapsamlı amaçları içerisinde barındıran bir veri analiz platformudur. Lakehouse içerisinde Machine Learning (ML), Extract, Transform and Loading (ETL) ve Business Intelligence (BI) çalışma alanlarına yönelik araçları destekler. Ayrıca büyük yada küçük veri setleri fark etmeksizin yüksek hızda bölümleyebilir, işleyebilir ve sorgulayabilirsiniz. Synapse Analytics Serverless olarak çalışmaktadır. Tüm güncelleme yeni özelliklerin geliştirilmesi ve scale up-down işlemlerinin yönetilmesi Azure tarafından sağlanmaktadır. Azure Synapse Analytics tanımını kendi resmi web sitesinden ekliyorum.

“Azure Synapse Analytics is a limitless analytics service that brings together data integration, enterprise data warehousing and big data analytics. It gives you the freedom to query data on your terms, using either serverless or dedicated resources—at scale. Azure Synapse brings these worlds together with a unified experience to ingest, explore, prepare, manage and serve data for immediate BI and machine learning needs.” ¹

Azure Synapse Analytics, veri bütünleştirme, kurumsal veri ambarı ve Big Data analizini bir araya getiren sınırsız bir analizleme hizmetidir. Sunucusuz (Serverless) veya atanmış (Dedicated) edilmiş kaynakları kullanarak istediğiniz ölçekte veri sorgulama özgürlüğü verir. Azure Synapse, anında BI ve ML ihtiyaçları için verileri almak, keşfetmek, hazırlamak, yönetmek ve sunmak için bu işlemleri birleştirerek bir araya getirmektedir. ²

Basit bir deyişle, Azure Synapse Analytics, Microsoft’un Azure platformu üzerinde sunduğu bir analiz hizmetidir. Aşağıdaki üç bileşeni bir araya getirmektedir:

Veri Entegrasyonu (Data Integration)
Enterprise Data Warehouse(EDW)
Big Data Analytics

Veri entegrasyonu, farklı veri kaynaklarından veri alma ve bunları merkezi bir havuzda toparlama sürecidir. Azure Synapse Analytics, kodsuz veya düşük kodlu veri alma seçenekleri sunan ve verimliliği artıran “Synapse Pipelines” aracılığıyla bu işlemi destekler. Bunun dışında, gerçek zamanlı veri alma gereksinimleriyle ilgilenmek için veri akışını da destekler. Veriyi bütünleştirme amaçları için Microsoft, Azure Data Factory’yi Synapse Pipelines olarak Azure Synapse Analytics’e entegre etmiştir. 90’dan fazla farklı Connector ile Synapse Pipelines, birden çok veri kaynağından verileri entegre etmek ve almak için kapsamlı bir araç seti sağlar.

Microsoft, Azure SQL Veri Ambarı’nı Azure Synapse Analytics olarak yeniden adlandırdı. Bu, Azure SQL Veri Ambarı’nda bulunan kurumsal veri ambarının tüm özelliklerinin Azure Synapse Analytics’e taşındığı anlamına gelir. Ancak, Azure Synapse Analytics’in yalnızca yeniden markalanmış bir Azure SQL Veri Ambarı olmadığı, bundan çok daha fazlası olduğu belirtmekte fayda var.

Büyük Veri analizi, Azure Synapse Analytics’teki en önemli üçüncü bileşendir. Data Lakes’de depolanan verileri çok kolay bir şekilde sorgulama yeteneği sağlar. Azure Synapse Analytics, dağıtılmış bir sorgu altyapısı olarak Apache Spark’ı desteklediği için bu mümkündür.

Azure Synapse Analytics Özellikleri

Azure Synapse Analytics Farklı Disiplinleri Bünyesinde Barındırır
Azure Synapse Analytics, uçtan uca veri analizi çözümleri oluşturmaya geldiğinde birleşik bir deneyim sağlar. Bu birleşik veri analizi deneyimi, Synapse Studio aracılığıyla sağlanır. Bu, Azure Synapse Analytics’te yeni tanıtılan bulutta yerel web tabanlı GUI aracıdır. Synapse Studio, veri alımı, veri hazırlama, veri keşfi, veri yönetimi, veri ambarı yapay zeka vb. ile ilgili görevleri gerçekleştirmek için merkezi bir çalışma alanı sağlar. Veri mühendisleri, Synapse Studio’yu kullanarak kodsuz veya düşük kodlu bir görsel ortam kullanarak veri ardışık düzenlerini hızla oluşturabilir ve yönetebilir. Veritabanı yöneticileri, Synapse Studio’yu kullanarak veritabanıyla ilgili görevleri optimize etmek ve otomatikleştirmek için SQL sorguları yazabilir. Synapse Studio Azure Machine Learning’ide entegre edebildiğinden, veri bilimcileri yardımcı olmaktadır. Verileri analiz etmesi ve ardından Power BI kullanarak raporlar, panolar, KPI’lar vb. oluşturması gereken veri analistleri Synapse Studio’yu kullanabilir. Power BI’i doğrudan Synapse Studio’ya entegre edebilirsiniz. Ayrıca Dynamics 365, Office 365 ve diğer SaaS hizmetlerinde yer alan veri kaynaklarını kullanabileceğiniz için verilerin nerede depolandığına bakılmaksızın Azure Synapse kullanabilirsiniz.

Synapse Analytics ile Sınırsız Ölçeklendirme Yapabilirsiniz

Azure Synapse Analytics, sınırsız depolama sağlayan petabayt boyutundaki veri hacmini kolayca destekleyebilir. Benzer şekilde, Synapse SQL için Azure Synapse Analytics ve Synapse Spark kümelerindeki işlem kaynaklarını kolayca ölçeklendirmek de mümkündür. Bu veriler yapılandırılmış olsun yada olmasın verilerinize kolayca erişebilirsiniz.

Güvenlik, Gizlilik ve Uyumluluk

Azure Synapse Analytics, gelecek olan tehditleri algılar. Ayrıca ayrıntılı erişim yetkilendirme yeteneklerine sahiptir ve sütun düzeyinde güvenlik ve satır düzeyinde güvenlik gibi özellikler Azure Synapse Analytics’te sağlanmaktadır. Ayrıca Azure Synapse Analytics, sütun düzeyinde şifrelemeyi ve dinamik veri maskelemeyi destekler. Hassas bilgilerin gerçek zamanlı olarak korunmasına yardımcı olur. Azure Synapse Analytics, verilerin güvenliğini sağlamak ve veri gizliliğiyle ilgili çeşitli uyumlulukla ilgili yükümlülükleri yerine getirmek için kapsamlı ve uzun vadeli bir strateji tanımlamanıza olanak tanıyan birçok güvenlik ve veri gizliliğini size sağlar.

HTAP

Azure Synapse Link özelliği aracılığıyla Azure Synapse Analytics, OLTP ve OLAP olmak üzere her iki dünyadan da yararlanan hibrit bir yaklaşım olan Hibrit İşlem/Analitik İşleme (HTAP) modeli adı verilen yenilikçi bir kavramın uygulanmasıyla mümkün olur. Azure Synapse Link, iş verilerinize anında çıkarımlar oluşturma olanağı sağlayan basit, düşük maliyetli bir HTAP uygulamasıdır. Her şey gerçek zamana veya gerçek zamanlı sonuçları görme ihtiyacına doğru giderken, bu bir ihtiyaç halini almıştır. Çeşitli sosyal medya platformları ve e-ticaret siteleri, anlık olarak memnuniyet analizinin gerçekleştirilmesi gibi.

Azure Synapse Studio’yu Tanıyalım

Data

Data sekmesinde çalışma alanınızdaki sağlanan SQL havuzu veritabanlarına ve SQL sunucusuz veritabanlarının yanı sıra depolama hesapları ve diğer bağlantılı hizmetler gibi harici veri kaynaklarına erişebilirsiniz. Ayrıca veri tablolarını ve veri dosyalarını görebilirsiniz.

Development

Develop sekmesinde SQL komut dosyalarını, Synapse Notebook’larını, Data Flow ve Power BI raporlarını yönettiğiniz yerdir.

Integration

Integrate sekmesinde içinde Pipeline’larınızı görebilirsiniz. Azure Data Factory hakkında bilginiz varsa, bu sekmede kendinizi evinizde hissedeceksiniz. Pipeline oluşturma işlemi, size Synapse Analytics’te hemen hemen Azure Data Factory ile aynıdır ve veri taşıma ve dönüştürme işlemleri için Azure Data Factory’yi ayrı olarak kullanma gereksinimini ortadan kaldırmaktadır.

Monitoring

Monitor, sorun giderme ve kaynak kullanımı hakkında fikir edinme için ilk durağınızdır. Çalışma alanında gerçekleşen tüm işlemlerin geçmişini ve şu anda hangilerinin etkin olduğunu görebilirsiniz.

Management

Manage alanında, SQL, Apache Spark ve Data Explorer havuzları ile ilgili iş yüklerini izlemek için GUI tabanlı bir deneyim sağlar. Çevrimiçi olup olmadıkları, boyut, CPU ve bellek kullanımı dahil olmak üzere bu analiz havuzlarının durumunu takip edebileceksiniz. Ayrıca SQL ve KQL istekleri, Spark uygulamaları ve veri akışı hata ayıklama oturumlarıyla ilgili etkinlikleri de takip edebilirsiniz. Bu etkinlikler için izleyebileceğiniz bazı metrikler arasında istek içeriği, gönderim ve alma süreleri, işlenen veriler, gönderen gibi bilgiler yer alır.