All Posts

Partitioned Compute in Dataflow Gen2 is a feature designed to process multiple files at the same time, potentially slashing your refresh durations. But how do you actually get it working with your data? In this post, I break down the exact setup process for ADLS Gen2, explain how the engine streams requests under the hood, and put it to the test with a massive benchmark. Read on to learn how to configure your partition keys and see the raw numbers for yourself.

Partitioned Compute v Dataflow Gen2 umí zpracovávat více souborů paralelně a teoreticky tak výrazně zkrátit dobu refreshe. Jak to ale reálně rozchodit s tvými daty? V tomhle článku ti ukážu přesný postup nastavení pro ADLS Gen2, vysvětlím, jak tenhle engine funguje pod pokličkou, a rovnou ho podrobím zátěžovému testu. Přečti si, jak správně nastavit partition key a zjisti z mého benchmarku, jak si tahle novinka vede v praxi.

Aby byla údržba Delta tabulek správná, musíš nejdřív pochopit transakční log, checkpointy a vliv write amplification na úložiště. Článek rozebírá fyzickou architekturu Delta tabulek a ukazuje automatizaci kontrol zdraví, operací VACUUM a OPTIMIZE pomocí Python knihovny delta-rs v Microsoft Fabric. Nabízí tak lehkou alternativu k údržbě založené na Sparku.

To properly maintain Delta Tables, you first need to understand the transaction log, checkpoints, and how write amplification affects storage. This post breaks down the physical architecture of Delta Tables and demonstrates how to automate health checks, VACUUM, and OPTIMIZE operations using the delta-rs Python library in Microsoft Fabric, offering a lightweight alternative to Spark-based maintenance.