Apache Spark 4.2: die Neuerungen für Analysten und Data Engineers

Apache Spark 4.2.0 erschien am 14. Juli 2026, als drittes Release der 4.x-Reihe mit mehr als 1.700 Tickets und über 250 Beitragenden. Es kommt jetzt auf den Plattformen an, die die meisten Teams tatsächlich nutzen: Databricks liefert es in Databricks Runtime 19.0 aus, während die neue Runtime 2.0 von Microsoft Fabric auf Spark 4.1 basiert. Wenn Sie Spark SQL oder PySpark schreiben, macht dieses Release den Alltag spürbar angenehmer, und es bringt Change Data Capture und eine semantische Schicht in das Open-Source-Spark.

Endlich QUALIFY

Wer Snowflake, BigQuery oder Databricks SQL nutzt, kennt QUALIFY bereits: Es filtert auf das Ergebnis einer Fensterfunktion, so wie HAVING auf ein Aggregat filtert. Open-Source-Spark-SQL unterstützt es jetzt ebenfalls, und die klassische Abfrage „letzte Zeile pro Kunde“ verliert ihre Unterabfrage.

SELECT customer_id, order_id, order_date
FROM orders
QUALIFY ROW_NUMBER() OVER (
  PARTITION BY customer_id ORDER BY order_date DESC
) = 1;

SELECT customer_id, order_id, order_date
FROM (
  SELECT *,
         ROW_NUMBER() OVER (
           PARTITION BY customer_id ORDER BY order_date DESC
         ) AS rn
  FROM orders
) t
WHERE rn = 1;

Weitere SQL-Verbesserungen: SQL-Scripting hat Cursor bekommen, die Pipe-Syntax akzeptiert neben |> auch | und unterstützt jetzt Aggregate, PIVOT akzeptiert Aliase, DROP TABLE kann eine Sicht löschen, eine Funktion time_bucket gruppiert Zeitstempel in feste Intervalle, und array_agg, collect_list und collect_set unterstützen IGNORE NULLS. Zur Auffrischung zu Fensterfunktionen lesen Sie SQL-Fensterfunktionen erklärt.

Die wichtigsten Neuerungen

Change Data Capture wird zur vollwertigen Funktion

Viele Pipelines verwenden überraschend viel Code darauf, herauszufinden, was sich seit gestern geändert hat. Spark 4.2 standardisiert das. Konnektoren können jetzt einen Änderungsfeed anbieten, Spark SQL liest ihn mit der neuen CHANGES-Klausel, PySpark erhält eine passende changes()-API, und Streaming-Lesevorgänge können Nettoänderungen liefern. Darauf aufbauend wendet Auto CDC in Spark Declarative Pipelines diese Änderungen als Slowly Changing Dimension Typ 1 auf eine Zieltabelle an: Die neueste Version jeder Zeile gewinnt, ohne dass Sie MERGE-Anweisungen von Hand schreiben.

Metric Views: eine semantische Schicht in Spark

Mit Metric Views deklarieren Sie Measures und Dimensionen einmal, mit CREATE VIEW ... WITH METRICS, und verwenden sie in SQL, Dashboards und KI-Agenten wieder. Das ist dieselbe Idee wie beim dbt Semantic Layer, den semantischen Sichten von Snowflake und den semantischen Modellen von Power BI: eine Definition von „Umsatz“ statt fünf. Wenn diese Art der Modellierung neu für Sie ist, erklärt unser Leitfaden zu Sternschema und dimensionaler Modellierung das Denken in Fakten und Dimensionen dahinter.

PySpark: standardmäßig schneller

Arrow-optimierte Python-UDFs und der Arrow-basierte Datenaustausch zwischen JVM und Python sind jetzt standardmäßig aktiv. Arrow bewegt Daten spaltenweise statt Zeile für Zeile, was meist deutlich schneller ist. PySpark erhält außerdem DataFrame.zipWithIndex, Funktionen für Vektorähnlichkeit und -abstand sowie den Real-Time Mode für zustandslose Abfragen.

pip install --upgrade "pyspark==4.2.0"

Streaming und Performance

• Stabile Quellnamen: Benennen Sie eine Streaming-Quelle, und Sie können Quellen hinzufügen, entfernen oder umordnen, ohne Checkpoints zu beschädigen.
• Sichererer Zustand: Automatische Snapshot-Reparatur und Zeilenprüfsummen erkennen beschädigten Zustand.
• Schnellere Pläne: Join-Pushdown durch UNION, Whole-Stage-Codegenerierung für UNION, schnellere Fensterberechnungen und Parquet-Lesevorgänge sowie eine etwa halbierte ORC-Serialisierung verschachtelter Typen.
• Spark Connect: head(), take() und tail() durchsuchen nicht mehr die ganze Tabelle.

Wo Sie es nutzen können

Arbeiten Sie mehr mit Python als mit Spark? Lesen Sie die Neuerungen in Polars 2.0 und den Upgrade-Leitfaden für pandas 3.0. Zum Tabellenformat des Lakehouse darunter lesen Sie Iceberg v3 erklärt.

Quellen: die Release Notes zu Apache Spark 4.2.0 und der Databricks-Blogbeitrag „Introducing Apache Spark 4.2“ (16. Juli 2026). Prüfen Sie vor dem Upgrade die vollständigen Release Notes auf alle Verhaltensänderungen.

Alessandro Ecclesie AgazziGeschrieben von Alessandro Ecclesie Agazzi, Analytics Engineer in London. Aktualisiert am 17 Oktober 2026. Über mich