Databricks Runtime 17.2

Die folgenden Versionshinweise enthalten Informationen zu Databricks Runtime 17.2, unterstützt von Apache Spark 4.0.0.

Diese Version enthält alle Features, Verbesserungen und Fehlerbehebungen aller vorherigen Databricks-Runtime-Versionen. Databricks hat diese Version im September 2025 veröffentlicht.

Neue Features und Verbesserungen

• LIKE unterstützt UTF8_LCASE Sortierung
• st_exteriorring Funktion wird jetzt unterstützt
• Anzeigen von Pushdowndetails in EXPLAIN und Spark UI für Remotescans
• Deklarieren mehrerer Sitzungs- oder lokaler Variablen in einer einzelnen DECLARE Anweisung
• Unterstützungsstichwort TEMPORARY für die Erstellung von Metrikansichten
• Unterstützen zusätzlicher Befehle mit fein abgestimmter Zugriffssteuerung
• Das selektive und atomare Ersetzen von Daten durch INSERT REPLACE USING und INSERT REPLACE ON (GA)
• Native E/A für LokiFileSystem.getFileStatus S3 verwenden
• STANDARDMÄßIG aktivierter ANSI-Modus für Pandas-API auf Spark
• Automatisches Laden leitet Partitionsspalten im singleVariantColumn Modus ab

LIKE unterstützt UTF8_LCASE Sortierung

Der LIKE-Operator unterstützt jetzt die UTF8_LCASE-Vergleichsreihenfolge, sodass der Abgleich ohne Beachtung der Groß- und Kleinschreibung erfolgt.

st_exteriorring Funktion wird jetzt unterstützt

Sie können nun die st_exteriorring Funktion verwenden, um die äußere Grenze eines Polygons zu extrahieren und als Linienzeichenfolge zurückzugeben. Siehe st_exteriorring Funktion.

Anzeigen von Pushdowndetails in EXPLAIN und Spark UI für Remotescans

Der EXPLAIN Befehl und die Spark-Benutzeroberfläche für RemoteSparkConnectScan auf dedizierten Compute-Knoten zeigen jetzt Prädikate, Aggregationen, GROUP BY-Klauseln, Grenzen und Beispiele an, die in den entfernten Scan verschoben werden.

Deklarieren mehrerer Sitzungs- oder lokaler Variablen in einer einzelnen DECLARE Anweisung

In Databricks Runtime 17.2 und höher können Sie mehrere Sitzungs- oder lokale Variablen desselben Typs und Standardwerts in einer einzelnen DECLARE Anweisung deklarieren. Siehe DECLARE VARIABLE und BEGIN END Compound-Anweisung.

Unterstützungsstichwort TEMPORARY für die Erstellung von Metrikansichten

Sie können nun das TEMPORARY Schlüsselwort verwenden, wenn Sie eine Metrikansicht erstellen. Temporäre Metrikansichten sind nur in der Sitzung sichtbar, die sie erstellt hat, und werden gelöscht, wenn die Sitzung endet. Siehe CREATE VIEW.

Unterstützung zusätzlicher Befehle mit fein abgestimmter Zugriffssteuerung

Feinkörnige Zugriffssteuerung auf dedizierten Compute unterstützt jetzt die FSCK REPAIR TABLE und DESCRIBE DETAIL Befehle.

Selektiv und atomar Daten durch INSERT REPLACE USING und INSERT REPLACE ON ersetzen (GA)

INSERT REPLACE USING und INSERT REPLACE ON sind jetzt allgemein für Databricks Runtime 17.2 verfügbar. Beide SQL-Befehle ersetzen einen Teil der Tabelle durch das Ergebnis einer Abfrage.

INSERT REPLACE USING ersetzt Zeilen, wenn die USING Spalten im Sinne der Gleichheit verglichen gleich sind. INSERT REPLACE ON ersetzt Zeilen, wenn sie einer benutzerdefinierten Bedingung entsprechen.

Siehe INSERT in der Referenz zur SQL-Sprache und Daten selektiv mit Delta Lake überschreiben.

Native E/A für LokiFileSystem.getFileStatus auf S3 verwenden

LokiFileSystem.getFileStatus verwendet nun den nativen E/A-Stapel für Amazon S3-Datenverkehr und gibt org.apache.hadoop.fs.FileStatus Objekte anstelle von shaded.databricks.org.apache.hadoop.fs.s3a.S3AFileStatus.

STANDARDMÄßIG aktivierter ANSI-Modus für Pandas-API auf Spark

ANSI_MODE ist jetzt standardmäßig für die Pandas-API auf Spark compute.ansi_mode_support=True aktiviert, was sicherstellt, dass die ANSI-Compliance-Parität mit nativen Pandas gewährleistet ist. Die compute.fail_on_ansi_mode Option gilt weiterhin, wenn compute.ansi_mode_support auf False gesetzt ist.

Automatisches Laden leitet Partitionsspalten im singleVariantColumn Modus ab

Auto Loader leitet jetzt Partitionsspalten von Dateipfaden ab, wenn Daten als semistrukturierter Variantentyp mithilfe der singleVariantColumn-Option aufgenommen werden. Zuvor wurden Partitionsspalten nicht automatisch erkannt. Weitere Informationen finden Sie unter "Optionen für das automatische Laden".

Verhaltensänderungen

• DESCRIBE CONNECTION Zeigt Umgebungseinstellungen für JDBC-Verbindungen an.
• Option zum Trunkieren der einheitlichen Verlaufsgeschichte während der Migration verwalteter Tabellen
• SQL-Syntax für Delta-Leseoptionen in Streamingabfragen
• Richtige Ergebnisse mit split leerem Regex und positivem Grenzwert
• Beheben url_decode und try_url_decode Fehlerbehandlung in Photon
• Freigegebene Ausführungsumgebung für Unity Catalog Python UDTFs
• Zeilenverfolgung ist standardmäßig bei neuen Tabellen aktiviert
• TABLE Argumentunterstützung für Unity Catalog Python UDTFs

DESCRIBE CONNECTION Zeigt Umgebungseinstellungen für JDBC-Verbindungen an.

Azure Databricks enthält jetzt benutzerdefinierte Umgebungseinstellungen im DESCRIBE CONNECTION Output für JDBC-Verbindungen, die benutzerdefinierte Treiber unterstützen und isoliert ausgeführt werden. Andere Verbindungstypen bleiben unverändert.

Option zum Kürzen der einheitlichen Historie während der Migration von verwalteten Tabellen

Sie können jetzt den einheitlichen Verlauf abschneiden, wenn Sie Tabellen mit aktivierter Uniform/Iceberg-Funktion migrieren ALTER TABLE...SET MANAGED. Dies vereinfacht Migrationen und reduziert Ausfallzeiten im Vergleich zum manuellen Deaktivieren und erneuten Aktivieren von Uniform.

SQL-Syntax für Delta-Leseoptionen in Streamingabfragen

Sie können jetzt Delta-Leseoptionen für SQL-basierte Streamingabfragen mithilfe der WITH Klausel angeben. Beispiel:

SELECT * FROM STREAM tbl WITH (SKIPCHANGECOMMITS=true, STARTINGVERSION=X);

Richtige Ergebnisse mit split leerem regex und positivem Grenzwert

Azure Databricks gibt jetzt korrekte Ergebnisse zurück, wenn es mit einem leeren Regex und einem positiven Grenzwert split function verwendet wird. Zuvor hat die Funktion die verbleibende Zeichenfolge falsch abgeschnitten, anstatt sie in das letzte Element einzubinden.

Die Behebung der url_decode und try_url_decode Fehlerbehandlung in Photon

In Photon geben try_url_decode() und url_decode() mit failOnError = false jetzt NULL für ungültige URL-codierten Zeichenfolgen anstatt die Abfrage zu fehlschlagen.

Freigegebene Ausführungsumgebung für Unity Catalog Python UDTFs

Azure Databricks teilt nun die Ausführungsumgebung für benutzerdefinierte Python-Tabellenfunktionen (UDTFs) aus derselben Besitzer- und Spark-Sitzung. Eine optionale STRICT ISOLATION Klausel ist verfügbar, um die gemeinsame Nutzung für UDTFs mit Nebeneffekten zu deaktivieren, z. B. das Ändern von Umgebungsvariablen oder das Ausführen von beliebigem Code.

Zeilenverfolgung für neue Tabellen standardmäßig aktiviert

Azure Databricks ermöglicht jetzt die Zeilennachverfolgung standardmäßig für alle neu erstellten verwalteten Unity-Katalogtabellen. Vorhandene Tabellen sind nicht betroffen und behalten ihre aktuellen Zeilenverfolgungseinstellungen bei.

TABLE Argumentunterstützung für Unity Catalog Python UDTFs

Unity Catalog Python UDTFs unterstützen TABLE Argumente, sodass Funktionen ganze Tabellen als Eingabeparameter akzeptieren können, was komplexere Datentransformationen und Aggregationen für strukturierte Datasets ermöglicht. Siehe Python benutzerdefinierte Tabellenfunktionen (UDTFs) im Unity-Katalog. (Zurückportiert von 17.3 LTS).

Verbesserungen der Bibliothek

Aktualisierte Python-Bibliotheken:

In dieser Version wurden keine Python-Bibliotheken aktualisiert.

Aktualisierte R-Bibliotheken:

In dieser Version wurden keine R-Bibliotheken aktualisiert.

Aktualisierte Java-Bibliotheken:

• Aktualisierung von io.delta.delta-sharing-client_2.13 von 1.3.3 auf 1.3.5

Apache Spark

Databricks Runtime 17.2 umfasst Apache Spark 4.0.0. Diese Version enthält alle Spark Fixes und Verbesserungen, die in der vorherigen Version enthalten sind, sowie die folgenden:

• SPARK-53183 Verwenden von Java Files.readString anstelle von o.a.s.sql.catalyst.util.fileToString
• SPARK-51817 Führen Sie ansiConfig-Felder in den messageParameters von CAST_INVALID_INPUT und CAST_OVERFLOW wieder ein
• SPARK-53124 Nicht benötigte Felder aus JsonTuple löschen
• SPARK-53106 Hinzufügen von Schemaentwicklungstests für TWS Scala Spark Connect-Suites
• SPARK-53201 Anstelle SparkFileUtils.contentEquals von Files.equal
• SPARK-53308 Entfernen Sie in RemoveRedundantAliases keine Aliase, die Duplikate verursachen würden.
• SPARK-53241 Unterstützung createArray in SparkCollectionUtils
• SPARK-53239 Verbessern die MapSort und SortArray Leistung durch parallelSort
• SPARK-53184 Behebt melt(), wenn Wertspalten Zeichenfolgen und Zahlen vermischen.
• SPARK-53144 Den Befehl "CreateViewCommand" im "SparkConnectPlanner" ohne Seiteneffekte gestalten.
• SPARK-53303 Verwenden des leeren Zustands-Encoders, wenn der anfangszustand in TWS nicht bereitgestellt wird
• SPARK-52917 Unterstützung des Lesens zur Aktivierung von Round-Trips für Binärdaten im XML-Format
• SPARK-53110 Implementieren der time_trunc-Funktion in PySpark
• SPARK-53107 Implementieren der time_trunc-Funktion in Scala
• SPARK-52146 Erkennen von zyklischen Funktionsverweisen in SQL UDFs
• SPARK-52469 Verwenden der JEP 223-API zum Verarbeiten der Java-Version
• SPARK-53094 Korrigiere CUBE mit Aggregat, das HAVING Klauseln enthält
• SPARK-51874 TypedConfigBuilder für Scala Enumeration hinzufügen
• SPARK-53287 Hinzufügen eines ANSI-Migrationshandbuchs
• SPARK-43100 Push-basierte Shuffle-Metriken müssen ordnungsgemäß deserialisiert werden
• SPARK-53045 DESCRIBE EXTENDED sollte robust für beschädigte Metadaten sein
• SPARK-53114 Unterstützung join in JavaUtils
• SPARK-53297 Fix StreamingTable Declarative Pipelines API docstring
• SPARK-53181 Aktivieren von Dokumenttests unter ANSI
• SPARK-52482 Verbessern der Ausnahmebehandlung beim Lesen bestimmter beschädigter zstd-Dateien
• SPARK-52990 Unterstützen StringSubstitutor
• SPARK-51874 TypedConfigBuilder für Scala Enumeration hinzufügen
• SPARK-53169 Entfernen von Kommentaren im Zusammenhang mit "Set the logger level of File Appender to" aus log4j2.properties
• SPARK-53080 Unterstützung cleanDirectory in SparkFileUtils und JavaUtils
• SPARK-53045 DESCRIBE EXTENDED sollte robust für beschädigte Metadaten sein
• SPARK-53000StringUtils.scalaStringConcat.scala In Modul umbenennen sql/api
• SPARK-52952 PySpark UDF Type Coercion Dev Script hinzufügen
• SPARK-52998 Mehrere Variablen innerhalb der Deklaration
• SPARK-51817 Führen Sie die ansiConfig-Felder in den messageParameters von CAST_INVALID_INPUT und CAST_OVERFLOW wieder ein.
• SPARK-52820 Aufzeichnen vollständiger Pläne in Gold-Dateien
• SPARK-53274 Unterstützung für Left-and-Right-Join-Pushdown in JDBCScanBuilder
• SPARK-52110 Implementieren der SQL-Syntaxunterstützung für Pipelines
• SPARK-52950 Aktivieren des ANSI-Modus in DataSourceV2StrategySuite
• SPARK-52947 Korrigieren des Bildpfads in der Programmieranleitung für deklarative Pipelines
• SPARK-52592 Unterstützung für das Erstellen einer ps.Series aus einer ps.Series
• SPARK-53301 Unterschiedliche Typ-Hinweise von Pandas-UDF und Arrow-UDF
• SPARK-53146 MergeIntoTable im SparkConnectPlanner nebenwirkungsfrei machen
• SPARK-53166 Verwenden SparkExitCode.EXIT_FAILURE im SparkPipelines Objekt
• SPARK-53288 Beheben von Assertionsfehlern mit globaler Streaminggrenze
• SPARK-52394 Behebung des Autocorr-Divisions-durch-Null-Fehlers im ANSI-Modus
• SPARK-51555 Hinzufügen der funktion time_diff()
• SPARK-52948 Aktivieren von test_np_spark_compat_frame unter ANSI
• SPARK-53134 Das Bereinigen von nicht verwendeten ANSI-Importen in Tests
• SPARK-52593 Vermeidung von CAST_INVALID_INPUT bei MultiIndex.to_series, Series.dot und DataFrame.dot im ANSI-Modus
• SPARK-53291 Behebe die Nullfähigkeit für die Wertspalte
• SPARK-53097 WriteOperationV2 im SparkConnectPlanner ohne Seiteneffekte gestalten
• SPARK-53305 Unterstützung von TimeType in createDataFrame
• SPARK-52914 Unterstützung On-Demand Log Loading für Rollprotokolle in History Server
• SPARK-33538 Direkte Übertragung von IN-/NOT-Prädikaten zum Hive-Metastore
• SPARK-52849 Hinzufügen stringifyException zu o.a.s.util.Utils
• SPARK-52771 Behebung der Erweiterung des float32-Typs in truediv/floordiv
• SPARK-52502 Übersicht über die Threadanzahl
• SPARK-52788 Fehler beim Konvertieren eines Binärwerts des Typs BinaryType in XML
• SPARK-53123 Unterstützung getRootCause in SparkErrorUtils
• SPARK-53129SparkShell standardmäßig importieren und java.net._ verbessern
• SPARK-53061 Unterstützung copyFileToDirectory in SparkFileUtils
• SPARK-52683 Unterstützung von ExternalCatalog alterTableSchema
• SPARK-52871 Zusammenführen o.a.s.sql.catalyst.util.SparkStringUtils mit o.a.s.util.SparkStringUtils
• SPARK-52817 Verbesserung der Ausdrucksleistung
• SPARK-52545 Standardisieren sie doppelte Anführungszeichen, um die SQL-Spezifikation zu befolgen
• SPARK-52711 Behebung der Erweiterung des float32-Typs in mul/rmul unter ANSI
• SPARK-52615 Ersetzen Von File.mkdirs durch Utils.createDirectory
• SPARK-52381 JsonProtocol: Nur Unterklassen von SparkListenerEvent akzeptieren
• SPARK-52613 Wiederherstellen der Ausgabe des vollständigen Stacktraces, wenn eine Ausnahme im HBase/Hive DelegationTokenProvider auftritt
• SPARK-52651 Umgang mit benutzerdefiniertem Typ in geschachteltem Spaltenvektor
• SPARK-52611 Korrigiere SQLConf Version für excludeSubqueryRefsFromRemoveRedundantAliases...
• SPARK-52552 Überspringen der Durchsetzung von CHECK-Bedingungen für Löschungen durch Vektoren
• SPARK-52587 spark-shell 2.13 Unterstützung -i-I Parameter
• SPARK-52492 InMemoryRelation.convertToColumnarIfPossible anpassbar machen
• SPARK-52451 Die WriteOperation im SparkConnectPlanner nebenwirkungsfrei gestalten
• SPARK-53272 Umgestalten der SPJ-Pushdownlogik aus BatchScanExec
• SPARK-53071 Unterstützung copyFile in SparkFileUtils
• SPARK-51415 Unterstützung des Zeittyps mit make_timestamp()
• SPARK-51554 Hinzufügen der funktion time_trunc()
• SPARK-52426 Unterstützung für die Umleitung von Stdout/stderr zum Protokollierungssystem
• SPARK-51834 Unterstützung der End-to-End-Tabelleneinschränkungsverwaltung
• SPARK-53063 Implementieren und Aufrufen neuer APIs in FileCommitProtocol anstelle der veralteten
• SPARK-52546 überprüft den sparkContext, ob er gestoppt wurde, wenn ein Catch-Codeblock in execute() ausgeführt wird, da andernfalls ein falscher Zustand zurückgegeben wird.
• SPARK-53023 Entfernen einer Abhängigkeit aus dem sql/api-Modul
• SPARK-52396 Artefakt-Root-Verzeichnis sollte tmpdir verwenden
• SPARK-53131 Verbesserungen zur standardmäßigen Verbesserung von SparkShell, um java.nio.file._ zu importieren
• SPARK-42322 Namen zuweisen to_LEGACY_ERROR_TEMP_2235
• SPARK-51834 Unterstützung der Verwaltung von Tabelleneinschränkungen von Anfang bis Ende
• SPARK-52484 Kind.supportsColumnar Überprüfung auf der Treiberseite in ColumnarToRowExec überspringen
• SPARK-52384 Fehlerbehebung: Connect sollte bei JDBC-Optionen nicht auf Groß- und Kleinschreibung achten
• SPARK-52034 Allgemeine Methoden im SparkOperation-Trait für Thriftserver-Operationen hinzufügen
• SPARK-53031 Unterstützung getFile in SparkFileUtils
• SPARK-52976 Problem beheben, dass Python-UDF collatierte Zeichenfolgen nicht als Eingabeparameter/Rückgabetyp akzeptieren (17.x)
• SPARK-52943 Aktivierung von arrow_cast für alle Pandas-UDF-Auswertungstypen
• SPARK-53263 Unterstützung von TimeType in df.toArrow
• SPARK-53141 Hinzufügen von APIs zum Abrufen der Arbeitsspeichergröße und offheap-Speichergröße aus dem Ressourcenprofil
• SPARK-53259 Korrigieren der Nachricht für INVALID_UDF_EVAL_TYPE
• SPARK-53167 Spark launcher isRemote respektiert auch die Eigenschaftendatei
• SPARK-53165 Hinzufügen SparkExitCode.CLASS_NOT_FOUND
• SPARK-53171 Verbesserung der UTF8String-Wiederholungsfunktion
• SPARK-53170 VerbessernSparkUserAppException, damit das cause-Parameter verfügbar ist.
• SPARK-52989 Hinzufügen einer expliziten Close()-API zu Statusspeicher-Iteratoren
• SPARK-53074 Vermeiden Sie partielles Clustering in SPJ, um die erforderliche Verteilung eines Kind-Elements zu erfüllen.
• SPARK-52252 ScalaUDF-Encoder in Unterabfragen sollten aufgelöst werden
• SPARK-53244 Speichern Sie während der Ansichtserstellung keine Konfigurationen, die den Dual-Run-Modus und den vorläufig aktivierten Modus beinhalten.
• SPARK-53192 Speichern Sie eine Datenquelle im Spark Connect-Plancache immer.
• SPARK-51813 Hinzufügen eines nicht nullierbaren DefaultCachedBatchKryoSerializers, um die Nullverteilung in DefaultCachedBatch serde zu vermeiden
• SPARK-52904 Reapply "[SC-202233][python] Enable convertToArrowArrayS...
• SPARK-53253 Korrektur der Registrierung von UDF vom Typ SQL_SCALAR_ARROW_ITER_UDF
• SPARK-53243 Auflisten der unterstützten Auswertungstypen in Arrow-Knoten
• SPARK-53130 Beheben toJson des Verhaltens von sortierten Zeichenfolgentypen
• SPARK-53003 Unterstützung strip in SparkStringUtils
• SPARK-51902 Synchronisation des OSS: Erzwingen der Check-Beschränkung bei der Tabelleneinfügung
• SPARK-52047 PySparkValueError für nicht unterstützte Zeichnungstypen auslösen
• SPARK-53004 Support abbreviate in SparkStringUtils
• SPARK-53066 Verbessern der EXPLAIN Ausgabe für DSv2 Join Pushdown
• SPARK-30848 ProductHash aus TreeNode entfernen
• SPARK-53046 Verwenden von Java readAllBytes anstelle von IOUtils.toByteArray
• SPARK-53206 Anstelle SparkFileUtils.move von com.google.common.io.Files.move
• SPARK-53066 Verbesserung der EXPLAIN Ausgabe für DSv2 Join-Pushdown
• SPARK-53069 Korrigieren falscher Zustandsspeichermetriken mit virtuellen Spaltenfamilien
• SPARK-52904 ConvertToArrowArraySafely standardmäßig aktivieren [17.x]
• SPARK-52821 Hinzufügen von int-DecimalType> pyspark udf Rückgabetyp-Zwang
• SPARK-51562 Funktion hinzufügen time
• SPARK-52971 Beschränken der Größe der Python-Worker-Warteschlange im Ruhezustand
• SPARK-53057 Unterstützung sizeOf in SparkFileUtils und JavaUtils
• SPARK-53040 Verbieten von Selbstreferenzen innerhalb der obersten CTEs in Rekursiven CTEs
• SPARK-53104 Führen Sie ansi_mode_context ein, um mehrere Konfigurationsprüfungen pro API-Aufruf zu vermeiden.
• SPARK-47547 Hinzufügen von BloomFilter V2 und Verwenden als Standard
• SPARK-53098DeduplicateRelations sollte Ausdrücke nicht neu zuordnen, wenn der alte ExprId noch in der Ausgabe vorhanden ist.
• SPARK-53049 Unterstützung toString in SparkStreamUtils
• SPARK-53062 Support deleteQuietly in SparkFileUtils und JavaUtils
• SPARK-53070 Unterstützung is(Not)?Empty in SparkCollectionUtils
• SPARK-53020 JPMS Args sollten auch auf Nicht-SparkSubmit Prozess angewendet werden.
• SPARK-52968 Zusätzliche Statusspeichermetriken ausgeben
• SPARK-52975 Vereinfachen von Feldnamen in Pushdown Join SQL
• SPARK-52926 Hinzufügen eines SQL-Metrics für die Dauer des Abrufs von Remoteschemata.
• SPARK-53059 Arrow UDF muss nicht von Pandas abhängen
• SPARK-52646 Vermeiden von CAST_INVALID_INPUT im __eq__ ANSI-Modus
• SPARK-52622 Vermeiden von CAST_INVALID_INPUT im DataFrame.melt ANSI-Modus
• SPARK-52985 Raise TypeError für Pandas numpy operand in Vergleichsoperatoren
• SPARK-52580 Vermeidung von CAST_INVALID_INPUT im ANSI-Modus
• SPARK-52549 Rekursive CTE-Selbstverweise aus Fensterfunktionen und innerhalb von Sortierungen deaktivieren
• SPARK-52895 Fügen Sie keine doppelten Elemente hinzu resolveExprsWithAggregate
• SPARK-50748 Behebung eines Race-Condition-Problems, das auftritt, wenn Vorgänge unterbrochen werden
• SPARK-52737 Pushdown-Prädikat und Anzahl von Apps zu FsHistoryProvider beim Auflisten von Anwendungen
• SPARK-53018 ArrowStreamArrowUDFSerializer sollte das Argument "arrow_cast" respektieren.
• SPARK-53013 Fix Pfeiloptimierter Python UDTF, der keine Zeilen bei lateraler Verknüpfung zurückgibt
• SPARK-51834 Synchronisierung von OSS: Unterstützung beim Hinzufügen oder Entfernen von End-to-End-Tabellenbeschränkungen
• SPARK-52921 Angabe der Ausgabeteilung für UnionExec, um dieselbe Ausgabeteilung wie die Kinderoperatoren zu ermöglichen.
• SPARK-52908 Verhindern, dass der Name der Iteratorvariablen mit Namen von Labels im Pfad zur Wurzel des AST kollidiert
• SPARK-52954 Unterstützung von Arrow UDFs für Rückgabetypenkoerzierung
• SPARK-52925 Korrekte Fehlermeldung für Verankerungs-Selbstverweise in rCTEs zurückgeben
• SPARK-52889 Implementieren der current_time-Funktion in PySpark
• SPARK-52675 Unterbrechen hängender ML-Handler in Tests
• SPARK-52959 Unterstützung von UDT in Arrow-optimierten Python UDTF
• SPARK-52962 BroadcastExchangeExec sollte keine Metriken zurücksetzen
• SPARK-52956 Beibehalten von Aliasmetadaten beim Zusammenfassen von Projekten
• SPARK-52890 Implementieren der funktionen to_time und try_to_time in PySpark
• SPARK-52888 Implementieren der make_time-Funktion in PySpark
• SPARK-52892 Unterstützung der TIME-Funktion für Stunde, Minute und Sekunde in PySpark
• SPARK-52837 Unterstützung von TimeType in pyspark
• SPARK-52023 Beheben von Datenbeschädigungen/Segfault-Rückgabeoption[Produkt] von udaf
• SPARK-52955 Ändern der Rückgabetypen von WindowResolution.resolveOrder und WindowResolution.resolveFrame in WindowExpression
• SPARK-52166 Hinzufügen von Unterstützung für PipelineEvents
• SPARK-51834 Fix: Entferne "valid" aus toDDL
• SPARK-52735 Beheben fehlender Fehlerbedingungen für SQL UDFs
• SPARK-51834 Synchronisation des OSS-Supports für End-to-End-Erstellung/Ersetzung von Tabellen mit Einschränkungen
• SPARK-51834 Synchronisieren des OSS-Updates "ResolvedIdentifier" nicht angewendete Aufrufe
• SPARK-52929 Unterstützung des MySQL- und SQLServer-Connectors für DSv2-Join-Pushdown
• SPARK-52448 Vereinfachten Strukturausdruck "Literal" hinzufügen
• SPARK-52882 Implementieren der current_time-Funktion in Scala
• SPARK-52905 Pfeil-UDF für Fenster
• SPARK-52876 Korrigieren eines Tippfehlers von buffer auf body in ChunkFetchSuccess.toString
• SPARK-52883 Implementieren der funktionen to_time und try_to_time in Scala
• SPARK-52751 Spaltennamen nicht vorschnell in dataframe['col_name'] überprüfen
• SPARK-52791 Beheben eines Fehlers beim Ableiten eines UDT mit einem null ersten Element
• SPARK-52686Union sollte nur aufgelöst werden, wenn keine Duplikate vorhanden sind
• SPARK-52881 Implementieren der make_time-Funktion in Scala
• SPARK-52919 Korrektur des DSv2 Join-Pushdowns zur Verwendung von zuvor aliasten Spalten
• SPARK-52866 Hinzufügen von Support für try_to_date
• SPARK-52846 Fügen Sie eine Metrik in JDBCRDD hinzu, die misst, wie lange es dauert, das Resultset abzurufen.
• SPARK-52859 SparkSystemUtils-Eigenschaft hinzufügen
• SPARK-52823 Unterstützung für DSv2-Join-Pushdown für Oracle-Connector
• SPARK-52165 Einrichten des Buildgerüsts für das Pipelineprojekt
• SPARK-52869 Hinzufügen der FrameLessOffsetWindowFunction-Validierung zur validateResolvedWindowExpression für die Wiederverwendung im Einzel-Durchlauf-Analysator
• SPARK-52885 Implementieren der Funktionen "Stunde", "Minute" und "Sekunde" in Scala für den TIME-Typ
• SPARK-52903 Kürzen von Aliasen, die nicht in oberster Ebene sind, vor der LCA-Auflösung
• SPARK-52832 Behebung der JDBC-Dialektbezeichnerquotierung
• SPARK-52870 Variablennamen in Anführungszeichen in der Anweisung FOR setzen
• SPARK-52859 Eigenschaft hinzufügen SparkSystemUtils
• SPARK-52900 Verwenden SparkStringUtils.stringToSeq in FsHistoryProvider
• SPARK-52809 Halten Sie keine Reader- und Iterator-Referenzen für alle Partitionen in Task-Completion-Listenern für die Aktualisierung der Metriken.
• SPARK-52815 Verbessern SparkClassUtils zur Unterstützung getAllInterfaces
• SPARK-52795 Einschließen von runId in Zustandsspeicherprotokolle
• SPARK-52779 Unterstützung des TimeType-Literals in Connect
• SPARK-52899 Reparatur des QueryExecutionErrorsSuite-Tests, um die H2Dialect erneut zu registrieren.
• SPARK-52862 Korrigieren der Nullbarkeitsprüfung von Decimal('NaN')
• SPARK-52214 Pfeil-UDF für Aggregation
• SPARK-52787 Neuorganisieren der Streamingausführung um Laufzeit- und Prüfpunktbereiche
• SPARK-51564 TIME-Analyse im 12-Stunden-Format
• SPARK-52859 Eigenschaft hinzufügen SparkSystemUtils
• SPARK-51562 Funktion hinzufügen time
• SPARK-52850 Aufrufen von Konvertierungen überspringen, wenn identitätsfunktion
• SPARK-52863 Codepfade für ältere Pandas-Versionen bereinigen
• SPARK-52516 Speichern Sie den vorherigen Iteratorverweis nicht, nachdem Sie zur nächsten Datei in "ParquetPartitionReaderFactory" wechseln.
• SPARK-52848 Vermeiden von Umwandlung in Double UmwandlungSZEIT/ZEITSTEMPEL in DEZIMAL
• SPARK-52770 Unterstützung TIME Typ in Verbindung Proto
• SPARK-52842 Neue Funktionen und Bugfixes für single-pass-Analyzer
• SPARK-52620 Unterstützung der Umwandlung von TIME nach DECIMAL
• SPARK-52783 Refaktorisieren der Validierungslogik der Fensterfunktion von CheckAnalysis zur Wiederverwendung im Single-Pass-Analyzer
• SPARK-51695 Synchronisiere OSS zum Erstellen/Ersetzen/Ändern von Tabellen für eindeutige Einschränkungen über DSv2
• SPARK-51695 Synchronisierung der OSS-Drop-Beschränkung via DSv2
• SPARK-52824 CheckpointFileManager-Fehlerklassifizierung
• SPARK-52829 Korrigieren von LocalDataToArrowConversion.convert um leere Zeilen ordnungsgemäß zu behandeln.
• SPARK-52811 Optimieren der ArrowTableToRowsConversion.convert zur Verbesserung der Leistung
• SPARK-52796 Optimierung von LocalDataToArrowConversion.convert zur Leistungssteigerung
• SPARK-51695 Synchronisieren der Parseränderungen für 'Alter Table Add Constraint' in OSS
• SPARK-52619 Cast TimeType zu IntegralType
• SPARK-52187 Einführung von Join-Pushdown für DSv2
• SPARK-52782 Zurückgeben von NULL von +/- am Datumszeitpunkt mit NULL
• SPARK-51695 Einführung von Parseränderungen für Tabelleneinschränkungen (CHECK, PK, FK)
• SPARK-52808spark.history.retainedApplications sollte positiv sein
• SPARK-52776 Teilen Sie das Comm-Feld nicht in ProcfsMetricsGetter
• SPARK-52793 Support isUnix unter o.a.s.util.Utils
• SPARK-52792 Entfernen commons-lang3 der Abhängigkeit von network-common
• SPARK-52797 Statt Utils.isWindows zu verwenden, erneut auszuwerten in PythonWorkerFactory
• SPARK-52784 TimeZoneAware-Casting in WindowFrameTypeCoercion.createBoundaryCast hinzufügen
• SPARK-52725 Verzögern der Initialisierung des Ressourcenprofil-Managers bis zum Laden des Plug-Ins
• SPARK-52565 Erzwingen der Reihenfolgenauflösung vor anderen Sortierausdrücken
• SPARK-52740 Behebung des NPE in HDFSBackedStateStoreProvider beim Zugriff auf StateStoreConf.sqlConf, wenn die Version des Prüfpunktformats >=2 ist.
• SPARK-52673 Hinzufügen der Grpc RetryInfo-Behandlung zu Spark Connect-Wiederholungsrichtlinien
• SPARK-52724 Verbesserung der OOM-Fehlerbehandlung bei Broadcast Joins mit SHUFFLE_MERGE-Hint-Unterstützung
• SPARK-52781 Behebung des Tippfehlers "dtyeps" in internal.py
• SPARK-52730 Speichern zugrunde liegender Treiber und Datenbankversion in JDBCRDD
• SPARK-52727 Umgestalten der Fensterauflösung, um sie im Single Pass Analyzer wiederzuverwenden
• SPARK-52695 Unterstützung für benutzerdefinierten Typschreibzugriff für xml-Dateiformate
• SPARK-52722 Deprecate JdbcRDD-Klasse
• SPARK-51695 Einführung von Parseränderungen für Tabelleneinschränkungen (CHECK, PK, FK)
• SPARK-52763 SupportZEIT subtrahieren
• SPARK-52768 Korrigieren des Tippfehlers "moveing" in pandas/series.py
• SPARK-52730 Speichern zugrunde liegender Treiber und Datenbankversion in JDBCRDD
• SPARK-52694 API hinzufügen o.a.s.sql.Encoders#udt
• SPARK-52720 Behebung der float32 Typenerweiterung in add/radd unter ANSI
• SPARK-52723 Serverseitige Spaltennamenüberprüfung
• SPARK-52760 Behebung der float32-Typverbreiterung in sub/rsub gemäß ANSI
• SPARK-52738 Unterstützung bei der Aggregation des TIME-Typs mit einem UDAF, wenn der zugrunde liegende Puffer ein UnsafeRow ist.
• SPARK-52704 Vereinfachen der Interoperabilität zwischen SQLConf- und Dateiformatoptionen in TextBasedFileFormats
• SPARK-52706 Beheben von Inkonsistenzen und Umgestalten von Grundtypen in Parser
• SPARK-52718 Korrigieren der Erweiterung des float32-Typs in rmod/mod nach ANSI-Standards
• SPARK-52736 Tippfehler 'moveing' in pyspark/pandas/generic.py korrigieren

Azure Databricks ODBC/JDBC-TREIBERunterstützung

Databricks unterstützt ODBC-/JDBC-Treiber, die in den letzten 2 Jahren veröffentlicht wurden. Laden Sie die kürzlich veröffentlichten Treiber und Upgrades herunter (ODBC herunterladen, JDBC herunterladen).

Systemumgebung

• Betriebssystem: Ubuntu 24.04.3 LTS
• Java: Zulu17.58+21-CA
• Skala: 2.13.16
• Python: 3.12.3
• R: 4.4.2
• Delta Lake: 4.0.0

Installierte Python-Bibliotheken

Installierte R-Bibliotheken

R-Bibliotheken werden aus der Posit Package Manager CRAN-Momentaufnahme am 2025-03-20installiert.

Installierte Java- und Scala-Bibliotheken (Scala 2.13-Clusterversion)