Nota
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare ad accedere o modificare le directory.
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare a modificare le directory.
Applica una funzione a ogni coppia chiave-valore in una mappa e restituisce una mappa con i risultati di tali applicazioni come nuovi valori per le coppie. Supporta Spark Connect.
Per la funzione SQL di Databricks corrispondente, vedere transform_values funzione.
Sintassi
from pyspark.databricks.sql import functions as dbf
dbf.transform_values(col=<col>, f=<f>)
Parametri
| Parametro | TIPO | Description |
|---|---|---|
col |
pyspark.sql.Column o str |
Nome della colonna o dell'espressione. |
f |
function |
Funzione binaria. |
Restituzioni
pyspark.sql.Column: nuova mappa delle voci in cui sono stati calcolati nuovi valori applicando la funzione specificata a ogni argomento del valore della chiave.
Esempi
from pyspark.databricks.sql import functions as dbf
df = spark.createDataFrame([(1, {"IT": 10.0, "SALES": 2.0, "OPS": 24.0})], ("id", "data"))
row = df.select(dbf.transform_values(
"data", lambda k, v: dbf.when(k.isin("IT", "OPS"), v + 10.0).otherwise(v)
).alias("new_data")).head()
sorted(row["new_data"].items())
[('IT', 20.0), ('OPS', 34.0), ('SALES', 2.0)]