指定された配列の中で、述語が真になる要素の配列を返します。 Spark Connect をサポートします。
対応する Databricks SQL 関数については、 filter 関数を参照してください。
構文
from pyspark.databricks.sql import functions as dbf
dbf.filter(col=<col>, f=<f>)
パラメーター
| パラメーター | タイプ | Description |
|---|---|---|
col |
pyspark.sql.Column または str |
列または式の名前。 |
f |
function |
ブール式を返す関数。 2 番目の引数が要素の 0 から始まるインデックスである単項 (x: Column) -> Column またはバイナリ (x: Column, i: Column) -> Column のいずれかの形式を使用できます。 |
返品ポリシー
pyspark.sql.Column: 引数として渡されたときに特定の関数が True に評価される要素のフィルター処理された配列。
例示
from pyspark.databricks.sql import functions as dbf
df = spark.createDataFrame(
[(1, ["2018-09-20", "2019-02-03", "2019-07-01", "2020-06-01"])],
("key", "values")
)
def after_second_quarter(x):
return dbf.month(dbf.to_date(x)) > 6
df.select(
dbf.filter("values", after_second_quarter).alias("after_second_quarter")
).show(truncate=False)
+------------------------+
|after_second_quarter |
+------------------------+
|[2018-09-20, 2019-07-01]|
+------------------------+