Recuperar datos mediante los nombres de columna se almacenan como valores en una columna dentro de la misma dataframe pyspark

Question 1

Tengo un gran conjunto de datos similar al ejemplo siguiente :

ID	CÓDIGO	ESTUDIO	CANTIDAD	COL_NAME
111	5611	ABCD	56.17	ID
211	5411	GFED	451.1	CANTIDAD
311	3212	YTRA	687.3	ESTUDIO

Quiero rellenar los valores de las columnas se almacenan en col_name en una columna(COL_VAL) dentro de la misma dataframe de la siguiente manera :

ID	CÓDIGO	ESTUDIO	CANTIDAD	COL_NAME	COL_VALUE
111	5611	ABCD	56.17	ID	111
211	5411	GFED	451.1	CANTIDAD	451.1
311	3212	YTRA	687.3	ESTUDIO	YTRA

Estoy usando un bucle y .collect() para rellenar los valores, sino que está teniendo un montón de tiempo. Quisiera saber formas más eficientes de hacer lo mismo relevantes para un gran conjunto de datos.

Question 2

Puede utilizar when para lograr esto.

from pyspark.sql import functions as F

data = [(111, 5611, "ABCD", 56.17, "ID",),
(211, 5411, "GFED", 451.1, "AMOUNT",),
(311, 3212, "YTRA", 687.3, "STUDY",),]

df = spark.createDataFrame(data, ("ID", "CODE", "STUDY", "AMOUNT","COL_NAME"))

def derive_column_value():
    condition = F
    for possible_value in df.columns:
        condition = condition.when(F.col("COL_NAME") == possible_value, F.col(possible_value))
    return condition

df.withColumn("COL_VALUE", derive_column_value()).show()

Salida

+---+----+-----+------+--------+---------+
| ID|CODE|STUDY|AMOUNT|COL_NAME|COL_VALUE|
+---+----+-----+------+--------+---------+
|111|5611| ABCD| 56.17|      ID|      111|
|211|5411| GFED| 451.1|  AMOUNT|    451.1|
|311|3212| YTRA| 687.3|   STUDY|     YTRA|
+---+----+-----+------+--------+---------+

Nithish · Answer 1 · 2021-11-23T17:41:06

Puede utilizar when para lograr esto.

from pyspark.sql import functions as F

data = [(111, 5611, "ABCD", 56.17, "ID",),
(211, 5411, "GFED", 451.1, "AMOUNT",),
(311, 3212, "YTRA", 687.3, "STUDY",),]

df = spark.createDataFrame(data, ("ID", "CODE", "STUDY", "AMOUNT","COL_NAME"))

def derive_column_value():
    condition = F
    for possible_value in df.columns:
        condition = condition.when(F.col("COL_NAME") == possible_value, F.col(possible_value))
    return condition

df.withColumn("COL_VALUE", derive_column_value()).show()

Salida

+---+----+-----+------+--------+---------+
| ID|CODE|STUDY|AMOUNT|COL_NAME|COL_VALUE|
+---+----+-----+------+--------+---------+
|111|5611| ABCD| 56.17|      ID|      111|
|211|5411| GFED| 451.1|  AMOUNT|    451.1|
|311|3212| YTRA| 687.3|   STUDY|     YTRA|
+---+----+-----+------+--------+---------+

Recuperar datos mediante los nombres de columna se almacenan como valores en una columna dentro de la misma dataframe pyspark

Pregunta

Mejor respuesta

Salida

En otros idiomas

Esta página está en otros idiomas

Popular en esta categoría

Las preguntas más habituales en esta categoría