Cómo obtener la lista de amigos en común entre cualquier par de amigos en la red a través de pyspark

1 utilice Simplemente el size la función.

df = df.withColumn('num_friends', F.expr('size(friends)'))

2 Utilice el array_intersect función para obtener la intersección de las matrices.

cp_df = df.toDF('key_pair', 'friends_pair')
cross_df = df.crossJoin(cp_df).filter('key!=key_pair')
cross_df = cross_df.select(F.create_map('key', 'key_pair').alias('key_pair'),
                           F.array_intersect('friends', 'friends_pair').alias('common_friends'))
cross_df.show(truncate=False)