from pyspark.sql import SparkSession
from pyspark.sql.functions import pandas_udf

spark = SparkSession.builder.appName("broadcast").getOrCreate()
poids = charger_poids_du_modele()                      # par exemple 14 Mo
poids_bc = spark.sparkContext.broadcast(poids)         # envoyé une fois par exécuteur

@pandas_udf("array<float>")
def extraire(contenus):
    modele = construire_modele(poids_bc.value)         # lecture locale, sans renvoi par tâche
    return contenus.map(lambda c: modele.predict(c))

df = spark.read.format("binaryFile").load("s3://mon-bucket/images/")
df.select(extraire("content")).write.parquet("s3://mon-bucket/features/")