Estoy tratando de leer un pequeño archivo de texto que se agrega como una tabla para el valor predeterminado db en Databricks. Al intentar leer el archivo Local a través de la API de Archivo, me sale un FileNotFoundError
pero soy capaz de leer en el mismo archivo como Chispa RDD utilizando SparkContext.
Por favor, encontrar el código de abajo:
with open("/FileStore/tables/boringwords.txt", "r") as f_read:
for line in f_read:
print(line)
Esto me da el error:
FileNotFoundError Traceback (most recent call last)
<command-2618449717515592> in <module>
----> 1 with open("dbfs:/FileStore/tables/boringwords.txt", "r") as f_read:
2 for line in f_read:
3 print(line)
FileNotFoundError: [Errno 2] No such file or directory: 'dbfs:/FileStore/tables/boringwords.txt'
Donde, como, no tengo ningún problema en leer el archivo con SparkContext:
boring_words = sc.textFile("/FileStore/tables/boringwords.txt")
set(i.strip() for i in boring_words.collect())
Y como era de esperar, puedo obtener el resultado para el bloque de código de arriba:
Out[4]: {'mad',
'mobile',
'filename',
'circle',
'cookies',
'immigration',
'anticipated',
'editorials',
'review'}
Me estaba refiriendo también a la DBFS documentación aquí para entender el Archivo Local de la API de limitaciones, pero de ninguna ventaja sobre el tema. Cualquier ayuda sería muy apreciada. Gracias!