您的当前位置:首页正文

spark-submit --files 动态加载外部资源文件

2024-11-19 来源:个人技术集锦

在做spark时,有些时候需要加载资源文件,需要在driver或者worker端访问。在client模式下可以使用IO流直接读取,但是在cluster模式下却不能直接读取,需要如下代码:

val is: InputStream = this.getClass.getResourceAsStream(“./xxx.sql”)
val bufferSource = Source.fromInputStream(is)

代码实现如下:

 

 

 

显示全文