最新活动

HOT

产品中心
服务方案
合作伙伴
关于我们

香港云服务器首购 29 元

产品中心

中国

公告文档控制台

登录免费注册

退出账号

意见箱

恒创运营部门将仔细参阅您的意见和建议，必要时将通过预留邮箱与您保持联络。感谢您的支持！

意见/建议

提交建议

配置详情

本产品仅限新用户首购专享！每人限购1台，续费5折

当前配置

数据中心： {{ getconfigInfoArea(productDetailInfo) }}

套餐规格： 2 核 2 G

带宽：

系统盘 {{ validateMySplit(ProductVM.getProductappointInfoBykey(productDetailInfo,'云系统盘'),'|',1) }} 性能型

IP 数 1 个

可选配置

操作系统：

VPC：

安全组：

购买时长：

1 月

我已阅读并同意《恒创科技服务协议》

购买前请阅读协议并勾选同意

spark怎么写入hdfs文件

来源：互联网编辑：云晓生

2024-04-07 14:22:24

要将数据写入HDFS文件系统，可以使用Apache Spark中的saveAsTextFile()或saveAsObjectFile()方法。以下是一个示例：

import org.apache.spark.SparkContext
import org.apache.spark.SparkConf

object WriteToHDFS {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setAppName("WriteToHDFS").setMaster("local")
    val sc = new SparkContext(conf)

    val data = List(1, 2, 3, 4, 5)
    val rdd = sc.parallelize(data)

    // 将RDD写入HDFS文件
    rdd.saveAsTextFile("hdfs://<HDFS_URI>/path/to/file")

    // 可以使用saveAsObjectFile()方法将RDD保存为对象文件
    // rdd.saveAsObjectFile("hdfs://<HDFS_URI>/path/to/file")

    sc.stop()
  }
}