云计算服务
服务器租用
DDOS 防护
虚拟主机
域名服务
基础设施
关于我们
最近用Spark Streaming从Kafka接数据进行处理，是对中文的内容进行计算。发现处理时中文全变成了????????的形式，导致处理的结果和预期的不一样。但把数据放在redis或者放入下游的kafka topic，中文又正常了。为了防止是因为打日志的编码问题导致的判断出错，专门对算法进行了判断，的确就是对?????的东西处理了，而不是原中文字符串。
Charset.defaultCharset() 或者 System.getProperty("file.encoding") 可以查看程序运行时环境的编码
进行对比，发现本地的是Utf-8，是理想的。而提交到集群上的任务，输出为ISO-8859-1，直接导致了程序运行时处理的中文都变成了?????
解决方案是修改一下提交spark任务的客户端配置(提交该任务的机器，不是去修改集群)，找到spark-env.sh比如/etc/spark/conf/spark-env.sh，设置
export SPARK_JAVA_OPTS=" -Dfile.encoding=UTF-8 -Dsun.jnu.encoding=UTF-8 "
再次提交任务后，发现中文可以正常的处理了。
.png)
.png)
