0867-7.1.6-Hue中Spark Notebook与Livy集成问

来源：恒创科技编辑：恒创科技编辑部

2024-02-01 20:08:59

1.文档编写目的

本篇文章主要介绍如何使用解决CDP7.1.6的Hue中的Spark Notebook与Livy无法进行集成的问题。

文档概述

1.Spark Notebook集成Livy

2.验证

3.总结

测试环境

1.操作系统Redhat7.6

2.CDP7.1.6

3.使用root用户操作

4.集群已启用Kerberos

2.修改配置

1.修改Hue的源码（Hue Server节点的都进行修改）

[root@c1 ~]# cd /opt/cloudera/parcels/CDH/lib/hue/desktop/core/src/desktop/lib/rest/
[root@c1 rest]# vim resource.py

因为kind 类型只支持spark/pyspark/sparkr/sql，所以在该文件的1045行后添加如下代码

if isinstance(data,str):
        data=data.replace('sparksql', 'sql')
      LOG.exception('--------tpl data %s' % data)
      LOG.exception('--------tpl data type %s' % type(data))

0867-7.1.6-Hue中Spark Notebook与Livy集成问_sql

2.修改Livy的配置

在Livy的配置页面搜索livy_spnego_enabled，关闭Livy的HTTP Kerberos

0867-7.1.6-Hue中Spark Notebook与Livy集成问_sql_02

3.启用Livy的用户模拟功能

在Livy的配置页面搜索livy.impersonation.enabled

0867-7.1.6-Hue中Spark Notebook与Livy集成问_spark_03

4.修改Hue配置

5.在Hue的配置中搜索hue_server_hue_safety_valve，在配置中添加如下内容

[desktop]
app_blacklist=zookeeper,oozie,jobsub,pig,pig,sqoop,security

[spark]
livy_server_host=c1.liuhao.com
livy_server_port=8998
livy_server_session_kind=yarn
sql_server_host=c1.liuhao.com
#sql_server_port 需要的原因是sparksql 需要使用该端口
sql_server_port=10090
#security_enabled=true

[notebook]
show_notebooks=true
enable_external_statements=true
enable_batch_execute=true
    [[interpreters]]
    # Define the name and how to connect and execute the language.

        [[[hive]]]
          # The name of the snippet.
          name=Hive
          # The backend connection to use to communicate with the server.
          interface=hiveserver2

        [[[impala]]]
          name=Impala
          interface=hiveserver2

        [[[sparksql]]]
          name=SparkSql
          interface=livy

        [[[spark]]]
          name=Spark
          interface=livy

        [[[pyspark]]]
          name=PySpark
          interface=livy

        [[[r]]]
          name=R
          interface=livy

        [[[jar]]]
          name=Spark Submit Jar
          interface=livy-batch