在弹性伸缩集群页面添加自动化脚本
2.11.5 脚本样例
Zeppelin
Zeppelin是一个基于web的notebook，支持交互式的数据分析。了解更多请访问 Zeppelin官网http://zeppelin.apache.org/。
本样例脚本能够自动化安装Zeppelin。根据创建集群的region选择对应的脚本路径，在 创建集群 > 添加引导操作时填入到“脚本路径”即可，该脚本无需填入参数。根据 Zeppelin使用习惯，您只须在Active Master节点上执行该脚本。
● 添加引导操作时填入的脚本路径：
– 华北-北京一：s3a://mrs-samples-bootstrap-cn-north-1/zeppelin/
zeppelin_install.sh
– 华东-上海二：s3a://mrs-samples-bootstrap-cn-east-2/zeppelin/
zeppelin_install.sh
– 华南-广州：s3a://mrs-samples-bootstrap-cn-south-1/zeppelin/
zeppelin_install.sh
– 华北-北京四：s3a://mrs-samples-bootstrap-cn-north-4/zeppelin/
zeppelin_install.sh
● 样例脚本下载路径：
–
华北-北京一：https://mrs-samples-bootstrap-cn-north-1.obs.cn-north-1.myhuaweicloud.com/zeppelin/zeppelin_install.sh
–华东-上海二：https://mrs-samples-bootstrap-cn-east-2.obs.cn-east-2.myhuaweicloud.com/zeppelin/zeppelin_install.sh
–华南-广州：https://mrs-samples-bootstrap-cn-south-1.obs.cn-south-1.myhuaweicloud.com/zeppelin/zeppelin_install.sh
–华北-北京四：https://mrs-samples-bootstrap-cn-north-4.obs.cn-north-4.myhuaweicloud.com/zeppelin/zeppelin_install.sh
引导操作执行完成后，可用如下方法验证正确安装了zeppelin。第一种：可以root远程登入集群Active Master节点，执行/home/apache/
zeppelin-0.7.3-bin-all/bin/zeppelin-daemon.sh status，结果显示“Zeppelin is running [ OK ]"，则表示安装成功。
第二种：在同一个VPC启动一个Windows云服务器，访问集群Active Master节点的 7510端口，能访问到Zeppelin的页面，说明安装成功。
– 华北-北京一：s3a://mrs-samples-bootstrap-cn-north-1/presto/
presto_install.sh
– 华东-上海二：s3a://mrs-samples-bootstrap-cn-east-2/presto/
presto_install.sh
– 华南-广州：s3a://mrs-samples-bootstrap-cn-south-1/presto/
presto_install.sh
– 华北-北京四：s3a://mrs-samples-bootstrap-cn-north-4/presto/
presto_install.sh
● 样例脚本下载路径：
–
华北-北京一：https://mrs-samples-bootstrap-cn-north-1.obs.cn-north-1.myhuaweicloud.com/presto/presto_install.sh
–
华东-上海二：https://mrs-samples-bootstrap-cn-east-2.obs.cn-east-2.myhuaweicloud.com/presto/presto_install.sh
–
华南-广州：https://mrs-samples-bootstrap-cn-south-1.obs.cn-south-1.myhuaweicloud.com/presto/presto_install.sh
–
华北-北京四：https://mrs-samples-bootstrap-cn-north-4.obs.cn-north-4.myhuaweicloud.com/presto/presto_install.sh
根据Presto使用习惯，建议您在Active Master节点上安装dualroles，在Core节点上安 装worker。推荐您按如下方式添加引导操作脚本：
表2-24 引导操作脚本配置参数
脚本1 名称：install dualroles
脚本路径：根据region选择presto-install.sh脚本路径 执行节点：Active Master
参数：dualroles 执行时机：组件启动后 失败操作：继续 脚本2 名称：install worker
脚本路径：根据region选择presto-install.sh脚本路径 执行节点：Core（根据集群类型选择对应类型的Core节点）
参数：worker
执行时机：组件启动后 失败操作：继续
引导操作执行完成后，您可以在集群同一个VPC启动一个Windows云服务器，访问集 群Active Master节点的7520端口，以查看Presto的web页面。
您也可登录到Active Master节点试用Presto，以root用户身份执行如下命令：
加载环境变量（MRS 3.x及之后版本客户端默认安装路径为“/opt/Bigdata/client”，
MRS 3.x之前版本为“/opt/client”。具体以实际为准。）：
#source /opt/Bigdata/client/bigdata_env 查看进程状态：
#/home/apache/presto/presto-server-0.201/bin/launcher status 连接presto并操作：
#/home/apache/presto/presto-server-0.201/bin/presto --server localhost:7520 --catalog tpch --schema sf100
presto:sf100> select * from nation;
presto:sf100> select count(*) from customer
Superset
Superset是一个基于web的企业级、现代BI工具。了解更多请访问Superset官网
https://superset.incubator.apache.org/。
本样例脚本能够自动化安装Superset。根据创建集群的region选择对应的脚本路径，在 创建集群->添加引导操作时填入到“脚本路径”即可，该脚本无需填入参数。根据 Superset使用习惯，您只须在Active Master节点上执行该脚本。
● 添加引导操作时填入的脚本路径：
– 华北-北京一：s3a://mrs-samples-bootstrap-cn-north-1/superset/
superset_install.sh
– 华东-上海二：s3a://mrs-samples-bootstrap-cn-east-2/superset/
superset_install.sh
– 华南-广州：s3a://mrs-samples-bootstrap-cn-south-1/superset/
superset_install.sh
– 华北-北京四：s3a://mrs-samples-bootstrap-cn-north-4/superset/
superset_install.sh
● 样例脚本下载路径：
–
华北-北京一：https://mrs-samples-bootstrap-cn-north-1.obs.cn-north-1.myhuaweicloud.com/superset/superset_install.sh
–华东-上海二：https://mrs-samples-bootstrap-cn-east-2.obs.cn-east-2.myhuaweicloud.com/superset/superset_install.sh
–华南-广州：https://mrs-samples-bootstrap-cn-south-1.obs.cn-south-1.myhuaweicloud.com/superset/superset_install.sh
–华北-北京四：https://mrs-samples-bootstrap-cn-north-4.obs.cn-north-4.myhuaweicloud.com/superset/superset_install.sh
引导操作执行完成后，可用如下方法验证正确安装了Superset。第一种：可以root远程登入集群Active Master节点，执行lsof -i:38088，存在LISTEN 的返回项则表示安装成功。
第二种：在同一个VPC启动一个Windows云服务器，访问集群Active Master节点的 38088端口，能访问到Superset的页面，说明安装成功。 OpenTSDB使用习惯，您只须在Active Master节点上执行该脚本。
OpenTSDB依赖于HBase服务，因此您需要在申请集群的时候勾选HBase服务，并且配 置引导操作的“执行时机”为“组件启动后”。
● 添加引导操作时填入的脚本路径：
– 华北-北京一：s3a://mrs-samples-bootstrap-cn-north-1/opentsdb/
opentsdb_install.sh
– 华东-上海二：s3a://mrs-samples-bootstrap-cn-east-2/opentsdb/
opentsdb_install.sh
– 华南-广州：s3a://mrs-samples-bootstrap-cn-south-1/opentsdb/
opentsdb_install.sh
– 华北-北京四：s3a://mrs-samples-bootstrap-cn-north-4/opentsdb/
opentsdb_install.sh
● 样例脚本下载路径：
–
华北-北京一：https://mrs-samples-bootstrap-cn-north-1.obs.cn-north-1.myhuaweicloud.com/opentsdb/opentsdb_install.sh
–
华东-上海二：https://mrs-samples-bootstrap-cn-east-2.obs.cn-east-2.myhuaweicloud.com/opentsdb/opentsdb_install.sh
–华南-广州：https://mrs-samples-bootstrap-cn-south-1.obs.cn-south-1.myhuaweicloud.com/opentsdb/opentsdb_install.sh
–华北-北京四：https://mrs-samples-bootstrap-cn-north-4.obs.cn-north-4.myhuaweicloud.com/opentsdb/opentsdb_install.sh
引导操作执行完成后，可用如下方法验证正确安装了OpenTSDB。第一种：可以root远程登入集群Active Master节点，执行lsof -i:4242，存在LISTEN的 返回项则表示安装成功。
第二种：在同一个VPC启动一个Windows云服务器，访问集群Active Master节点的 4242端口，能访问到OpenTSDB的页面，说明安装成功。
obsutil
obsutil是一款用于访问管理华为云对象存储服务（Object Storage Service，OBS）的 命令行工具，您可以使用该工具对OBS进行常用的配置管理操作，如创建并行文件系
– 华北-北京一：s3a://mrs-samples-bootstrap-cn-north-1/obsutil/
obsutil_install.sh
– 华东-上海二：s3a://mrs-samples-bootstrap-cn-east-2/obsutil/
obsutil_install.sh
– 华南-广州：s3a://mrs-samples-bootstrap-cn-south-1/obsutil/
obsutil_install.sh
– 华北-北京四：s3a://mrs-samples-bootstrap-cn-north-4/obsutil/
obsutil_install.sh
● 样例脚本下载路径：
–
华北-北京一：https://mrs-samples-bootstrap-cn-north-1.obs.cn-north-1.myhuaweicloud.com/obsutil/obsutil_install.sh
–
华东-上海二：https://mrs-samples-bootstrap-cn-east-2.obs.cn-east-2.myhuaweicloud.com/obsutil/obsutil_install.sh
–
华南-广州：https://mrs-samples-bootstrap-cn-south-1.obs.cn-south-1.myhuaweicloud.com/obsutil/obsutil_install.sh
–
华北-北京四：https://mrs-samples-bootstrap-cn-north-4.obs.cn-north-4.myhuaweicloud.com/obsutil/obsutil_install.sh
引导操作执行完成后，可用如下方法配置并验证obsutil的连通性。
1. 配置方法
通过如下命令对obsutil进行初始化配置。
./opt/obsutil_linux_amd64_5.1.7.2/obsutil config-i=ak -k=sk -e=endpoint
2. 检查连通性
配置完成后，您可以通过如下方式检查连通性，确认配置是否无误。
./obsutil ls -s
根据命令回显结果，检查配置结果：
– 如果返回结果中包含“Bucket number is:”，表明配置正确。
– 如果返回结果中包含“Http status [403]”，表明访问密钥配置有误。
– 如果返回结果中包含“A connection attempt failed”，表明无法连接OBS服 务，请检查网络环境是否正常。