• 沒有找到結果。

开发用户用于运行样例工程。用户需要有HDFS权限,才能运行HDFS样例工程。

操作步骤

步骤1 登录MRS Manager,在MRS Manager界面选择“系统设置 > 角色管理 > 添加角 色”。

1. 填写角色的名称,例如hdfsrole。

2. 编辑角色,在“权限”的表格中选择“HDFS > File System > hdfs://

hacluster/”,勾选“Read”、“Write”和“Execute”,单击“确定”保存。

步骤2 单击“系统设置 > 用户管理 > 添加用户”,为样例工程创建一个用户。

步骤3 填写用户名,例如hdfsuser,用户类型为“机机”用户,加入用户组supergroup,设 置其“主组”为supergroup,并绑定角色hdfsrole取得权限,单击“确定”。

步骤4 在MRS Manager界面选择“系统设置 > 用户管理”,在用户名中选择hdfsuser,然后 在右侧“操作”列中选择“更多 >下载认证凭据”下载,保存后解压得到用户的 user.keytab文件与krb5.conf文件,用于在样例工程中进行安全认证,如图6-2所示。

6-2 下载认证凭据

----结束

6.2.3 准备 Eclipse 与 JDK

前提条件

MRS服务集群开启了Kerberos认证

操作场景

在Windows环境下需要安装Eclipse和JDK。

操作步骤

步骤1 开发环境安装Eclipse程序,版本要求Eclipse使用4.2或以上版本。

步骤2 开发环境安装JDK程序,版本要求JDK使用1.7或者1.8版本。

说明

● 若使用IBM JDK,请确保Eclipse中的JDK配置为IBM JDK。

● 若使用Oracle JDK,请确保Eclipse中的JDK配置为Oracle JDK。

● 不同的Eclipse不要使用相同的workspace和相同路径下的示例工程。

----结束

6.2.4 准备 Linux 客户端运行环境

前提条件

1. 确认服务端HDFS组件已经安装,并正常运行。

2. 客户端运行环境已安装1.7或1.8版本的JDK 3. 获取客户端安装包MRS_Services_Client.tar

操作场景

在Linux上安装客户端。

操作步骤

步骤1 客户端机器的时间与Hadoop集群的时间要保持一致(手动修改客户端机器或者集群的 时间),时间差小于5分钟。

MRS集群的时间可通过登录主管理节点(集群管理IP地址所在节点)运行date命令查 询。

步骤2 下载MapReduce客户端程序到客户端机器中。

1. 登录MRS Manager系统。

2. 选择“服务管理 > 下载客户端”,下载客户端程序到客户端机器。

步骤3 解压缩客户端文件包MRS_Services_Client.tar。安装包为tar格式,执行如下命令解压 两次。

tar -xvf

MRS_Services_Client.tar

tar -xvf

MRS_Service_ClientConfig.tar

步骤4 为运行环境设置环境变量,假设安装包解压路径为“MRS_Services_ClientConfig/”。

进入解压文件夹,执行如下命令安装客户端。

sh

install.sh {client_install_home}

步骤5 进入客户端安装目录,执行如下命令初始化环境变量。

source

bigdata_env

步骤6 从服务端拷贝如下文件至jar包(样例代码导出的jar包可参安装客户端时编译并运行程 序)同目录的conf目录下。

6-3 配置文件

文件名称 作用 获取地址

core-site.xml 配置HDFS详细参数。 ${HADOOP_HOME}/etc/hadoop/

core-site.xml

hdfs-site.xml 配置HDFS详细参数。 ${HADOOP_HOME}/etc/hadoop/

hdfs-site.xml

文件名称 作用 获取地址 user.keytab 对于Kerberos安全认证提供

HDFS用户信息。 如果是安全模式集群,您可以联系

管理员获取相应帐号对应权限的 keytab文件和krb5文件。

krb5.conf Kerberos server配置信息。

说明

表6-3中${HADOOP_HOME}表示服务端Hadoop的安装目录。

● keytab认证是24小时有效,超过24小时需要重新认证。

● 样例代码中PRNCIPAL_NAME的用户名要与获取keytab文件和krb5文件的账户名一致。

● 不同集群的user.keytab、krb5.conf不能共用。

● 注意样例代码中,“System.getProperty("user.dir") + File.separator + "conf" + File.separator + "user.keytab"”处使用的keytab文件需与用户的keytab一致。

● conf目录下的log4j.properties文件客户根据自己的需要进行配置。

----结束

6.2.5 获取并导入样例工程

操作场景

HDFS针对多个场景提供样例工程,帮助客户快速学习HDFS工程。

以下操作步骤以导入HDFS样例代码为例。

操作步骤

步骤1 参照样例工程获取地址,下载样例工程到本地。

步骤2 导入样例工程到Eclipse开发环境。

1. 第一种方法:打开Eclipse,选择“File > New > Java Project”。

2. 去掉对“Use default location”的勾选,单击“Browse”。

显示“浏览文件夹”对话框。

3. 选择样例工程文件夹hdfs-examples,单击“确定”。

4. 在“New Java Project”窗口单击“Finish”。

5. 第二种方法:打开Eclipse,依次选择“File > Import… > Existing maven

Projects into Workspace > Next”,在下一个页面单击“Browse”,显示“浏览 文件夹”对话框。

6. 选择样例工程文件夹“hdfs-examples”,单击“确定”。

7. 在“Import”窗口单击“Finish”。

步骤3 设置Eclipse的文本文件编码格式,解决乱码显示问题。

1. 在Eclipse的菜单栏中,选择“Window > Preferences”。

弹出“Preferences”窗口。