开发用户用于运行样例工程。用户需要有HDFS权限,才能运行HDFS样例工程。
操作步骤
步骤1 登录MRS Manager,在MRS Manager界面选择“系统设置 > 角色管理 > 添加角 色”。
1. 填写角色的名称,例如hdfsrole。
2. 编辑角色,在“权限”的表格中选择“HDFS > File System > hdfs://
hacluster/”,勾选“Read”、“Write”和“Execute”,单击“确定”保存。
步骤2 单击“系统设置 > 用户管理 > 添加用户”,为样例工程创建一个用户。
步骤3 填写用户名,例如hdfsuser,用户类型为“机机”用户,加入用户组supergroup,设 置其“主组”为supergroup,并绑定角色hdfsrole取得权限,单击“确定”。
步骤4 在MRS Manager界面选择“系统设置 > 用户管理”,在用户名中选择hdfsuser,然后 在右侧“操作”列中选择“更多 >下载认证凭据”下载,保存后解压得到用户的 user.keytab文件与krb5.conf文件,用于在样例工程中进行安全认证,如图6-2所示。
图6-2 下载认证凭据
----结束
6.2.3 准备 Eclipse 与 JDK
前提条件
MRS服务集群开启了Kerberos认证
操作场景
在Windows环境下需要安装Eclipse和JDK。
操作步骤
步骤1 开发环境安装Eclipse程序,版本要求Eclipse使用4.2或以上版本。
步骤2 开发环境安装JDK程序,版本要求JDK使用1.7或者1.8版本。
说明
● 若使用IBM JDK,请确保Eclipse中的JDK配置为IBM JDK。
● 若使用Oracle JDK,请确保Eclipse中的JDK配置为Oracle JDK。
● 不同的Eclipse不要使用相同的workspace和相同路径下的示例工程。
----结束
6.2.4 准备 Linux 客户端运行环境
前提条件
1. 确认服务端HDFS组件已经安装,并正常运行。
2. 客户端运行环境已安装1.7或1.8版本的JDK 3. 获取客户端安装包MRS_Services_Client.tar
操作场景
在Linux上安装客户端。
操作步骤
步骤1 客户端机器的时间与Hadoop集群的时间要保持一致(手动修改客户端机器或者集群的 时间),时间差小于5分钟。
MRS集群的时间可通过登录主管理节点(集群管理IP地址所在节点)运行date命令查 询。
步骤2 下载MapReduce客户端程序到客户端机器中。
1. 登录MRS Manager系统。
2. 选择“服务管理 > 下载客户端”,下载客户端程序到客户端机器。
步骤3 解压缩客户端文件包MRS_Services_Client.tar。安装包为tar格式,执行如下命令解压 两次。
tar -xvf
MRS_Services_Client.tartar -xvf
MRS_Service_ClientConfig.tar步骤4 为运行环境设置环境变量,假设安装包解压路径为“MRS_Services_ClientConfig/”。
进入解压文件夹,执行如下命令安装客户端。
sh
install.sh {client_install_home}步骤5 进入客户端安装目录,执行如下命令初始化环境变量。
source
bigdata_env步骤6 从服务端拷贝如下文件至jar包(样例代码导出的jar包可参安装客户端时编译并运行程 序)同目录的conf目录下。
表6-3 配置文件
文件名称 作用 获取地址
core-site.xml 配置HDFS详细参数。 ${HADOOP_HOME}/etc/hadoop/
core-site.xml
hdfs-site.xml 配置HDFS详细参数。 ${HADOOP_HOME}/etc/hadoop/
hdfs-site.xml
文件名称 作用 获取地址 user.keytab 对于Kerberos安全认证提供
HDFS用户信息。 如果是安全模式集群,您可以联系
管理员获取相应帐号对应权限的 keytab文件和krb5文件。
krb5.conf Kerberos server配置信息。
说明
● 表6-3中${HADOOP_HOME}表示服务端Hadoop的安装目录。
● keytab认证是24小时有效,超过24小时需要重新认证。
● 样例代码中PRNCIPAL_NAME的用户名要与获取keytab文件和krb5文件的账户名一致。
● 不同集群的user.keytab、krb5.conf不能共用。
● 注意样例代码中,“System.getProperty("user.dir") + File.separator + "conf" + File.separator + "user.keytab"”处使用的keytab文件需与用户的keytab一致。
● conf目录下的log4j.properties文件客户根据自己的需要进行配置。
----结束
6.2.5 获取并导入样例工程
操作场景
HDFS针对多个场景提供样例工程,帮助客户快速学习HDFS工程。
以下操作步骤以导入HDFS样例代码为例。
操作步骤
步骤1 参照样例工程获取地址,下载样例工程到本地。
步骤2 导入样例工程到Eclipse开发环境。
1. 第一种方法:打开Eclipse,选择“File > New > Java Project”。
2. 去掉对“Use default location”的勾选,单击“Browse”。
显示“浏览文件夹”对话框。
3. 选择样例工程文件夹hdfs-examples,单击“确定”。
4. 在“New Java Project”窗口单击“Finish”。
5. 第二种方法:打开Eclipse,依次选择“File > Import… > Existing maven
Projects into Workspace > Next”,在下一个页面单击“Browse”,显示“浏览 文件夹”对话框。
6. 选择样例工程文件夹“hdfs-examples”,单击“确定”。
7. 在“Import”窗口单击“Finish”。
步骤3 设置Eclipse的文本文件编码格式,解决乱码显示问题。
1. 在Eclipse的菜单栏中,选择“Window > Preferences”。
弹出“Preferences”窗口。