• 沒有找到結果。

挂载并行文件系统_对象存储服务 OBS_工具指南_obsfs_操作指南_华为云

N/A
N/A
Protected

Academic year: 2022

Share "挂载并行文件系统_对象存储服务 OBS_工具指南_obsfs_操作指南_华为云"

Copied!
24
0
0

加載中.... (立即查看全文)

全文

(1)

工具指南(obsfs)

文档版本 03

发布日期 2019-10-16

(2)

版权所有 © 华为技术有限公司 2021。 保留一切权利。

非经本公司书面许可,任何单位和个人不得擅自摘抄、复制本文档内容的部分或全部,并不得以任何形式传 播。

商标声明

和其他华为商标均为华为技术有限公司的商标。

本文档提及的其他所有商标或注册商标,由各自的所有人拥有。

注意

您购买的产品、服务或特性等应受华为公司商业合同和条款的约束,本文档中描述的全部或部分产品、服务或 特性可能不在您的购买或使用范围之内。除非合同另有约定,华为公司对本文档内容不做任何明示或暗示的声 明或保证。

由于产品版本升级或其他原因,本文档内容会不定期进行更新。除非另有约定,本文档仅作为使用指导,本文 档中的所有陈述、信息和建议不构成任何明示或暗示的担保。

(3)

目 录

1 obsfs 简介... 1

2 环境准备...3

2.1 资源准备...3

2.2 方式一:下载并安装 obsfs...5

2.3 方式二:通过编译生成 obsfs... 6

2.4 初始化 obsfs...7

3 操作指南...9

3.1 挂载并行文件系统... 9

3.2 取消挂载并行文件系统... 13

4 常见问题...14

5 异常处理...16

5.1 挂载并行文件系统失败... 16

5.2 取消挂载并行文件系统失败... 18

6 相关操作...19

6.1 libfuse 安装指导... 19

A 修订记录... 21

(4)

1 obsfs 简介

obsfs是对象存储服务(Object Storage Service,OBS)提供的一款基于FUSE的文件 系统工具,用于将OBS并行文件系统挂载至Linux系统,让用户能够在本地像操作文件 系统一样直接使用OBS海量的存储空间。

对于原本使用本地文件系统存储数据的用户,如果希望把数据存储在OBS上但不改变 数据的访问方式,推荐使用obsfs。

功能概述

● 支持挂载并行文件系统到Linux操作系统的本地文件系统中,通过本地文件系统管 理OBS上的对象。

● 在本地挂载目录新增任何文件,都支持直接同步上传至OBS。

● 并行文件系统中的对象支持同步至本地挂载目录,在本地进行拷贝、修改、重命 名及截断等操作。

约束与限制

● 本地挂载目录可以不为空,但是挂载后此目录下原有的内容将不可用,取消挂载 后即可恢复。建议使用空目录作为挂载目录。

● obsfs只支持挂载OBS并行文件系统,不支持挂载对象存储桶。

● 挂载至本地系统的并行文件系统不能提供与本地文件系统完全相同的性能或功 能,使用时需要注意以下细节:

– 挂载目录中的文件或文件夹不支持硬链接命令。

– 创建的目录深度不超过45层。

适用的操作系统

obsfs适用于Linux操作系统,并提供直接下载和编译生成两种方式供用户获取obsfs,

具体说明和操作指导如表1-1所示。

(5)

1-1 获取 obsfs 的方式

方式 说明 适用的Linux发行版 操作指导

直接下 载

直接下载官方提供的软 件包,在Linux配置运 行环境后即可使用 obsfs。

Ubuntu 16、CentOS 7 方式一:下载并 安装obsfs

编译生

成 下载托管在GitHub的源 码,配置编译环境后通 过源码中自带脚本生成 obsfs。

Ubuntu 14、Ubuntu 16、

Ubuntu 18、SUSE 12、

CentOS 7、Fedora 28、

RHEL 7、Debian 8、

openSUSE Leap 42.1

方式二:通过编 译生成obsfs

(6)

2 环境准备

2.1 资源准备

使用obsfs之前,您需要完成如表2-1所示的资源准备。

2-1 资源准备

资源项 说明 操作指导

华为云帐号 帐号是您访问华为云的主体,可以管理IAM用 户、访问密钥及OBS并行文件系统等obsfs需 要的资源,使用obsfs之前,您需要拥有一个 已成功开通OBS的帐号。

注册华为云帐号

IAM用户 可选,为确保帐号及资源的安全性,不建议 使用注册帐号直接访问OBS。建议通过统一 身份认证服务(Identity and Access

Management,IAM)创建具有OBS资源访问 权限的用户,用于在obsfs执行OBS相关操 作。

说明与访问OBS桶类似,使用obsfs挂载并访问并行文 件系统的IAM用户需要具备OBS相关的访问权限,

且与OBS桶的权限要求一致。给IAM用户授予OBS 相关角色或策略后,将同时对OBS桶和并行文件系 统有效。

创建IAM用户

访问密钥(AK

和SK) 访问密钥(AK和SK)是帐号或IAM用户的凭 证信息,obsfs通过访问密钥登录至OBS,从 而对请求加密签名,确保请求的机密性、完 整性和请求双方身份的正确性。

创建访问密钥(AK 和SK)

并行文件系统 并行文件系统是存储数据的容器。 创建并行文件系统

(7)

注册华为云帐号

在使用obsfs之前,您需要拥有一个华为云帐号并且成功开通OBS。OBS提供按需和资 源包两种计费方式,充值或购买资源包即开通OBS服务。成功开通OBS后即可进行访 问和使用。若您已有帐号且帐号已开通OBS服务,可以略过此部分内容。

步骤1 打开华为云网站www.huaweicloud.com。

步骤2 注册帐号。

使用OBS前需注册一个华为云帐号。若您已有帐号,请从步骤3开始。

1. 在顶部导航栏右侧,单击“注册”。

2. 在注册页面,根据提示信息完成注册。

注册成功后,系统会自动跳转至您的个人信息界面。

步骤3 在顶部导航栏右侧,单击“登录”,输帐号名和密码。

步骤4 在顶部导航栏右侧,单击“控制台”,进入华为云控制台。

----结束

创建 IAM 用户

为确保帐号及资源的安全性,不建议使用注册帐号直接访问OBS。建议通过统一身份 认证服务(Identity and Access Management,IAM)创建具有OBS资源访问权限的 用户,用以在obsfs执行OBS相关操作。若您不需要使用IAM用户,可以略过此部分内 容。

步骤1 打开华为云网站www.huaweicloud.com。

步骤2 单击页面右上角的“控制台”,使用注册帐号登录管理控制台。

步骤3 在顶部导航栏选择“服务列表 > 管理与监管 > 统一身份认证服务IAM”,进入“统一 身份认证服务”管理控制台。

步骤4 创建用户组。

详细步骤请参见创建用户组,创建成功后,在“用户组权限”中选择“全局服务 > 对 象存储服务”,为该用户组配置OBS策略。OBS策略相关介绍,请参考IAM权限。

说明

访问并行文件系统所需权限与访问OBS桶所需权限相同。给IAM用户授予OBS相关角色或策略 后,将同时对OBS桶和并行文件系统有效。

步骤5 创建用户。

详细步骤请参见创建用户,创建用户时“所属用户组”需选择步骤4创建的具有OBS权 限的用户组。

说明

如果用户组没有配置OBS相关权限,您可以在OBS控制台,通过策略或ACL等权限控制方式为用 户配置并行文件系统的完全控制权限。

----结束

(8)

创建访问密钥(AK 和 SK)

访问密钥(AK和SK)是帐号或IAM用户的凭证信息,obsfs通过访问密钥登录至OBS,

从而对请求加密签名,确保请求的机密性、完整性和请求双方身份的正确性。如果您 已有访问密钥(AK和SK),可以略过此部分内容。

说明

每个帐号或IAM用户最多可创建两个有效的访问密钥。

创建并行文件系统

创建并行文件系统的方式请参见《并行文件系统特性指南》。

2.2 方式一:下载并安装 obsfs

针对常见的Linux系统发行版,obsfs提供了CentOS 7、Ubuntu 16下的软件包供用户 直接下载使用。通过下载方式获取obsfs工具后,在对应的Linux操作系统上配置好运行 环境就可运行挂载命令,直接挂载并行文件系统。

下载 obsfs 软件包

obsfs下载地址如表2-2所示。

2-2 obsfs 下载地址 Linux发行版 下载地址

CentOS 7

https://obs-community.obs.cn-north-1.myhuaweicloud.com/

obsfs/current/obsfs_CentOS7.6_amd64.tar.gz

Ubuntu 16

https://obs-community.obs.cn-north-1.myhuaweicloud.com/

obsfs/current/obsfs_Ubuntu16.04_amd64.tar.gz

安装 obsfs

1. 在一台Windows计算机上,根据您Linux运行机的版本,下载到对应的obsfs软件 包。

2. 通过常见的跨平台传输工具(比如WinSCP),将软件包传输至您的Linux运行 机。

3. 在Linux运行机上,执行以下解压命令。

tar -xzvf obsfs软件包绝对路径/obsfs_xxx.tar.gz 说明

您也可以使用以下命令,将软件包解压至指定目录。

tar -xzvf obsfs软件包绝对路径/obsfs_xxx.tar.gz -C 指定目录

4. 进入obsfs解压目录,执行以下命令安装obsfs。

bash install_obsfs.sh

(9)

说明

您在执行安装命令后,crontab会添加一条定时任务,用于obsfs日志压缩转储,转储位置 为/var/log/obsfs/。

crontab中的添加样例: */10 * * * * [ -f /opt/dfv/obsfs/obsfs_log_rotate.sh ] &&

bash /opt/dfv/obsfs/obsfs_log_rotate.sh

配置运行环境

obsfs的运行环境依赖openssl-devel、fuse、fuse-devel等软件包,运行obsfs之前,您 需要通过命令配置其依赖环境。

说明

● obsfs支持使用的libfuse版本为2.9.7,2.9.8或2.9.9。如果当前您的libfuse是其他版本,请参 考libfuse安装指导进行安装。

● 您可以通过操作系统自有的查看命令查看libfuse版本,也可以通过以下命令查找libfuse.so以 获得当前已安装版本。

find / -name libfuse.so*

● CentOS 7

yum install -y openssl-devel fuse fuse-devel

● Ubuntu 16

apt-get install -y libfuse-dev libcurl4-openssl-dev

验证

进入obsfs所在目录,执行以下命令验证obsfs能否成功运行。

./obsfs --version

当命令回显出现obsfs版本信息时,表示obsfs能够成功运行,您可以开始初始化及使用

obsfs。libfuse安装指导

2.3 方式二:通过编译生成 obsfs

obsfs工具已在GitHub上开源,如果您的操作系统版本不是Ubuntu 16、CentOS 7等上 述发行版,或者您想通过编译源码生成obsfs工具,可以从GitHub上获取obsfs工具的 源码自行编译生成。通过编译源码生成obsfs工具,需要配置好编译环境,执行编译脚 本生成obsfs工具。

下载 obsfs 源码

obsfs源码地址:https://github.com/huaweicloud/huaweicloud-obs-obsfs 在Linux运行机上,执行以下命令,即可下载obsfs源码至本地。

git clone https://github.com/huaweicloud/huaweicloud-obs-obsfs.git

配置编译环境

编译环境用于在本地直接编译源码生成obsfs,不同的Linux发行版,编译环境配置命令 也不相同。以下提供了在常见的Fedora/CentOS/RHEL/Debian/Ubuntu/SUSE/

openSUSE等Linux发行版上,obsfs编译环境的配置命令。

(10)

● CentOS 7、CentOS 8、Fedora 28、RHEL 7、RHEL 8

yum install -y gcc libstdc++-devel gcc-c++ fuse fuse-devel curl-devel libxml2-devel mailcap git automake make

yum install -y openssl-devel

● Ubuntu 14、Ubuntu 16、Ubuntu 18、Debian 8

apt-get install -y build-essential git libfuse-dev libcurl4-openssl-dev libxml2-dev mime-support automake libtool

apt-get install -y pkg-config libssl-dev

● SUSE 12、openSUSE Leap 42.1

zypper in -y automake curl-devel fuse fuse-devel gcc-c++ libxml2-devel make openssl-devel 说明

● obsfs支持使用的libfuse版本为2.9.7,2.9.8或2.9.9。如果当前您的libfuse是其他版本,请参 考libfuse安装指导进行安装。

● 您可以通过操作系统自有的查看命令查看libfuse版本,也可以通过以下命令查找libfuse.so以 获得当前已安装版本。

find / -name libfuse.so*

生成 obsfs

编译环境配置成功后,使用cd命令进入以下路径执行bash build.sh即可生成obsfs。

cd obsfs源码下载目录/huaweicloud-obs-obsfs 说明

obsfs生成后保存在以下路径:obsfs源码下载目录/huaweicloud-obs-obsfs/src

安装 obsfs

生成obsfs成功后,使用cd命令进入以下路径执行bash install_obsfs.sh即可安装 obsfs。

cd obsfs源码下载目录/huaweicloud-obs-obsfs

验证

进入obsfs所在目录,执行以下命令验证obsfs能否成功运行。

./obsfs --version

当命令回显出现obsfs版本信息时,表示obsfs能够成功运行,您可以开始初始化及使用

obsfs。libfuse安装指导

2.4 初始化 obsfs

在使用obsfs之前,需要将访问密钥(AK和SK)信息写入密钥文件,方便在使用并行文 件系统时对使用者的身份进行验证。

本章节以将访问密钥信息写入“/etc/passwd-obsfs”文件为例,介绍具体的操作步 骤。

前提条件

已获取访问密钥(AK和SK),具体操作请参见资源准备。

(11)

操作步骤

步骤1 打开命令行终端。

步骤2 执行以下命令,将访问密钥写入密钥文件“/etc/passwd-obsfs”。

echo AK:SK > /etc/passwd-obsfs

步骤3 执行以下命令,查看密钥信息是否配置成功。

cat /etc/passwd-obsfs

步骤4 执行以下命令,设置密钥文件只能够被当前用户访问。

chmod 600 /etc/passwd-obsfs

----结束

(12)

3 操作指南

3.1 挂载并行文件系统

通过obsfs使用OBS服务,需要将OBS的并行文件系统挂载至您本地的文件系统上。挂 载完成后,可以像操作本地目录一样操作OBS并行文件系统,比如保存某个文件至挂 载目录,即上传对象至OBS。

说明

obsfs挂载到华为云服务器ECS上时占用OBS流量,不占用华为云服务器ECS的流量。

约束与限制

obsfs只支持挂载OBS并行文件系统,不支持挂载对象存储桶。

● 本地挂载目录可以不为空,但是挂载后此目录下原有的内容将不可用,取消挂载 后即可恢复。建议使用空目录作为挂载目录。

● 挂载目录中的文件或文件夹不支持硬链接命令。

● 创建的目录深度不超过45层。

● 每次通过命令手动挂载的并行文件系统,在Linux重启后,都需要重新挂载。

● 并行文件系统的容量请以实际使用情况为准。

说明

您也可以设置开机自动挂载并行文件系统,具体操作请参见开机自动挂载并行文件系统。

● 一个并行文件系统支持挂载到多台云服务器。

前提条件

● 已成功获取obsfs,具体操作请参见方式一:下载并安装obsfs或方式二:通过编 译生成obsfs。

● 已初始化obsfs,具体操作请参见初始化obsfs。

● 本地挂载目录已存在。

(13)

说明

您也可以使用mkdir命令创建一个新目录用来挂载并行文件系统。比如创建一个 mountpoint目录,命令为:

mkdir mountpoint

手动挂载并行文件系统

步骤1 打开命令行终端。

步骤2 使用cd命令进入obsfs所在目录。

步骤3 按照以下格式执行挂载命令。

./obsfs 并行文件系统名 本地挂载目录 -o url=区域终端节点地址 -o passwd_file=密钥文件路径 -o use_ino 其他 挂载参数

● 并行文件系统名:输入待挂载的并行文件系统名称。

● 本地挂载目录:输入待挂载目录的绝对路径或相对路径。

● 区域终端节点地址:根据待挂载并行文件系统所在区域名称获取对应的终端节点 地址,具体信息请参见地区和终端节点。

● 挂载参数

挂载参数(除passwd_file、use_ino外)为可选项,根据需求选择合适的参数组 合,格式为:-o 参数名称=参数值。在不需要设置参数值的情况下,直接使用-o 参数名称 即可。OBS支持的挂载参数及说明如表3-1所示。

说明

关于obsfs挂载时的参数设置,可执行./obsfs --help命令了解更多。

3-1 挂载参数说明

参数名称 参数值 说明

passwd_file 类型:String 取值:根据初始 化obsfs配置的密 钥文件路径进行 设置。

密钥文件路径,使用obsfs时将从此路 径中获取AK和SK信息,以对用户身份 进行验证。

use_ino 需要 使用该选项,由obsfs分配inode编号。

big_writes 不需要 配置后可更改写缓存最大值大小。

max_write 类型:int 推荐取值:

128KB

仅配置big_writes的情况下才生效,默 认写大小为4KB,推荐使用128KB。

nonempty 不需要 允许挂载目录非空。

allow_other 不需要 允许其他用户访问并行文件系统。

max_background 类型:int 推荐取值:100

可配置后台最大等待请求数。

(14)

参数名称 参数值 说明 use_path_request

_style 不需要 当采用路径式(使用legacy API 调用风 格)访问OBS时,请使用该参数。

说明当url参数值为IP地址时,挂载命令必须携

带此参数,否则会报域名解析错误。

umask 不需要 配置文件权限的掩码,用户每次进入文 件系统时,umask命令都被执行,并自 动设置掩码显示新的权限。

obsfslog 不需要 从配置文件加载日志配置参数,包括日 志模式、级别等。使用此参数可以在不 重启进程的情况下,更改日志级别。

说明配置文件路径固定为:/etc/obsfsconfig,

如果要使用此参数,需要手动在本地创建 此路径并参照以下示例及注释写入内容。

配置文件内容示例:

//日志模式。值为0,日志模式为前台显示。值 为1,模式为生成日志文件,路径:/var/log/

obsfs,以进程号命名。值为2,模式为日志写入 系统日志。

dbglogmode=1

//日志级别。dbg、info、warn、err、crit。

dbglevel=info

步骤4 执行以下命令,检查挂载结果。

df -h

当界面显示如下类似回显信息时,表示OBS并行文件系统挂载成功。

Filesystem Size Used Avail Use% Mounted on obsfs 256T 0 256T 0% /path/to/mountpoint

说明

并行文件系统的容量请以实际使用情况为准。

若没有显示以上类似回显信息,表示OBS并行文件系统挂载失败。此时可在执行的挂 载命令后面添加以下参数,用以在回显中输出挂载过程以及详细调试日志:

-d -d -f -o f2 -o curldbg

然后再根据具体的错误信息进行问题定位,常见异常处理请参考挂载并行文件系统失 败。

----结束

命令示例

此处以挂载一个华北-北京一区域的“filesystem001”并行文件系统、obsfs密钥文件 路径为“/etc/passwd-obsfs”作为前提条件提供如下挂载命令示例,介绍挂载OBS并 行文件系统时的一些参数配置。

● 将并行文件系统“filesystem001”挂载至“/mnt/mount_path/”目录,并允许该 目录为非空:

(15)

./obsfs filesystem001 /mnt/mount_path/ -o url=obs.cn-north-1.myhuaweicloud.com -o passwd_file=/etc/passwd-obsfs -o big_writes -o max_write=131072 -o nonempty -o use_ino

● 将并行文件系统“filesystem001”挂载至“/mnt/mount_path/”目录,并设置写 缓存大小:

./obsfs filesystem001 /mnt/mount_path/ -o url=obs.cn-north-1.myhuaweicloud.com -o passwd_file=/etc/passwd-obsfs -o big_writes -o max_write=131072 -o max_background=100 -o use_ino

● 将并行文件系统“filesystem001”挂载至“/mnt/mount_path/”目录,并允许其 他用户访问该目录:

./obsfs filesystem001 /mnt/mount_path/ -o url=obs.cn-north-1.myhuaweicloud.com -o passwd_file=/etc/passwd-obsfs -o big_writes -o max_write=131072 -o allow_other -o use_ino

说明

当url参数值为IP地址时,请在以上挂载示例中携带-o use_path_request_style参数,否则会报域 名解析错误。

开机自动挂载并行文件系统

以下内容以CentOS 7操作系统为例,介绍如何配置开机自动挂载。

步骤1 使用root用户登录Linux运行机。

步骤2 执行以下命令,创建一个/home/startobsfs.sh脚本文件。

vi /home/startobsfs.sh

步骤3 按i进入编辑模式,将以下命令写入/home/startobsfs.sh脚本文件。

#!/bin/bash

cd obsfs所在的绝对路径

./obsfs 并行文件系统名 本地挂载目录 -o url=区域终端节点地址 -o passwd_file=秘钥文件路径 -o use_ino 挂载 参数

说明

挂载命令参数说明请参见“手动挂载并行文件系统”部分的步骤3。

步骤4 按Esc键,输入:wq,保存并退出脚本文件。

步骤5 执行以下命令,赋予root用户对脚本的可执行权限。

chmod +x /home/startobsfs.sh

步骤6 执行以下命令,赋予root用户对rc.local文件的执行权限。

chmod +x /etc/rc.d/rc.local 说明

不同操作系统的rc.local文件位置不同,在CentOS 7中,该文件位置为/etc/rc.d/rc.local。

步骤7 编辑/etc/rc.d/rc.local文件,将以下命令添加至文件末尾,保存并退出。

bash /home/startobsfs.sh 说明

若/etc/rc.d/rc.local中有退出的命令,例如“exit 0”,请将本步骤中的命令添加至退出命令之 前。

步骤8 重启后验证。

在重启Linux后,执行以下命令,查看OBS并行文件系统是否挂载成功。

df -h

(16)

说明

后续若想取消开机自动挂载并行文件系统,删除rc.local文件中执行obsfs挂载命令的脚本文件即 可。

----结束

后续操作

后续如果需要对已挂载的并行文件系统进行参数设置(新增、修改或删除),请先取 消挂载后再重新挂载。关于取消挂载并行文件系统的具体操作,请参见取消挂载并行 文件系统。

3.2 取消挂载并行文件系统

如果不再需要通过挂载方式访问OBS并行文件系统,或者需要对已挂载并行文件系统 进行参数新增、修改或删除时,可以取消挂载并行文件系统。

说明

取消挂载并行文件系统不会影响已保存至并行文件系统中的数据。

前提条件

待取消挂载的并行文件系统目前处于挂载状态。

操作步骤

步骤1 打开命令行终端。

步骤2 检查当前目录是否属于挂载目录,

● 是,需退出挂载目录,退出后再执行步骤3。

● 否,执行步骤3。

步骤3 执行以下命令,取消已挂载的并行文件系统。

umount 本地挂载目录

步骤4 执行以下命令,查看是否已经取消挂载。

df -h

----结束

(17)

4 常见问题

同一个并行文件系统可以挂载至多个客户端吗?

可以。

同一个客户端可以挂载多个并行文件系统吗?

可以,且每一个挂载进程都是独立的。

鲲鹏平台下编译 libfuse.2.9.7 报“error: conflicting types for 'int64_t'”错误如何 解决?

修改“include/fuse_kernel.h”文件的第92和93行为如下内容:

typedef unsigned long long __u64;

typedef long long __s64;

修改前后的文件如图4-1和图4-2所示。

4-1 修改前文件内容

(18)

4-2 修改后文件内容

obsfs 挂载到华为云服务器 ECS 上时占用 OBS 流量还是云服务器 ECS 的流量?

该情况下占用OBS流量,不占用华为云服务器ECS的流量。

挂载的并行文件系统如何让其他用户访问?

一般情况下,只有执行挂载命令的用户有访问挂载目录的权限。

如果要允许其他用户访问挂载目录,可以在obsfs挂载命令中指定allow_other参数,命 令示例:

./obsfs filesystem001 /mnt/mount_path/ -o url=obs.cn-north-1.myhuaweicloud.com -o passwd_file=/etc/

passwd-obsfs -o big_writes -o max_write=131072 -o allow_other -o use_ino

(19)

5 异常处理

5.1 挂载并行文件系统失败

本文根据在挂载并行文件系统时遇到的不同现象,总结了常见挂载并行文件系统失败 的可能原因及解决办法。

现象一:挂载并行文件系统时出现“The specified bucket does not exist”类似错 误

问题定位:

待挂载并行文件系统不存在。

解决办法:

创建一个并行文件系统后再重新挂载。创建的方法参见创建并行文件系统。

现象二:挂载并行文件系统时出现“file system not support this request: this bucket not support filesystem”类似错误

问题定位:

挂载的桶不是并行文件系统。

解决办法:

创建一个并行文件系统后再重新挂载。创建的方法参见创建并行文件系统。

现象三:挂载并行文件系统时出现“The request signature we calculated does not match the signature you provided. Check your key and signing

method.”类似错误

问题定位:

鉴权失败,访问密钥(AK和SK)配置不正确。

解决办法:

(20)

检查密钥文件中的AK和SK信息是否配置正确。检查方法可参照初始化obsfs章节中的步 骤3。

现象四:挂载并行文件系统时出现“specified passwd_file is not readable”类似 错误

问题定位:

passwd_file配置的密钥文件路径不正确。

解决办法:

检查passwd_file挂载参数配置的密钥文件路径是否配置正确。检查方法可参照初始化 obsfs章节中的步骤3。

现象五:挂载并行文件系统时出现“Access Denied”类似错误

问题定位:

鉴权失败,IAM用户没有OBS操作权限。

解决办法:

给用户授权OBS操作权限。操作方法可参照资源准备。

现象六:挂载并行文件系统时出现“unable to access MOUNTPOINT /obsfs:

Transport endpoint is not connected”类似错误

问题定位:

挂载路径已被另一个obsfs挂载进程占用。

解决办法:

使用df命令,查看当前已挂载分区及路径,选择一个未被占用的路径重新挂载。

现象七:挂载并行文件系统时出现“unknown option”类似错误

问题定位:

挂载命令中参数写错,obsfs不识别 解决办法:

对照“挂载并行文件系统”章节的表3-1检查挂载参数。

现象八:挂载并行文件系统时出现“unable to access MOUNTPOINT /mnt/

obsfs: No such file or directory”类似错误

问题定位:

挂载目录未创建。

解决办法:

使用mkdir创建该目录,或替换一个已存在的目录。

(21)

5.2 取消挂载并行文件系统失败

本文根据在取消挂载并行文件系统时遇到的不同现象,总结了常见取消挂载并行文件 系统失败的可能原因及解决办法。

现象一:取消挂载并行文件系统时出现“target is busy”类似错误

问题定位:

取消挂载时,命令行终端停留在挂载目录或其子目录。

解决办法:

退出挂载目录。

(22)

6 相关操作

6.1 libfuse 安装指导

本章节以安装libfuse 2.9.7为例,详细介绍在CentOS 7、SUSE 12以及Ubuntu 16的操 作。

前提条件

下载libfuse源码,并编译生成libfuse.so.2.9.7。

libfuse下载地址:https://github.com/libfuse/libfuse/releases/tag/fuse-2.9.7

tar -zxvf fuse-2.9.7.tar.gz

cd fuse-2.9.7/ && ./configure && make && make install echo -e '\n/usr/local/lib' >> /etc/ld.so.conf

ldconfig

CentOS 7 安装 libfuse

CentOS 7默认安装的是libfuse.so.2.9.2。

首先您需要按照前提条件下载、编译及生成libfuse.so.2.9.7,然后按照以下步骤进行安 装替换。

步骤1 执行以下命令,查找旧版本libfuse.so.2.9.2库链接。

find / -name libfuse.so*

步骤2 执行以下命令,将libfuse.so.2.9.7拷贝至旧版本库libfuse.so.2.9.2所在位置。

cp /usr/local/lib/libfuse.so.2.9.7 /usr/lib64/

步骤3 执行以下命令, 删除旧版本libfuse.so库的所有链接。

rm -f /usr/lib64/libfuse.so rm -f /usr/lib64/libfuse.so.2

步骤4 执行以下命令,建立与被删除旧版本链接类似的libfuse.so.2.9.7库链接。

ln -s /usr/lib64/libfuse.so.2.9.7 /usr/lib64/libfuse.so ln -s /usr/lib64/libfuse.so.2.9.7 /usr/lib64/libfuse.so.2

----结束

(23)

SUSE 12 安装 libfuse

SUSE 12默认安装的是libfuse.so.2.9.3。

首先您需要按照前提条件下载、编译及生成libfuse.so.2.9.7,然后按照以下步骤进行安 装替换。

步骤1 执行以下命令,查找旧版本libfuse.so.2.9.3库链接。

find / -name libfuse.so*

步骤2 执行以下命令,将libfuse.so.2.9.7拷贝至旧版本库libfuse.so.2.9.3所在位置。

cp /usr/local/lib/libfuse.so.2.9.7 /usr/lib64/

步骤3 执行以下命令, 删除旧版本libfuse.so库的所有链接。

rm -f /usr/lib64/libfuse.so.2 rm -f /lib64/libfuse.so.2.9.3

步骤4 执行以下命令,建立与被删除旧版本链接类似的libfuse.so.2.9.7库链接。

ln -s /usr/lib64/libfuse.so.2.9.7 /usr/lib64/libfuse.so.2 ln -s /usr/lib64/libfuse.so.2.9.7 /lib64/libfuse.so.2.9.7

----结束

Ubuntu 16 安装 libfuse

Ubuntu 16默认安装的是libfuse.so.2.9.4。

首先您需要按照前提条件下载、编译及生成libfuse.so.2.9.7,然后按照以下步骤进行安 装替换。

步骤1 执行以下命令,查找旧版本libfuse.so.2.9.4库链接。

find / -name libfuse.so*

步骤2 执行以下命令,将libfuse.so.2.9.7拷贝至旧版本库libfuse.so.2.9.4所在位置。

cp /usr/local/lib/libfuse.so.2.9.7 /lib/x86_64-linux-gnu/

步骤3 执行以下命令,删除旧版本libfus.so库的所有链接。

rm -f /lib/x86_64-linux-gnu/libfuse.so.2

步骤4 执行以下命令,建立与被删除旧版本链接类似的libfuse.so.2.9.7库链接。

ln -s /lib/x86_64-linux-gnu/libfuse.so.2.9.7 /lib/x86_64-linux-gnu/libfuse.so.2

----结束

(24)

A 修订记录

发布日期 修订记录

2019-10-16 第三次正式发布。

本次更新说明如下:

● 在挂载并行文件系统章节和常见问题章节增加obsfs占用流量 相关说明。

2019-08-15 第二次正式发布。

本次更新说明如下:

● 修改文件语义桶的术语为并行文件系统。

2019-04-30 第一次正式发布。

數據

表 1-1 获取 obsfs 的方式 方式 说明 适用的Linux发行版 操作指导 直接下 载 直接下载官方提供的软 件包,在Linux配置运 行环境后即可使用 obsfs。 Ubuntu 16、CentOS 7 方式一:下载并安装obsfs 编译生 成 下载托管在GitHub的源码,配置编译环境后通 过源码中自带脚本生成 obsfs。 Ubuntu 14、Ubuntu 16、Ubuntu 18、SUSE 12、CentOS 7、Fedora 28、RHEL 7、Debian 8、 openSUSE Lea

參考文獻

相關文件

[r]

[r]

„ Kernel keeps state info for I/O components, including open file tables, network connections, character device state. „ Many, many complex data structures to track buffers, memory

change it with different boards o #define CHANNEL 26 // check correspond frequency in SpectrumAnalyzer o #define TX_DO_CARRIER_SENSE 1. o #define

[r]

Los salvadoreños y salvadoreñas evalúan la situación del país a finales de 2008 y opinan sobre las elecciones legislativas y municipales de 2009 2..

VENIR (Vine) TENER (Tuve) HACER

Edge triggered device sample inputs on the event edge Transparent latches sample inputs as long as the clock is asserted.