如何使用radosgw admin ops api?

对象存储vs块存储:Ceph实战中的数据契约与选型决策 对象存储和块存储是现代分布式存储的两大基础范式,其本质差异在于数据组织逻辑——前者基于HTTP协议的键值扁平命名空间,后者依托内核驱动的线性地址空间映射。理解这一根本区别,是规避Ceph集群PG异常、Rook部署失败、OpenStack Cinder挂载卡顿等高频问题的前提。技术价值体现在:对象存储天然适配Web前端、海量非结构化数据与跨云统一接口;块存储则保障数据库低延迟、虚拟机热迁移与AI训练高吞吐等强一致性场景。本文结合Ceph RGW与RBD在真实产线中的协同实践,解析从CORS跨域报错到rbd m 阅读详情

概述

通过Radosgw的Admin ops api,可以执行radosgw-admin对应的很多管理操作。

创建管理用户

要通过Restful请求管理Radosgw,必须先创建一个管理账户,user自己制定,可以命名为admin,例如:

 

radosgw-admin user create --uid=admin --display-name=admin

 

此时admin还仅仅是普通的权限,需要通过--cap添加user的capabilities,例如:
radosgw-admin caps add --uid=admin --caps="users=read, write"
radosgw-admin caps add --uid=admin --caps="usage=read, write" 

GET USER INFO

Get user information. If no user is specified returns the list of all users along with suspension information.

caps: users=read

SYNTAX

GET /{admin}/user?format=json HTTP/1.1
Host: {fqdn}

 

比如上述的“GET USER INFO”的API,需要使用的{admin}用户有“users=read”的caps。

API示例

1. 创建user

$ cat usercreate.sh
#!/bin/bash
token = 5L65QDE4df8JJ8RM7**  ## USER_TOKEN
secret = Y9HPiBCwLDeSMSaiQhmPT2h7N**  ## USER_SECRET
query = $ 1
name = $ 2
echo $query, $name
query3 = "&uid="
query2 = admin / user
date = $( for  in  $(date  "+%H" ) ; do date  "+%a, %d %b %Y $(( 10#$i-8 )):%M:%S +0000"  ; done)
header = "PUT\n\n\n${date}\n/${query2}"
sig = $(echo  - en ${header} | openssl sha1  - hmac ${secret}  - binary | base64)
curl  - - "Date: ${date}"  - "Authorization: AWS ${token}:${sig}"  - - X PUT  "http://<ip>/${query2}?format=json${query3}${query}&display-name=${name}"  - "Host: <ip>"

 

2. 列出user info

$ cat userinfo.sh
#!/bin/bash
token = 5L65QDE4238JJ8**  ## USER_TOKEN
secret = Y9HPiBCwLDeSMSaiQhmPT2h**  ## USER_SECRET
query = $ 1
query3 = "&uid="
query2 = admin / user
date = $( for  in  $(date  "+%H" ) ; do date  "+%a, %d %b %Y $(( 10#$i-8 )):%M:%S +0000"  ; done)
header = "GET\n\n\n${date}\n/${query2}"
sig = $(echo  - en ${header} | openssl sha1  - hmac ${secret}  - binary | base64)
curl  - - "Date: ${date}"  - "Authorization: AWS ${token}:${sig}"  - - X GET  "http://<ip>/${query2}?format=json${query3}${query}"  - "Host: <ip>"

 

3. 删除user

$ cat userdelete.sh
#!/bin/bash
token = 5L65QDE4238JJ8**  ## USER_TOKEN
secret = Y9HPiBCwLDeSMSaiQhmPT2h7NgN**  ## USER_SECRET
query = $ 1
query3 = "&uid="
query2 = admin / user
date = $( for  in  $(date  "+%H" ) ; do date  "+%a, %d %b %Y $(( 10#$i-8 )):%M:%S +0000"  ; done)
header = "DELETE\n\n\n${date}\n/${query2}"
sig = $(echo  - en ${header} | openssl sha1  - hmac ${secret}  - binary | base64)
curl  - - "Date: ${date}"  - "Authorization: AWS ${token}:${sig}"  - - X DELETE  "http://<ip>/${query2}?format=json${query3}${query}"  - "Host: <ip>"

 

4. 获取usage info

$ cat usageinfo.sh
#!/bin/bash
token = 5L65QDE4238**  ## USER_TOKEN
secret = Y9HPiBCwLDeSMSaiQhm**  ## USER_SECRET
query = $ 1
query3 = "&uid="
query2 = admin / usage
date = $( for  in  $(date  "+%H" ) ; do date  "+%a, %d %b %Y $(( 10#$i-8 )):%M:%S +0000"  ; done)
header = "GET\n\n\n${date}\n/${query2}"
sig = $(echo  - en ${header} | openssl sha1  - hmac ${secret}  - binary | base64)
curl  - - "Date: ${date}"  - "Authorization: AWS ${token}:${sig}"  - - X GET  "http://<ip>/${query2}?format=json${query3}${query}"  - "Host: <ip>"

 

RadosGW Admin ops API还有很多其他的APIs,详情见:http://docs.ceph.com/docs/master/radosgw/adminops/

问题记录

1. AccessDenied

脚本报错:< HTTP/1.1 403 Forbidden … {"Code":"AccessDenied"}
radosgw的log里报错:rgw/ rgw_auth_s3.cc:188 NOTICE: failed to parse date for auth header
从上述log中看出是请求header中的date解析不出来,修改脚本中date如下:
date=$(for i in $(date "+%H") ; do date "+%a, %d %b %Y $(( 10#$i-2 )):%M:%S +0000" ; done)

2. RequestTimeTooSkewed

脚本报错:< HTTP/1.1 403 Forbidden … {"Code":"RequestTimeTooSkewed"}
radosgw的log里报错:rgw/ rgw_rest_s3.cc:2398 NOTICE: request time skew too big now=2016-08-29 15:09:40.000000 req_time=2016-08-29 21:09:40.000000
从上述log中看出是request的time跟服务器时间差别较大,修改脚本中date如下:
date=$(for i in $(date "+%H") ; do date "+%a, %d %b %Y $(( 10#$i-8 )):%M:%S +0000" ; done)

3. 权限问题

参考具体命令的caps需求,添加user的caps

参考资料

Ceph对象存储与块存储选型实战:RGW vs RBD深度对比 对象存储和块存储是现代分布式存储的两大基础范式,其本质差异在于数据组织方式(离散对象 vs 连续块)、访问协议(HTTP RESTful vs 块设备驱动)及元数据管理模型(用户态分布式 vs 内核态强一致)。对象存储凭借水平扩展性、API友好性和海量小文件处理能力,成为AI数据湖、日志归档与Web应用的理想底座;块存储则依托低延迟随机IO和POSIX语义,支撑数据库、虚拟机等强事务场景。Ceph作为统一存储平台,通过RGW提供S3兼容对象接口,通过RBD暴露块设备能力,二者在真实生产中常共存协同。本文聚焦 阅读详情

相关推荐

【深度学习框架学习| Keras Ops API详解】Keras最简单的深度学习框架!你对基于Keras的 Ops API了解多少?来看看吧

【深度学习框架学习| Keras Ops API详解】Keras最简单的深度学习框架!你对基于Keras的 Ops API了解多少?来看看吧

python练手项目实战 901

raw admin ops 使用总结

raw admin ops 使用总结

CEPH radosgw-admin命令大全

user create create a new user user modify modify user user info get user info user rm remove user user suspend s...

weixin_38210643的博客 2303

java时间类型查询报错,【Elasticsearch】ES中时间查询报错:Caused by: ElasticsearchParseException[failed to parse date fi...

我真的很崩溃,先是workspace崩了,费了好久重建的workspace,然后建立了一个小demo项目,tomcat中启动却报错,挑选其中比较重要的2条信息如下: A child container failed during start 严重: Error starting static Resources java.lang.IllegalArgumentException: Documen...

weixin_39630106的博客 1201

radosgw-admin命令的一些参数

radosgw-admin命令的详细参数包括:

xiaofengyixi的博客 1664

Ceph Object Gateway Admin api介绍

说明:Ceph rgw admin ops api 是为了通过rest方式对对象存储进行管理的接口,可以通过该接口管理和获取对象存储相关信息。 认证:与S3使用同样的认证方式。 版本:基于Ceph 10.2。 准备工作: 需要创建一个新的管理用户,授予用户权限: radosgw-admin caps add --uid=admin --c...

weixin_33795833的博客 738

rgw用户中的caps

可以用以下命令为用户添加所有的caps,拥有对应的cap的用户可以操作不仅限与属于用户自己的桶和对象和其他用户,可以看作拥有管理员的某种权限 radosgw-admin caps add --uid=admin --caps="users=*;buckets=*;metadata=*;us...

chupiti2317的博客 1153

ceph对象存储的配置与S3、swift接口的使用

首先简单了解一下一些ceph对象存储的基本知识: Ceph: 起始于2006年 开发语言:C 强一致性 块存储 对象存储 Swift: 起始于2008年 开发语言:Python 最终一致性 对象存储 真正的大型公用云服务产品中使用 对象存储介绍: Ceph本质上就是一个rados,利用命令rados就可以访问和使用ceph的对象存储...

CloudXli的博客 1万+

【Ceph RGW】radosgw_usage_exporter监控用户使用

文章目录1 Overview2 radosgw_usage_exporter2.1 usage2.2 bucket3 关于权限4 metrics 1 Overview Ceph Mgr Prometheus 的模块没有提供用户数据使用量的指标,而在 Ceph 日常运维中,我们希望知道哪个用户用了多少存储容量,或者距离 Quota 还有多少,方便自动化扩容等等,所以推荐一个开源的 prometheus exeporter 来通过 radosgw 来输出用户在 Ceph 集群使用的量。 再次明确一下,这个 us

runzhliu大数据/容器日记 1598

Ceph Object Gateway Admin api 获取用户列表问题

按照官方文档使用Admin Ops API 获取用户列表 GET /admin/user时 返回{code: 403, message: Forbidden}这里有两个问题:首先用户列表的请求为 如下方式 : GET /admin/metadata/user其次 需要配置管理用户的metadata的读取权限: radosgw-admin caps add --uid=admin ...

455

将 Ceph 扩展到十亿个对象甚至更多

因此,对于大于 bluestore_min_alloc_size_hdd 的对象,默认值似乎是最佳的,如果您打算减少 bluestore_min_alloc_size_hdd 参数,较小的对象还需要更多调查。当我们的集群中的存储容量用完时,我们别无选择,只能删除存储在桶中的旧大对象,而我们有数百万个这样的对象。我们最初是从 S3 API 的 DELETE 方法开始的,但我们很快意识到它不适用于存储桶删除,因为必须先删除存储桶中的所有对象,然后才能删除存储桶本身。这证明了 Ceph 集群的可扩展性和健壮性。

小Eason哥 686

【CAT魔改】扩展cat-consumer实现自定义服务端收集日志

通过cat-consumer的源码修改,实现将CAT服务端收集到的日志按照自定义需求进行额外持久化,为后续的自定义日志审计打基础。

夫礼者的专栏 572

python调用Ceph RGW Admin API

Admin API 的相关介绍见官网:http://docs.ceph.com/docs/master/radosgw/admin/github上有一个使用Python写的按照官网API请求格式封装了HTTP请求的库,我们可以直接调用该Python库提供的接口,就可以完成Admin API的相关操作:https://github.com/UMIACS/rgwadminexample:API Exa...

redenval的专栏 2115

Hands-on Lab (9) - 增加用户

admin登录,然后执行命令,获取Identity Providers的Htpasswd的Name(下面中的htpass-secret) $ oc describe oauth cluster Name: cluster Namespace: Labels: <none> Annotations: kubectl.kubernetes.io/...

多恩斯基的博客 2079

RadosGW 使用详细说明

一、RadosGW 对象存储简介 RadosGW 是对象存储(OSS,Object Storage Service)的一种实现方式,RADOS 网关也称为 Ceph 对象网关、RADOSGW、RGW,是一种服务,使客户端能够利用标准对象存储 API 来访问 Ceph 集群,它支持AWS S3和Swift API,rgw运行于librados之上,在ceph 0.8版本之后使用Civetweb 的 web 服务器来响应 api 请求,可以使用 nginx 或或者 apache 替代,客户端基于 http/ht

LCK 博客 2457

【grafana】API 遇到的问题

使用 POST api/admin/users 创建新用户时,返回 401 Unauthorized 查看日志 lvl=info msg=“Request Completed” logger=context userId=0 orgId=0 uname= method=POST path=/api/admin/users status=401 remote_addr=127.0.0.1 tim...

星辰大海 8485

SpringBoot学习笔记

SpringBoot 一、快速入门 1.1 创建项目 1.左上文件==新建==项目==左侧选择Maven Archetype==输入项目名HelloWorld,位置~\IdeaProjects 2.选择maven-archetype-webapp==点开高级设置==鼠标往下拉==组ID输入com.tys和版本号1.0==点击创建 3.对着src文件==右键新建==目录==全选==回车 1.2 引入依赖 //pom.xml 复制进去,刷新Maven <?xml version="1.0" encod

weixin_48778425的博客 906

python分布式对象存储_Ceph分布式存储之对象存储

本文转载自【微信公众号:WalkingCloud,ID:WalkingCloud2018】,经微信公众号授权转载,如需转载与原文作者联系1、安装Ceph对象网关从管理节点的工作目录,在ceph_admin节点上安装 Ceph 对象网关软件包ceph-deploy install --rgw ceph_admin2、 ceph-deploy rgw create ceph_admin3、通过7480...

weixin_39786155的博客 328
上一篇: pytho脚本通过boto3访问radosgw提供的对象存储
下一篇: Ceph RGW远程同步(multisite)配置
for_tech
博客等级 码龄10年 50粉丝 37原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值