第五章:对象存储OSS笔记

一、对象存储OSS概要介绍

什么是对象存储OSS?

估算容量-数据备份-数据安全-成本控制

对象存储服务(Object Storage Service)是阿里云提供的海量、安全、低成本、高可靠的云存储服务,提供与平台无关的RESTful API接口,提供99.999999999%的服务持久性。

优势:

海量、安全、低成本、高可靠

按量收费,无需担心存储容量。

主要功能:

任何时间、任何地点、任何平台上对数据进行上传和下载

通过API或WEB页面方式管理海量数据

弹性扩展:海量存储空间,随时增加

大规模:支持同一时间内高并发,大流量的读写访问

图片处理:支持缩略、裁剪、水印、压缩和格式转换

按量付费:存储量、流量、请求次数付费

二、对象存储OSS的特点

OSS产品特点一:稳定

服务可用性不低于99.9%

规模自动扩展

数据三冗余备份,持久性99.999999999%

OSS产品特点二:低成本

OSS使用成本很低

内网地址访问免流量费

无需运维投入

OSS产品特点三:安全

结合云盾防DDos系统

多种安全认证机制

提供访问日志,有助于追查非法访问

OSS产品特点四:大规模、高性能

存储容量无限扩展

处理能力弹性增加

多线BGP网络,各运营商访问流畅

三、对象存储OSS的应用场景

OSS应用场景:

1、OSS适合作为应用程序的持久化存储

持久保存文件(附件、图片、视频)

RDS数据库MySQL

2、数据处理

图片处理:提供裁剪、旋转、水印、缩放

媒体转码:音视频格式转换

3、海量存储

管理音视频资源

网络摄像机直存

4、动静态资源分离

动态资源:数据库记录

静态资源:图片、附件、音视频资源的超低延时传输


四、对象存储OSS的计费模式

OSS费用构成(按量付费、包年包月)

存储费用:

标准存储类型

实际存储量

低频/归档存储类型

实际存储量

存储实际未满指定天数的存储容量

数据取回量

流量费用:

外网流出流量

CDN回源流出流量

跨区域复制流量

请求费用:

请求次数

数据处理费用:

图片处理

视频截帧


按量付费:

开通OSS后,默认付费方式

按小时时间

计费公式:实际资源使用量*每小时单价

包年包月:

以资源包的形式提供,超出部分按量付费

资源包类型:

存储包、下行流量包、回源流量包三种类型

地域资源包和全国通用资源包两大类

五、对象存储OSS的基本概念介绍

OSS产品概念

Bucket

同一用户、同一地域创建的存储空间不超过30个,名称全局唯一

存储空间一旦创建,名称、所处地域、存储类型不能修改

单个存储空间的容量不限制

Object

每个文件都是一个Object

文件大小限制

控制台最大不超过5G,断点续传方式

上传的文件大小不超过48.8TB

OSS支持上传同名文件,但会覆盖已有文件

AK(AccessKey ID & Secret)

用于标识用户,为访问OSS做签名验证

Endpoint(访问域名)

OSS对外服务的访问域名

HTTP RESTful API对外提供服务

访问不同地域的时候,需要不同的域名

同一地域下,内外网的Endpoint也是不同的

OSS数据组织结构


OSS与传统自建存储服务器对比


六、对象存储OSS访问的域名和数据中心

Bucket和数据中心的关系

Bucket是地域内作用的资源,可按照费用单价,请求来源分布,网络延迟

Bucket一旦创建完成,不可修改所属的数据中心

OSS支持Bucket级别的数据中心设置,不支持Object设置数据中心

Bucket访问域名

Bucket的三级域名(API GetService)

域名构成规则是:Bucket名字+.+EndPoint

EndPoint依据Bucket所在地域的不同,内外网访问方式的有所区别


Bucket内网访问

只有ECS实例可通过Bucket内网地址访问

ECS实例与Bucket在同一地域,如不在同一地域,需使用外网Bucket外网域名访问


Object访问地址构成规则

Bucket权限为公共读或公共读写时,Object的访问规则如下:

http://<bucket名字>.<endpoint>/<object名字>


访问Object

可直接将URL链接写入HTML中访问Object


七、对象存储OSS Bucket使用

Bucket说明:

Bucket是OSS上命名空间

Bucket名称在整个OSS服务中具有全局唯一性,不能修改

一个应用,例如图片,可以对应一个或多个Bucket中

一个用户在同一地域下最多可以创建30个Bucket,每个Bucket中存放的Object没有限制,存储容量没有限制

Bucket命名规则:

只能包括小写字母、数字或短横线

必须以小写字母或数字开头和结尾

长度必须在3-63字节之间

Bucket使用:

创建Bucket

设置Bucket权限

查看Bucket信息

删除Bucket信息

八、对象存储OSS Object的操作

Object说明:

Object是OSS存储数据的基本单元,也称为OSS的文件

Object由元信息(Object Meta),用户数据(Data),文件名(Key)组成,对象由存储空间内部唯一的Key来标识。

用户可根据自己的需要在元信息中存储一些自定义信息

根据不同的上传方式,Object的大小限制是不一样的,分片上传最大支持48.8TB的对象大小,其他的上传方式最大支持5GB

Object展现形式为文件或文件夹

Object命名规则:

使用UTF-8编码

长度必须在1-1023字节之间

不能以“/”或者“\”字符开头

区分大小写

OSS控制台可以上传小于5G的文件,大于5G通过SDK或者API分片上传

获取文件访问地址

Bucket或Object的读写权限为非私有,可以通过URL来访问该文件


Bucket或Object的读写权限为私有,OSS按照URL有效时间生成带签名字符串的URL


设置文件HTTP头

HTTP标准属性


用户自定义元数据(User Meta)

删除文件

单个删除,指定删除某个Object

批量删除,控制台批量删除一次最多可指定1000个Object

自动删除,使用生命周期管理来完成

碎片管理

碎片

碎片是使用分片上传模式,需要调用Compute Ultipart Upload将这些碎片组合成一个完整的Object

可通过控制台查看或删除产生的碎片

九、对象存储OSS自定义域名绑定

域名绑定说明:

OSS域名绑定CName,目前仅支持OSS及三级域名访问访问,即配置方式为Bucket_name.endpoint

OSS Bucket未绑定域名时,通过浏览器访问Object的URL,则为强制下载模式

绑定的域名提供工信部备案号

每个Bucket可以绑定20个域名

可通过域名TXT记录的方式验证域名所有权

osstest.acper.net

访问地址:


十、对象存储OSS防盗链设置

适用场景:为了减少存储于OSS数据被他人盗链而产生额外费用

防盗链设置:

OSS是按量收费的服务

OSS基于HTTP Header中的字段Referer的防盗链方法

每个Refer白名单使用换行符,支持通配符(*,?)

1、白名单为空

不会检查Referer字段是否为空

2、白名单不为空

设置了不允许Referer字段为空的规则,则只有Referer属于白名单的请求被允许

设置了允许Referer字段为空的规则,则Referer为空的请求和符合白名单的请求被允许,其他请求会被拒绝。如果使用浏览器直接访问,需设置Referer字段为空。

十一、对象存储OSS静态网站托管

适用场景:网站静态内容存储在OSS Bucket中

静态网站托管

OSS支持静态网站托管

通过控制台将存储空间配置成静态网站托管模式

支持索引和404默认页面

为空,则不启用静态网站托管

ACPER:http://osstest.acper.net/

十二、对象存储OSS的图片处理

图片服务特点:

海量、安全、低成本、高可靠的图片处理服务

调用简单:RESTful接口调用

不受时间、地点、设备的限制

随OSS服务一并开通

图片服务提供功能:

图片缩放、裁剪、旋转

添加图片,文字,图文混合水印

图片格式转换

自定义图片处理样式

通过管道顺序调用多种图片处理功能

获取图片信息

服务规则:


通过URL的形式(RESTful)

Bucket:用户的IMG频道

endpoint:用户的Bucket所在数据中心的访问域名

Object:用户操作图片的基本数据单元是Object

action:用户对图片的操作

parame:用户对图片操作对应的参数

多个action之间的组合形式

常用action列表:


图片服务概念:

样式

为了避免URL过长,action保存成别名,即样式style

URL方式访问


分隔符方式访问


分隔符支持-、_、/、!

十三、对象存储OSS的安全控制

数据安全:

三副本机制,盘古分布式文件系统,提供物理层面的高可靠性

安全控制:

OSS提供Bucket、Object级别的权限访问控制


防盗链:

OSS是按量付费服务

OSS基于HTTP Header中的字段Referer的防盗链方法

每个Referer白名单使用换行符,支持通配符(*、?)

服务器加密存储:

OSS支持在服务器端对用户上传的数据进行加密编码

数据上传,对数据进行加密编码

数据下载,对数据进行解密,下载

支持加密的操作包括:

Put Object:简单上传

Copy Object:复制Object

Initiate Multipart Upload:分片上传

客户端加密SDK:

SDK在本地进行数据加密

阿里云KMS托管用户主密钥,上传对象时指定KMS用户的主密钥ID

使用用户自主管理密钥,用户自主生成并保管加密密钥

AK方式加解密:

十四、对象存储OSS的API

OSS API使用:

使用RESTful接口,推荐使用SDK来调用

通过向OSS client类设定Endpoint,加入请求参数,系统返回结果

请求结构:

访问地址:EndPoint(oss-cn-hangzhou.aliyuncs.com)

返回的格式:数据格式只有XML格式

阿里云API网址:http://api.aliyun.com

OSS对象存储课程总结:

什么是OSS

OSS的特点

OSS的应用场景

OSS产品概念和收费模式

OSS的Bucket、Object、图片处理、域名绑定等内容

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 159,569评论 4 363
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,499评论 1 294
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 109,271评论 0 244
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 44,087评论 0 209
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,474评论 3 287
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,670评论 1 222
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,911评论 2 313
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,636评论 0 202
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,397评论 1 246
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,607评论 2 246
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,093评论 1 261
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,418评论 2 254
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,074评论 3 237
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,092评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,865评论 0 196
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,726评论 2 276
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,627评论 2 270

推荐阅读更多精彩内容