Storage Gateway简介

AWS Storage Gateway 是一种具有无缝本地集成和优化数据传输的混合云存储方案。

你本地数据中心内的服务器可以通过 AWS Storage Gateway 连接访问 Amazon S3、Amazon Glacier、Amazon EBS 等 AWS 存储服务来进行备份、存档、灾难恢复、数据迁移等等。

事实上,AWS Storage Gateway 是一个安装在Vmware Esxi,Microsoft Hyper-V或者EC2上的虚拟机。并不是什么实体的设备。

(2018年9月份更新:现在AWS已经发布了基于实体硬件的AWS Storage Gateway,它是一个基于Dell EMC Poweredge R640的机架式服务器)

AWS Storage Gateway 使用哪种加密方式保护数据?

答:在任何类型的网关设备与 AWS 存储之间传输的所有数据均已使用 SSL 进行了加密。默认情况下,AWS Storage Gateway 存储在 S3 中的所有数据均已使用 Amazon S3 托管加密密钥 (SSE-S3) 在服务器端进行了加密。此外,您还可以选择配置不同的网关类型,以使用 AWS Key Management Service (KMS) 通过 Storage Gateway API 加密存储的数据。请参阅下文,按文件网关磁带网关卷网关了解有关 KMS 支持的具体信息。

通过 AWS Backup 能管理哪些 AWS Storage Gateway 类型?

答:您可以通过 AWS Backup 管理卷网关缓存和存储的卷模式的备份和保留策略。

我是否可以在私有的不可路由网络上部署 Storage Gateway? Storage Gateway 是否支持 AWS PrivateLink?

答:可以,如果该网络通过 DX 或 VPN 连接到您的 Amazon VPC,则可以在私有的不可路由网络上部署 Storage Gateway。Storage Gateway 流量将通过由 AWS PrivateLink 提供支持的 VPC 终端节点进行路由。AWS PrivateLink 是一种使用 VPC 中带有私有 IP 的弹性网络接口 (ENI) 来支持各 AWS 服务之间的私有连接的技术。要了解有关 PrivateLink 的更多信息,请参阅 PrivateLink 文档。要设置适用于 Storage Gateway 的 AWS PrivateLink,请访问适用于 Storage Gateway 的 AWS PrivateLink 文档。

文件网关支持哪些协议?

答:文件网关支持 Linux 客户端使用网络文件系统 (NFS) 版本 3 和 4.1 连接到网关,还支持 Windows 客户端使用服务器消息块 (SMB) 版本 2 和 3 连接到网关

能否使用文件网关将文件写入 EFS?

答:不可以。借助文件网关,您可以将文件作为对象写入 S3。

文件网关是否会执行数据缩减(重复数据删除或压缩)?

答:不会。文件在不进行修改的情况下以一对一的方式映射到存储桶中的对象,这使您可以直接访问 S3 中的数据,而不需要使用网关或部署额外软件来解除数据冻结。 文件网关采用分段上传和复制输入,因此只有已更改的数据才能上传到 S3 中,这可以减少数据传输量。该网关不会自动下载存储桶中的全部对象或所有数据,只会在 NFS 客户端明确访问数据时才会下载数据。

什么是 Storage Gateway 硬件设备?

答:AWS Storage Gateway 已作为硬件设备提供,将 Storage Gateway 软件预安装在了采用验证配置的 Dell EMC PowerEdge R640 服务器上。您可以通过 AWS 管理控制台或 API 管理该设备。

Storage Gateway 硬件设备是否支持 RAID?

答:符合。该硬件设备使用基于软件的 ZFS RAID,并提供针对存储驱动器故障的保护。提供 5TB 可用存储的基本设备可以容忍 1 个 SSD 出现故障,12TB 可用存储配置可以容忍 2 个 SSD 出现故障。

是否可以将文件网关与 Amazon S3 Transfer Acceleration 配合使用?

答:即使为存储桶配置 S3 Transfer Acceleration,文件网关也不会使用加速的终端节点。

使用 AWS Storage Gateway 如何计费?

答:我们将根据 3 个因素来计算 AWS Storage Gateway 的使用费:存储、请求和数据传输。有关详细的定价信息,请访问 AWS Storage Gateway 定价页面。

知识点

  • 文件网关(File Gateway):通过 NFS 连接直接访问存储在 Amazon S3 或者 Amazon Glacier上的文件,并且本地进行缓存
  • Volume Gateway:使用 iSCSI 作为本地磁盘连接到本地服务器上,让本地服务器可以访问到 Amazon S3 内的文件,其中,Volume Gateway 又分为以下两种
    • Stored Volumes:所有的数据都将保存到本地,但是会异步地将数据备份到AWS S3上
    • Cached Volumes:所有的数据都会保存到S3,但是会将最经常访问的数据缓存到本地
  • Tape Gateway:用来取代传统的磁带备份,通过 Tape Gateway 可以使用NetBackup,Backup Exec或Veeam 等备份软件将文件备份到 Amazon S3 或者 Amazon Glacier 上
  • AWS Storage Gateway 支持三种存储接口:文件、卷和磁带

扩展阅读:AWS Storage Gateway 常见问题

To be continue……

Snowball简介

Snowball 是一种 PB 级数据传输解决方案,旨在使用安全设备将大量数据传入和传出亚马逊 AWS。

很多公司在上云的过程中会需要把数据从传统的数据中心迁移到AWS的数据中心去,但是对于拥有海量数据的公司来说,这会是一个不小的挑战。即使使用 AWS DirectConnect (DX) 的 1Gbps 专线来传输数据,对于 PB 级别的数据来说也需要花费很长的一段时间。

在过去,AWS 提供了一种数据导入/导出服务,叫做 AWS Import/Export Disk。基本上是 AWS 会寄一些磁盘给到客户,客户手动将数据导入到磁盘,然后将磁盘寄回给 AWS。

但是磁盘的容量有限,并且不容易管理,也容易损坏数据,因此现在这种方式已经不用了。取而代之的是更安全,更高性价比的 AWS Snowball 服务。

AWS Snowball

通过使用 Snowball 服务,你可以将 PB 级别的分析数据、基因组数据、视频库等数据简单地、快速地、安全地传送到 AWS 的数据中心去,并且花费低至使用高速互联网的五分之一。

事实上,Snowball 是一个重21公斤的大盒子,里面配置了16核的 CPU 和 16G 的内存,并且有RJ45,SFP+ 网络接口,最高支持 10Gbps 网络。(这一行内容考试并不需要,了解即可)

Snowball 还内嵌了一个 Amazon Kindle 电子墨水屏来显示信息。

Snowball 还有如下特性:

  • 可以在本地数据中心和 Amazon S3 之间进行数据的导入和导出
  • 支持 50TB 的容量版本以及 80TB 的容量版本,可以同时使用多个 Snowball 并行传输数据。
  • 外设使用了防篡改外壳,支持 AES-256 加密和行业标准的可信平台模块 (TPM)

使用 AWS Snowball,你需要到 AWS 管理控制台申请,AWS 会邮寄一个物理 Snowball 给你,然后你需要通过以太网和客户端软件把数据从本地传输到 Snowball上,最后将 Snowball 邮寄给 AWS 即可。AWS 会负责将 Snowball 内的数据导入到你所需要的 S3 存储桶上。

Snowball Edge

Snowball Edge 实际上和标准版的 Snowball 很类似,只是它还另外提供了计算的功能。它除了能提供 100TB 的数据传输能力外,还有 AWS Lambda 的计算能力。

功能包括:

  • 支持 100 TB 的存储容量,是原始 Snowball 的两倍
  • 能编写 Lambda 函数并在创建 Snowball Edge 设备任务的时候将其与 S3 存储桶关联起来
  • 还配有一个板载的 LCD 显示屏
  • 其他的特性与原始的 Snowball 一样

Snowball Mobile

AWS Snowmobile 是一种用于将海量数据移动到 AWS 中的 EB 级数据传输服务。

实际上,没错,它就是一辆拖着集装箱的大卡车……而且这辆大卡车竟然还拉到了 AWS re:Invent 2016 的会场上。

AWS Snowmobile 可以提供高达 100PB 的数据传输,让超级海量数据传输更快、更安全和更经济。

它的基本特性与原始的 Snowball 类似。

使用案例

云迁移

如果您有大量需要迁移至 AWS 的数据,Snowball 通常比通过 Internet 传输数据更快并且性价比更高。

灾难恢复

如果您需要快速检索存储在 Amazon S3 中的大量数据,Snowball 设备可以比高速 Internet 更快地检索数据。

数据中心停用

安全删除数据中心需要执行许多步骤,以便确保有价值的数据不会丢失。Snowball 有助于确保数据在传输至 AWS 的过程中即安全又节省成本。

内容分配

如果您要定期接收或需要与客户、消费者或业务伙伴共享大量数据,请使用 Snowball 设备。Snowball 设备可以直接从 AWS 运送至客户或消费者所在位置。

何时使用 Snowball

如果您需要更加安全快速地将数 TB 到数 PB 数据传输到 AWS,那么 Snowball 是数据传输的一个有效选择。如果您不希望对网络基础设施进行昂贵的升级、您经常遇到大量数据积压的情况、您在物理隔绝环境下工作,或者您所在的区域没有高速 Internet 连接或这种高速连接的成本过高,Snowball 同样是正确的选择。

根据以往的经验,如果使用现有 Internet 连接的空闲容量将数据上传到 AWS 需时超过一周,则您应考虑使用 Snowball。例如,根据下表中的指南,如果您有 100Mb 的连接可完全用于传输数据,并且有 100TB 的数据需要传输,那么使用该连接完成数据传输所需的时间会超过 100 天。而使用多台 Snowball 进行同样的传输,仅需一周左右。 

可用的 Internet 连接在 80% 网络使用率时传输 100TB 数据理论上所需最短天数何时考虑使用 AWS Snowball?
T3 (44.736Mbps)269 天2TB 或以上
100Mbps120 天
5TB 或以上
1000Mbps12 天
60TB 或以上

发表评论

此站点使用Akismet来减少垃圾评论。了解我们如何处理您的评论数据