2016年11月30日 星期三

Amazon Web Service 技術介紹(二)

哈囉~ 大家好!!!

今天要跟各位繼續介紹 AWS 的第二部分「Storage & Content Delivery(儲存與內容交付)」,有玩過 AWS 的人都知道,僅次於 Instances 重要的服務就是 Storage,而這個儲存服務又以 S3(Amazon Simple Storage Service) 最為眾所皆知。

而這一節我們會介紹 Storage 的服務有下類這幾項:
  • Amazon Simple Storage Service (S3)
  • Amazon Glacier
  • Amazon Elastic Block Store (EBS)
  • AWS Storage Gateway
  • AWS Import/Export
  • Amazon CloudFront
以上這幾項都屬於儲存服務。接下來一樣先來張圖解大綱:


Step 1: 第二節「儲存與內容交付」


Step 2: AWS 儲存產品和服務

這節將會介紹以上這6個服務 "S3"、"Amazon Glacier"、"EBS"、"AWS Storage Gateway"、"AWS Import/Export"、"Amazon CloudFront"...等等。

Step 3: S3

其用途 or 優點如下:
(1)適用於網際網路的儲存空間
(2)原生於線上和HTTP存取
(3)可以從Web的任何位置、時間存取"任何量的資料"
(4)高延展性、可靠性、快速和耐用度

Step 4: S3 的概念 

(1)S3把資料以物件(Objects)的形式儲存在儲存桶(Buckets)
(2)物件是由檔案和描述資料(Metadata)一起組成
(3)每個帳號可以擁有達100個儲存桶
(4)可以控制存取擁有的儲存桶和桶內的物件

Step 5: S3 的儲存桶


(1)物件(Objects)存放在儲存桶(Buckets)
(2)物件可以直接經由URL存取
(3)擁有最高層級的 Amazon S3 命名位置
(4)辨識帳號-僅收取儲存和資料傳輸費用
(5)存取控制
(6)單位使用量彙整報告

Step 6: S3 的物件

什麼是物件(Objects)? 物件是存在 Amazon S3 最基本的單位體。
當用控制台時,可以當作是檔案。
而物件(Objects)是由資料(Data)和描述資料(Metadata)所組成。
Amazon S3看不到資料的內容,而描述資料(Metadata)是一組說明物件的名稱。
(1)預設描述資料是紀錄上一次資料的變更時間
(2)標準的 HTTP描述資料是紀錄資料內容型態
(3)客製化描述資料是紀錄存放物件時間
(4)金鑰是唯一識別在儲存桶裡的物件

Step 7: S3 物件的使用週期

使用週期管理的定義是 S3 如何在使用時間內管理物件的方法。有些物件存在儲存桶裡,或許有良好定義的使用週期:
(1)日誌檔案
(2)儲存文件
(3)儲存數位媒體
(4)儲存財務與健保紀錄
(5)原始基因序列資料
(6)長時間資料備份
(7)需要被監管遵守的保存資料(如:有法律效益的文件)

Step 8: S3 的收費方式

(1) 用多少就收多少
(2) 沒有限定低消
(3) 依 S3 儲存桶的所在地收費
(4) 可使用 AWS Simple Monthly Calculator(AWS簡易計算機) 估算月繳帳單

Step 9: S3 的實際情況

(1) 可以存放不限數量的物件在儲存桶中
(2) 每個物件容量可高達 5TB;但是儲存桶沒有容量限制
(3) 一年內耐用度可達 99.999999999%(11個9),物件可用度99.99%(4個9)
(4) 在 HTTP/S 的端點可以存取任何數量的資料、在任何的時間、任何Web上的位置
(5) 高擴充性、穩定性、快速和低收費
(6) 可選擇主機端用 AWS 直接加密或是由使用者管理用戶端加密
(7) 可存取日誌做稽核
(8) 提供標準 REST 和 SOAP 的介面

Step 10: Glacier

其用途 or 優點如下:
(1) 低成本的儲存裝置
(2) 提供安全、耐用的儲存空間給資料做備份和存放
(3) 優化不常使用的資料

Step 11: Glacier 的實際情況
 

(1) 可將營運管理和擴充檔案儲存交給 AWS,這可以更簡單的保存幾年或幾十年的資料
(2) 優化不常使用的資料,這也可以優化檢索時間
(3) Glacier 沒有限制儲存的資料容量
(4) 自動在主機端使用 AES 256 bit 對稱金鑰做加密
(5) 設計可提供平均儲存耐用度高達 99.999999999%(11的9)

Step 12: EBS

其用途 or 優點如下:
(1) 連續區塊級儲存裝置提供連續的容量以達到低延遲的效能
(2) 自動復原在自己的 AZ(可用區域)
(3) 可快照後並長期儲存到 S3

Step 13: EBS 的使用週期

大量的未使用空間 > 建立(呼叫 CreateVolume 1GB 到 16TB) > 連線(呼叫 AttachVolume 以連接一個EC2虛擬機) > 連線後使用中(1.從 EC2作業系統格式化 2.掛載已格式化好的磁碟) > 建立快照(快照到 S3) > 中斷連線(呼叫 DetachVolume) > 刪除(呼叫 DeleteVolume)

Step 14: EBS 的實際情況

(1) 有三種類型儲存磁區格式:一般型(SSD),儲備型 IOPS(SSD) 和 磁帶型(Magnetic)
(2) 可以用來建立 RAID 設定給主機使用
(3) 獨立儲存在虛擬機外的區塊式儲存空間
(4) 磁區塊作用跟未格式化給 Linux 或 Windows 主機的儲存裝置一樣
(5) 可用性有達 99.999%(5個9)
(6) 提供無縫式 AES-256 加密給 EBS資料容量和快照使用
(7) 當資料在 EC2 與 EBS之間的資料磁區移動時也會做加密
(8) 儲備型 IOPS(SSD) 磁區支援最大容量是 16TB和 2萬的 IOPS/磁區

Step 15: EBS 的使用案例

(1) 作業系統- 用在 boot/root 磁區及第2個磁區
(2) 資料庫- 可依效能需求做擴展
(3) 企業應用程式- 提供可靠的區塊式儲存空間給執行關鍵任務的應用程式
(4) 持續性業務- 使用 EBS快照功能做定期備份,以降低資料遺失風險和減少恢復時間

Step 16: EBS 的收費方式

依您所儲備的容量收費:
(1) 依所在區域收費
(2) AWS GovCloud(美國) 標價網頁
(3) 可線上檢視並計算標價

Step 17: EBS 最好的範例說明

(1) EBS 磁區都是在同一個AZ(可用區域)上
(2) 磁區內的資料可以在同一個AZ(可用區域)內多台主機間進行複製
例如 EBS磁區1都在AZ(可用區域)A內搬移資料,而EBS磁區2一樣都只在AZ(可用區域)B內做資料搬移

Step 18: EBS 與 S3 的比較


樣式:檔案系統(EBS);物件儲存(S3)
效能:非常快(EBS);快(S3)
備援:同一AZ中可跨主機(EBS);可跨設備或相同設備中可跨不同裝置(S3)
安全:EBS加密方式是對資料磁區與快照(EBS);對主機端做加密(S3)
存取 Internet:不可,但是如果掛載在主機上的FTP服務上可以(EBS);可以,但是需有登入權限且 ACL 必須設定成 world-readable(S3)
典型使用案例:同硬碟使用方法(EBS);用於寫入1次,讀取多次(S3)

Step 19: Storage Gateway

其用途 or 優點如下:
(1) 連接一個軟體設備環境到雲端的儲存裝置
(2) 在安全的機制下,上傳資料到AWS並提供合理的價格做備份和DR(災難復原)
(3) 可以鏡像部署資料到 EC2虛擬機上

Step 20: 架構圖

使用者 <-> 用戶端 <-> 應用程式主機 <iSCSI> 目標主機 <-> AWS(S3) or Local儲存設備

Step 21: Import/Export
其用途 or 優點如下:
(1) 可提供快速的存取功能,將大量資料搬進和移出 S3 or EBS
(2) 將傳輸的資料直接存取儲存裝置
(3) 使用 Amazon 高速內網做傳輸

Step 22: Import/Export 的支援

  • 可由 AWS Import/Export 匯入 S3
  • 可從 S3 匯出到 AWS Import/Export
  • 可由 AWS Import/Export 匯入 EBS
  • 可由 AWS Import/Export 匯入 Glacier

Step 23: CloudFront

其用途 or 優點如下:
(1) 簡單又平價的方式將內容發給使用者
(2) 低延遲且高速資料傳輸
(3) 可透過全球各地網路節點,交付包含動態、靜態、串流、互動式網站內容

Step 24: 更多儲存產品與服務

  • 是一種全權管理的儲存服務
  • 可以是隨時擴充檔案系統容量或效能的建議
  • 支援網路檔案系統協定第4版 (NFSv4)

Step 25: 隨堂測驗
Q:哪種 AWS 服務有支援網路應用程式卸載服務給固定資產、儲存使用者上傳的照片和影片到離線主機上? A:S3
Q:重要的應用程式和維運資料(如:日誌、用戶資料等等﹒﹒﹒)需要被永久備份保存的。要用哪種 AWS服務? A:Glacier
Q:哪種 AWS服務可以提供關聯式資料庫在 EC2上的日誌、檔案資料佔去 40GB及每個月有5%的成長? A:EBS
Q:您網路應用程式的固定資產- 及一些動態內容可以被做快取的。是要哪一 AWS服務可以支援? A:CloudFront

經過了這節漫長的說明,相信大家對於 AWS 關於 Storage 的服務、架構、或是要選擇哪種儲存服務做運用,都有了更深一層的認識。

就如同之前說過,AWS 所提供的 Cloud Service (雲端服務) 有很多,而要選對哪種服務才是真正需要而且比較經濟實惠的。這就必須要在做出抉擇之前,對 AWS 所提供的服務要先有一定程度的認識,才有辦法做出最正確的選擇。

有機會的話我們再慢慢對 AWS 其他的雲端服務做說明,這一節就先介紹到這裡,我們下次見~ Bye Bye!!!

~ See you ~

參考出處:
https://aws.amazon.com
©2016, Amazon Web Services, Inc. 或其附屬公司。保留所有權利。