雲計算基礎-0

記錄學習雲計算的筆記,主要是學習阿里雲上的幾個主要雲產品

基礎

雲分類

  • 共有云:所有人都可以訪問的
  • 私有云:私人使用的(通過內網實現)
  • 混合云:公有雲和私有雲混合使用(不重要的數據放公有雲,重要數據放私有雲,中間通過隧道技術連接)
    image

雲計算的服務模式

image

  • IAAS:只提供單個基礎設備,比如買一個雲服務器(裸機)
  • PAAS:提供基礎設備並帶一些服務,比如買一台雲服務器(帶有LANM環境)
  • SAAS:直接提供現成的軟件,比如office在線編輯
    image

雲計算的發展

image
image

CDN

image
用於內容緩存,節點越多,用戶在線訪問視頻,圖片時加載/播放的就越快。

阿里雲

image
(1)灰色部分,提供基礎服務的軟件,整體叫做「飛天雲平台」,每個模塊軟件是獨立的。
image
image
image
(1)統一的運維平台,統一的大數據威脅分析平台等
image

ECS(雲服務器)

image
(1)ECS是一種IAAS服務,即只提供雲服務器。
(2)主要特點:即開即用、彈性伸縮
(3)一台雲服務器實例等同於一台虛擬機,包含CPU、內存、OS、網絡、磁盤等基礎組件。

ECS和「飛天」雲平台的關係:
image
ECS構建在飛天之上,其單機虛擬化通過XEN/KVM實現,存儲依賴於盤古分佈式文件系統。

雲盤

(1)本地盤:ECS是一台虛擬機,位於某一個物理主機上,若該ECS所配備的磁盤來自所在物理主機的磁盤,那就是本地盤。

(2)雲盤:磁盤空間來自盤古分佈式文件系統。
image

盤古分佈式文件系統:三副本策略

優:容量大,可靠性高;可任意掛載到不同實例上
劣:速度不如本地盤,性能略差

如何在ECS上增加新的雲盤?
(1)購買
(2)設置中掛載
(3)手動掛載

#查詢ECS中的磁盤信息
fdisk -l
#進入掛載
fdisk /磁盤位置
輸入:n
創建擴展分區:e
分區大小:1-end
輸入:n
創建邏輯分區:l
分區大小:1-end
保存即可

#格式化分區
mkfs.ext3  /邏輯分區位置

#查看當前磁盤的掛載情況
df -h

#將分區掛載到對應文件夾
mount /邏輯分區位置   /掛載文件夾位置

雲盤如何卸載?
(1)設置中卸載雲盤
卸載後雲盤的數據和分區都還在,可以掛載到同一個可用區的任意ECS上。
如果要重新使用,需要重新掛載(mount)

安全組

  • 就是一個虛擬的防火牆,可以配置出入規則
  • 是可以跨區域的

image

網絡

(1)經典網絡

  • 統一部署和管理

(2)專有網絡(VPC)

  • VPC之間邏輯上獨立【隔離】
  • 可以自定義VPC的拓撲和IP地址
  • 在混合雲中使用

每個VPC至少由一個路由器、一個私網網段、一個交換機組成

image

VPC如何連接公網?
image
(1)ECS固定公網IP
(2)彈性公網IP(EIP)
只能用於一台VPC ECS實例與公網通信。
(3)NAT網關
可以用於多台VPC ECS實例和公網通信。
(4)負載均衡

image

VPC與VPC之間如何通信?
利用VPN網關
image

VPN網關?

  • 是外接連接VPN的接口。
  • 基於Internet的網絡連接服務,通過加密通道的方式實現企業數據中心、企業辦公網絡或者Internet終端與VPC安全可靠的連接,提供IPsec-VPN連接和SSL-VPN連接。
  • 具有公網IP地址

image
image

API

支持HTTP或HTTPS網絡請求協議,允許GET和POST方法。
調用方法:
(1)CLI:專有命令行,需要配置
(2)OpenAPI Explorer:圖形化界面操作

安全組

安全組不開放訪問端口,並不表示ECS沒有開啟該服務,安全組只是起了隔離的作用。

SLB(負載均衡)

在服務器前端面對用戶,用戶所有的訪問請求都先到到達SLB,然後由SLB將用戶流量轉發給後端的服務器,達到橫向擴展系統的作用。

特點:
image

作用:
(1)用於高訪問量的業務
image
(2)擴展應用程序
(3)消除單點故障
image
image
跨地域冗災:需要使用DNS

原理:
一個負載均衡實例是運行以惡搞負載均衡服務,要使用負載均衡服務,必須創建一個負載均衡實例,並至少添加一個監聽和兩台ECS實例。
監聽用來檢查客戶端請求並將請求轉發給後段ECS,監聽也會對後端ECS進行健康檢查。
image
這裡SLB後端的ECS數量是不限制的。

概念總結:
image

實現:
SLB架構是採用集群部署,提供四層(TCP協議和UDP協議)和七層(HTTP和HTTPS協議)的負載均衡。
image

入網流量走向:
image
TCP/UDP協議和HTTP/HTTPS協議的流量都需要經過LVS集群進行轉發。
LVS集群內的每台ECS均勻分配海量訪問請求,並且每台ECS之間都有會話同步策略,以保證高可用。

高可用:
數據同步備份,實現避免出現單點故障。
image

流量:
image

總結

(1)LSB支持的協議
四層(TCP協議和UDP協議)和七層(HTTP和HTTPS協議)
(2)可以自定義端口
(3)避免LSB本身故障導致的單點問題
創建多個LSB實例,痛毆DNS輪詢的方式對外提供服務,從而提高LSB的可用性。
(4)不限制支持ECS數量
(5)後端ECS不需要公網貸款么?
(6)一個LSB,配合一組ECS,可以搭建多個網站同時運行
(7)不同OS的ECS可以作LSB
(8)LSB後端多個ECS同步:需第三方工具,如RSYNC
(9)不同地域的ECS不能使用一個LSB
(10)LSB的策略:輪訓、加權輪訓,加權最小連接數和一次性hash調度算法
(11)ECS權重一樣,但實際負載不同:考慮是否開啟了會話保持(會話保持會將一個客戶端的請求轉發到後端一台ECS上)

操作

image

RDS(雲數據庫-結構化數據)

基於飛天雲平台和SSD盤高性能存儲的。

使用場景:
(1)開放搜索
對結構化的數據進行快速搜索。
OpenSearch可將RDS中的數據自動同步到OpenSearch實現各類複雜的搜索。
image
(2)數據多樣化存儲
image
(3)數據異地容災
將本地數據庫同步到RDS上,實現異地容災
image
(4)讀寫分離
增加只讀實例
image
(5)大數據分析
RDS支持大數據分析,但並不在RDS上進行大數據分析。
image

RDS架構:
image

RDS支持的數據庫類型:
image

基本概念

1、RDS實例
(1)實例是關係型數據庫的運行環境
(2)各實例間相互獨立,資源隔離,相互之間不存在CPU,內存等資源搶佔問題
(3)同一個實例中的不同數據庫之間時資源共享的
(4)RDS實例目前支持最大內存時48G,最大磁盤容量是6T
(5)一個賬號可以創建多個實例
2、RDS數據庫
(1)是用戶在一個實例下創建的邏輯單元
(2)一個實例可以創建多個數據庫,且命名唯一
(3)最多可以創建500個Mysql數據庫實例
3、RDS數據庫賬戶
(1)每個數據庫賬號可以用於多個數據庫
(2)每個數據庫的讀寫權限可以被分配給很多數據庫賬號
4、只讀實例
(1)只接受讀請求的實例,如電商系統
(2)數據與主實例一致
(3)從備實例複製數據
(4)主實例的數據更新會在主實例做完後,立即自動同步到所有隻讀實例中
(5)可以在只讀實例上設置只讀實例延遲
(6)只讀實例創建並設置讀取權重後就會持續提供服務
(7)備實例和災備實例在主實例正常運行時都不會提供服務
image

RDS版本:
image

RDS安全性:
RDS提供了多樣化的安全加固功能保障數據,體現在網絡、存儲和容災上:
image
抗網絡攻擊:
(1)SQL注入
開通雲安全中心日誌分析、RDS SQL審計日誌
(2)DDOS攻擊
進行流量清洗
訪問控制:
(1)創建普通數據庫賬號
對數據庫只讀、讀寫等操作
(2)創建高權限數據庫賬號
細力度控制,對錶、視圖,字段等操作

性能優化

影響因素:
SQL查詢速度

  • 網絡
  • 磁盤IO
  • 硬件
  • 數據庫版本等

性能檢測工具:

  • 慢SQL統計及優化建議
  • SQL運行報告

RDS性能優化工具:

  • Fast Query Cache:查詢緩存,提高查詢性能
  • Binlog in Redo:減少磁盤操作
  • Statement Queue:減少衝突的開銷

數據備份和恢復

  • 數據平時必須備份
  • 每個RDS實例可以創建一個臨時實例,繼承備份點的賬號和密碼,創建成功後,48h內有效。

OSS(雲存儲-非結構化數據)

對象存儲(Object Storage Service),適合存儲大量不同大小、格式的非結構化數據,比如:視頻、音頻、圖像、文本、日誌等。對文件數量不限制,單個文件大小為48.8T以內
因為OSS中的文件上傳方式有Put和Multipart方式:

  • Put上傳單個文件大小最大5G
  • Multipart,最大支持10000塊,每個塊上傳按put方式上傳,故\(10000*5G=48.8T\)

基本概念

存儲類型:
1、標準存儲
頻繁訪問、實時訪問
2、低頻存儲
不經常訪問,實時訪問
3、歸檔存儲
長期保存,需要先解凍後再讀區。

對象/文件:
OSS存儲的基本單元,包括:
1、Data
數據本身
2、Object Mata
鍵值對,表示對象的一些屬性(大小、上傳時間、修改時間等)
3、Key
對象在存儲空間中的唯一標識
存儲空間(Bucket):
用於存儲對象的容器
容器名字唯一
數量有限(最多10個)
image

如何訪問?
image

應用場景:
image
image
image
image
image

如何上傳?
1、流式寫入
上傳字符串、位元組數組、網絡流、文件流
2、文件寫入
上傳本地文件

基於的平台和技術:
image

如何保證安全?
image

功能特性

1、數據處理功能
比如:圖片處理、視頻截幀,文檔預覽,人臉識別等
image
2、交互性
自然對接Hadoop生態
image
3、接口訪問
API、控制台、SDK、命令化、圖形界面
image
4、可擴展
自動彈性伸縮,實現「無限」存儲
image

下面給出一個綜合案例:
image

Tags: