廬山真面目之七微服務架構Consul集群、Ocelot網關集群和IdentityServer4版本實現
廬山真面目之七微服務架構Consul集群、Ocelot網關集群和IdentityServer4版本實現
一、簡介
在上一篇文章《廬山真面目之六微服務架構Consul集群、Ocelot網關集群和Nginx版本實現》中,我們已經探討了如何搭建基於Consul服務集群和Ocelot網關集群的微服務架構。乍這麼一看,好像還是挺完整和完美的了,真的像我們想像的那樣嗎?當然沒有了,只不過是解決了那篇文章需要解決的問題。畢竟我們每篇文章只會解決一個問題,之所以這樣做,是因為這樣做,大家才會更能理解每篇文章的技術要點。如果我們把所有的東西都放在一篇文章里,太多了,不利於學習和查看。今天我們要解決什麼問題呢?我也不賣關子了,那就是認證和授權的問題。我們現在的所有集群的服務都是敞開大門、對外開放,誰想訪問誰訪問,誰想怎麼干就怎麼干,沒有任何的安全措施,我們好像在互聯網上裸奔一樣,雖然「裸奔」很容易出名,但是我們不需要這樣,開個玩笑。
1、說明
看過以前文章的朋友,今天會覺得文章的順序改了一下,主要是便於大家理解,希望開發順序和思維順序一致。從今天開始,我們文章的項目建設順序重新調整一下,怕有些人不知道先後,自己做測試的時候回出錯。在此特別聲明:如果是高手的話,這些東西相對於您來說,肯定是微不足道,請您口下留德,再者說,這些文章是為沒有相關基礎的人寫的,不要抬杠了,如果有高見,也希望不靈賜教。特別說明,這裡的所有代碼都經過測試,所以大家可以放心使用。
2、開發環境
以下就是開發環境,不用多說,都很簡單,一看就知道。
(1)、開發工具:Visual
Studio 2019
(2)、開發語言:C#
(3)、開發平台:Net
Core3.1,跨平台。
(4)、服務註冊:Consul集群,服務註冊、發現中心
(5)、服務治理:Ocelot集群,負載均衡、服務治理
(6)、網關服務:Nginx 服務組件,一個負載Consul服務,一個負載Ocelot網關。
(7)、操作系統:Windows
10,64bit。
(8)、鑒權授權:IdentityServer4
3、我們的目標
今天我們的目標是,在Windows系統上實現基於Consul集群、Ocelot集群和IdentityServer4鑒權、授權的微服務架構,這樣就可以解決服務實例裸跑在互聯網上,被別人攻擊就不好了,畢竟,安全第一。從實際項目來說,系統的服務並不是向所有人開放的,有些需要授權才可以訪問,有些就不需要了。當然這個肯定不是最終版本,我們還會繼續演化下去。
目標框架如圖:
二、搭建微服務測試項目。
我們要想搭建微服務架構,第一步,我們當然要搭建我們自己的測試項目了,代碼都很簡單,主要是為了突出各個開源技術點。這是基礎中的基礎,沒有這一步,其他的都是空中樓閣,沒有說服力了。廢話少說,我們開始吧。
1、建立測試項目,並編寫各個項目的所需代碼。
(1)、PatrickLiu.MicroService.Client(ASP.NET CORE
MVC),客戶端項目。
該項目模仿客戶端程序,當然可以是你願意的任何客戶端程序,別抬杠,我這裡只是一個簡單的MVC項目,通過地址訪問微服務。
樣例代碼:
1 using System; 2 using System.Collections.Generic; 3 using System.Linq; 4 using System.Net.Http; 5 using Consul; 6 using Microsoft.AspNetCore.Mvc; 7 using Microsoft.Extensions.Logging; 8 using PatrickLiu.MicroService.Interfaces; 9 using PatrickLiu.MicroService.Models; 10 11 namespace PatrickLiu.MicroService.Client.Controllers 12 { 13 public class HomeController : Controller 14 { 15 private readonly ILogger<HomeController> _logger; 16 private readonly IUserService _userService; 17 private static int index; 18 19 /// <summary> 20 /// 初始化該類型的新實例。 21 /// </summary> 22 /// <param name="logger">注入日誌對象。</param> 23 /// <param name="userService">注入用戶服務對象。</param> 24 public HomeController(ILogger<HomeController> logger, IUserService userService) 25 { 26 _logger = logger; 27 _userService = userService; 28 } 29 30 /// <summary> 31 /// 首頁。 32 /// </summary> 33 /// <returns></returns> 34 public IActionResult Index() 35 { 36 #region 通過 Nginx 網關訪問服務實例。 37 38 string url = "//localhost:6400/gate/users/all?Authentication=bearer eyJhbGciOiJSUzI1NiIsImtpZCI6IjE3RUI3Q0I1NjBDN0ExODgzOEZEQUJCQTg0NEE0MzU2IiwidHlwIjoiYXQrand0In0.eyJuYmYiOjE2MDc2NjkxNzUsImV4cCI6MTYwNzY3Mjc3NSwiaXNzIjoiaHR0cDovL2xvY2FsaG9zdDo3Mjk5IiwiYXVkIjoiVXNlckFwaSIsImNsaWVudF9pZCI6IlBhdHJpY2tMaXUuTWljcm9TZXJ2aWNlLkF1dGhlbnRpY2F0aW9uRGVtbyIsImNsaWVudF9yb2xlIjoiQWRtaW4iLCJjbGllbnRfbmlja25hbWUiOiJQYXRyaWNrTGl1IiwiY2xpZW50X2VNYWlsIjoiUGF0cmlja0xpdUBzaW5hLmNvbSIsImp0aSI6IkM0NTg5QTZBOTYyMkVCQzg5MzkxQ0Q2ODQyQ0NFN0MyIiwiaWF0IjoxNjA3NjY5MTc0LCJzY29wZSI6WyJVc2VyLkdldCJdfQ.XvNWAeVs9tN5e4Jx3o12FbsY74Vk_iWmynh9Ty8Es5Q_FYs2qGy_rAYz1VW-Mec5jh9Dz_i6WLXMG4A6a98ArRQP4ZWR-4V4CZFZdNofUW7H4JjYUIbhBBn4PHRgrRlu99jqXz34b6CqP5Rv8JgA-Yu1nDtdc1gR3OBN4t_bZaTbvaKp6Y_yS2UYC9VmRNWSS_7aELAvgvifaWmpJm55q5H4i0x-zCP-8yBMW_EHBTUfV6i5k0H71jlel-0wWOw6sijjPQMXdyDZyfg6-RJ2naOcGUItsY0LzDiNBRXoF_qDO0jFqq5-pPurwxaG8HnTx0AtcVEe2tpt2GoO_OJS6g"; 39 40 #endregion 41 42 string content = InvokeAPI(url); 43 this.ViewBag.Users = Newtonsoft.Json.JsonConvert.DeserializeObject<IEnumerable<User>>(content); 44 Console.WriteLine($"This is {url} Invoke."); 45 46 #endregion 47 48 return View(); 49 } 50 51 public IActionResult Privacy() 52 { 53 return View(); 54 } 55 56 /// <summary> 57 /// 封裝 HttpClient 實例,提供 Http 調用。 58 /// </summary> 59 /// <param name="url">http url 的地址。</param> 60 /// <returns>返回結束數據,格式:JSON。</returns> 61 public static string InvokeAPI(string url) 62 { 63 using (HttpClient client = new HttpClient()) 64 { 65 HttpRequestMessage message = new HttpRequestMessage(); 66 message.Method = HttpMethod.Get; 67 message.RequestUri = new Uri(url); 68 var result = client.SendAsync(message).Result; 69 string conent = result.Content.ReadAsStringAsync().Result; 70 return conent; 71 } 72 } 73 } 74 }
(2)、PatrickLiu.MicroService.Interfaces(NET CORE 類庫),定義服務接口,面向接口編程嘛,代碼很簡單,因為重點不是它。
樣例代碼:
1 using PatrickLiu.MicroService.Models; 2 using System.Collections.Generic; 3 4 namespace PatrickLiu.MicroService.Interfaces 5 { 6 /// <summary> 7 /// 用戶服務的接口定義。 8 /// </summary> 9 public interface IUserService 10 { 11 /// <summary> 12 /// 查找指定主鍵的用戶實例對象。 13 /// </summary> 14 /// <param name="id">用戶的主鍵。</param> 15 /// <returns>返回查找到的用戶實例對象。</returns> 16 User FindUser(int id); 17 18 /// <summary> 19 /// 獲取所有用戶的實例集合。 20 /// </summary> 21 /// <returns>返回所有的用戶實例。</returns> 22 IEnumerable<User> UserAll(); 23 } 24 }
(3)、PatrickLiu.MicroService.Models(NET CORE 類庫),定義實例類型,主要用於數據傳遞,代碼很簡單,因為重點不是它。
樣例代碼:
1 using System; 2 3 namespace PatrickLiu.MicroService.Models 4 { 5 /// <summary> 6 /// 用戶模型。 7 /// </summary> 8 public class User 9 { 10 /// <summary> 11 /// 獲取或者設置用戶主鍵。 12 /// </summary> 13 public int ID { get; set; } 14 15 /// <summary> 16 /// 獲取或者設置用戶姓名。 17 /// </summary> 18 public string Name { get; set; } 19 20 /// <summary> 21 /// 獲取或者設置用戶賬號名稱。 22 /// </summary> 23 public string Account { get; set; } 24 25 /// <summary> 26 /// 獲取或者設置用戶密碼。 27 /// </summary> 28 public string Password { get; set; } 29 30 /// <summary> 31 /// 獲取或者設置用戶的電子郵箱地址。 32 /// </summary> 33 public string Email { get; set; } 34 35 /// <summary> 36 /// 獲取或者設置用戶角色。 37 /// </summary> 38 public string Role { get; set; } 39 40 /// <summary> 41 /// 獲取或者設置用戶的登錄時間。 42 /// </summary> 43 public DateTime LoginTime { get; set; } 44 } 45 }
(4)、PatrickLiu.MicroService.Services(NET CORE 類庫),定義服務實現,我們有了接口,然後基於接口實現具體的服務,代碼很簡單,因為重點不是它。
樣例代碼:
1 using PatrickLiu.MicroService.Interfaces; 2 using PatrickLiu.MicroService.Models; 3 using System; 4 using System.Collections.Generic; 5 using System.Linq; 6 7 namespace PatrickLiu.MicroService.Services 8 { 9 /// <summary> 10 /// 實現用戶服務接口的實現類型。 11 /// </summary> 12 public class UserService : IUserService 13 { 14 private IList<User> dataList; 15 16 /// <summary> 17 /// 初始化類型的實例 18 /// </summary> 19 public UserService() 20 { 21 dataList = new List<User>() 22 { new User {ID=1,Name="黃飛鴻",Account="HuangFeiHong",Password="HuangFeiHong123456",Email="[email protected]", Role="Admin", LoginTime=DateTime.Now }, 23 new User {ID=2,Name="洪熙官",Account="HongXiGuan",Password="HongXiGuan54667",Email="[email protected]", Role="Admin", LoginTime=DateTime.Now.AddDays(-5) }, 24 new User {ID=3,Name="方世玉",Account="FangShiYu",Password="FangShiYu112233",Email="[email protected]", Role="Admin", LoginTime=DateTime.Now.AddDays(-30) }, 25 new User {ID=4,Name="苗翠花",Account="MiaoCuiHua",Password="MiaoCuiHua887766",Email="[email protected]", Role="Admin", LoginTime=DateTime.Now.AddDays(-90) }, 26 new User {ID=5,Name="嚴詠春",Account="YanYongChun",Password="YanYongChun09392",Email="[email protected]", Role="Admin", LoginTime=DateTime.Now.AddMinutes(-50) }}; 27 } 28 29 /// <summary> 30 /// 查找指定主鍵的用戶實例對象。 31 /// </summary> 32 /// <param name="id">用戶的主鍵。</param> 33 /// <returns>返回查找到的用戶實例對象。</returns> 34 public User FindUser(int id) 35 { 36 return dataList.FirstOrDefault(user => user.ID == id); 37 } 38 39 /// <summary> 40 /// 獲取所有用戶的實例集合。 41 /// </summary> 42 /// <returns>返回所有的用戶實例。</returns> 43 public IEnumerable<User> UserAll() 44 { 45 return dataList; 46 } 47 } 48 }
(5)、PatrickLiu.MicroService.ServiceInstance(ASP.NET CORE
WEBAPI),這個就是我們的服務,通過啟動多個實例,實現集群,代碼很簡單,因為重點不是它。
這個項目必須引入其他三個項目:
PatrickLiu.MicroService.Interfaces
PatrickLiu.MicroService.Models
PatrickLiu.MicroService.Services
【1】、安裝Consul服務組件,以支持註冊到Consul服務中心。
命令:Install-Package Consul
可以在項目菜單【依賴項】菜單上點擊右鍵,選擇【管理 NuGet 程序包】來安裝Consul服務。
【2】、HealthController.cs,主要用於Consul服務的健康檢查。
樣例代碼:
1 using System; 2 using Microsoft.AspNetCore.Mvc; 3 using Microsoft.Extensions.Configuration; 4 5 namespace PatrickLiu.MicroService.ServiceInstance.Controllers 6 { 7 /// <summary> 8 /// 健康檢查的控制器。 9 /// </summary> 10 [ApiController] 11 [Route("api/[controller]")] 12 public class HealthController : ControllerBase 13 { 14 private IConfiguration _configuration; 15 16 /// <summary> 17 /// 初始化該類型的新實例。 18 /// </summary> 19 /// <param name="configuration">配置接口。</param> 20 public HealthController(IConfiguration configuration) 21 { 22 _configuration = configuration; 23 } 24 25 /// <summary> 26 /// 要調用的接口。 27 /// </summary> 28 [HttpGet] 29 [Route("Index")] 30 public IActionResult Index() 31 { 32 Console.WriteLine($"This is HealhController {_configuration["port"]} Invoke"); 33 return Ok(); 34 } 35 } 36 }
【3】、UsersController.cs,主要是業務類型,內容很簡單。
樣例代碼:
1 using System; 2 using System.Collections.Generic; 3 using System.Linq; 4 using System.Threading; 5 using Microsoft.AspNetCore.Mvc; 6 using Microsoft.Extensions.Configuration; 7 using Microsoft.Extensions.Logging; 8 using PatrickLiu.MicroService.Interfaces; 9 using PatrickLiu.MicroService.Models; 10 11 namespace PatrickLiu.MicroService.ServiceInstance.Controllers 12 { 13 /// <summary> 14 /// 用戶的 API 類型。 15 /// </summary> 16 [Route("api/[controller]")] 17 [ApiController] 18 public class UsersController : ControllerBase 19 { 20 #region 私有字段 21 22 private readonly ILogger<UsersController> _logger; 23 private readonly IUserService _userService; 24 private IConfiguration _configuration; 25 26 #endregion 27 28 #region 構造函數 29 30 /// <summary> 31 /// 初始化該類型的新實例。 32 /// </summary> 33 /// <param name="logger">日誌記錄器。</param> 34 /// <param name="userService">用戶服務接口。</param> 35 /// <param name="configuration">配置服務。</param> 36 public UsersController(ILogger<UsersController> logger, IUserService userService, IConfiguration configuration) 37 { 38 _logger = logger; 39 _userService = userService; 40 _configuration = configuration; 41 } 42 43 #endregion 44 45 #region 實例方法 46 47 /// <summary> 48 /// 獲取一條記錄 49 /// </summary> 50 /// <param name="id"></param> 51 /// <returns></returns> 52 [HttpGet] 53 [Route("Get")] 54 public User Get(int id) 55 { 56 return _userService.FindUser(id); 57 } 58 59 /// <summary> 60 /// 獲取所有記錄。 61 /// </summary> 62 /// <returns></returns> 63 [HttpGet] 64 [Route("All")] 65 //[Authorize] 66 public IEnumerable<User> Get() 67 { 68 Console.WriteLine($"This is UsersController {this._configuration["port"]} Invoke"); 69 70 return this._userService.UserAll().Select((user => new User 71 { 72 ID = user.ID, 73 Name = user.Name, 74 Account = user.Account, 75 Password = user.Password, 76 Email = user.Email, 77 Role = $"{this._configuration["ip"]}:{this._configuration["port"]}", 78 LoginTime = user.LoginTime 79 })); ; 80 } 81 82 /// <summary> 83 /// 超時處理 84 /// </summary> 85 /// <returns></returns> 86 [HttpGet] 87 [Route("Timeout")] 88 public IEnumerable<User> Timeout() 89 { 90 Console.WriteLine($"This is Timeout Start"); 91 //超時設置。 92 Thread.Sleep(3000); 93 94 Console.WriteLine($"This is Timeout End"); 95 96 return this._userService.UserAll().Select((user => new User 97 { 98 ID = user.ID, 99 Name = user.Name, 100 Account = user.Account, 101 Password = user.Password, 102 Email = user.Email, 103 Role = $"{this._configuration["ip"]}:{this._configuration["port"]}", 104 LoginTime = user.LoginTime 105 })); ; 106 } 107 108 #endregion 109 } 110 }
【4】、增加擴展類型:ConsulExtension.cs
1 using Consul; 2 using Microsoft.Extensions.Configuration; 3 using Microsoft.Extensions.Hosting; 4 using System; 5 6 namespace PatrickLiu.MicroService.ServiceInstance.Utilities 7 { 8 /// <summary> 9 /// Consul 靜態擴展類。 10 /// </summary> 11 public static class ConsulExtension 12 { 13 /// <summary> 14 ///類型初始化器,初始化 Consul 網址和數據中心。 15 /// </summary> 16 static ConsulExtension() 17 { 18 Uri = new Uri("//localhost:8500"); 19 DataCenter = "dc1"; 20 } 21 22 /// <summary> 23 /// 獲取或者設置 Consul 的網址。 24 /// </summary> 25 public static Uri Uri { get; set; } 26 27 /// <summary> 28 /// 獲取或者設置數據中心。 29 /// </summary> 30 public static string DataCenter { get; set; } 31 32 /// <summary> 33 /// 向 Consul 服務中心註冊服務實例。 34 /// </summary> 35 /// <param name="configuration">配置對象。</param> 36 /// <param name="consulServiceName">在 Consul 服務中心註冊的服務類別名稱,多個實例的 ID 可以屬於一個服務類別名稱。</param> 37 /// <param name="serviceID">服務實例的主鍵值,必須唯一。</param> 38 public static void ConsulRegist(this IConfiguration configuration,string consulServiceName, string serviceID) 39 { 40 if (string.IsNullOrEmpty(consulServiceName) || string.IsNullOrWhiteSpace(consulServiceName)) 41 { 42 throw new ArgumentNullException("consulServiceName is null"); 43 } 44 if (string.IsNullOrEmpty(serviceID) || string.IsNullOrWhiteSpace(serviceID)) 45 { 46 throw new ArgumentNullException("serviceID is null."); 47 } 48 49 using (ConsulClient client = new ConsulClient(config => 50 { 51 config.Address = Uri; 52 config.Datacenter = DataCenter; 53 })) 54 { 55 string ip = configuration["ip"]; 56 int port = int.Parse(configuration["port"]); 57 int weight = string.IsNullOrWhiteSpace(configuration["weight"]) ? 1 : int.Parse(configuration["weight"]); 58 59 client.Agent.ServiceRegister(new AgentServiceRegistration() 60 { 61 ID = serviceID, 62 Name = consulServiceName, 63 Address = ip, 64 Port = port, 65 Tags = new string[] { weight.ToString() }, 66 Check = new AgentServiceCheck() 67 { 68 Interval = TimeSpan.FromSeconds(12), 69 HTTP = $"//{ip}:{port}/API/Health/Index", 70 Timeout = TimeSpan.FromSeconds(5), 71 DeregisterCriticalServiceAfter = TimeSpan.FromSeconds(20) 72 } 73 }).Wait(); 74 Console.WriteLine($"註冊服務:{ip}:{port}--Weight:{weight}"); 75 }; 76 } 77 78 /// <summary> 79 /// 向 Consul 服務中心註銷服務實例。 80 /// </summary> 81 /// <param name="applicationLifetime">配置對象。</param> 82 /// <param name="serviceID">服務實例的主鍵值,必須唯一。</param> 83 public static void ConsulDown(this IHostApplicationLifetime applicationLifetime, string serviceID) 84 { 85 if (string.IsNullOrEmpty(serviceID) || string.IsNullOrWhiteSpace(serviceID)) 86 { 87 throw new ArgumentNullException("serviceID is null"); 88 } 89 applicationLifetime.ApplicationStopped.Register(() => 90 { 91 using (var consulClient = new ConsulClient(config => { config.Address = Uri; config.Datacenter = DataCenter; })) 92 { 93 Console.WriteLine("服務已經退出"); 94 consulClient.Agent.ServiceDeregister(serviceID); 95 } 96 }); 97 } 98 } 99 }
【5】、修改 Startup.cs 代碼。
1 using Consul; 2 using Microsoft.AspNetCore.Builder; 3 using Microsoft.AspNetCore.Hosting; 4 using Microsoft.Extensions.Configuration; 5 using Microsoft.Extensions.DependencyInjection; 6 using Microsoft.Extensions.Hosting; 7 using PatrickLiu.MicroService.Interfaces; 8 using PatrickLiu.MicroService.ServiceInstance.Utilities; 9 using PatrickLiu.MicroService.Services; 10 using System; 11 using System.Security.Policy; 12 13 namespace PatrickLiu.MicroService.ServiceInstance 14 { 15 /// <summary> 16 /// 應用程序啟動配置 17 /// </summary> 18 public class Startup 19 { 20 /// <summary> 21 /// 構造函數注入配置對象 22 /// </summary> 23 /// <param name="configuration">配置實例</param> 24 public Startup(IConfiguration configuration) 25 { 26 Configuration = configuration; 27 } 28 29 /// <summary> 30 /// 獲取配置實例。 31 /// </summary> 32 public IConfiguration Configuration { get; } 33 34 /// <summary> 35 /// 配置注入對象。 36 /// </summary> 37 /// <param name="services"></param> 38 public void ConfigureServices(IServiceCollection services) 39 { 40 services.AddControllers(); 41 services.AddSingleton<IUserService, UserService>(); 42 } 43 44 /// <summary> 45 /// 配置 HTTP 處理管道。 46 /// </summary> 47 /// <param name="app">應用程序對象。</param> 48 /// <param name="env">環境對象。</param> 49 /// <param name="applicationLifetime">應用程序生命周期的對象。</param> 50 public void Configure(IApplicationBuilder app, IWebHostEnvironment env,IHostApplicationLifetime applicationLifetime) 51 { 52 //其他無關代碼省略 53 54 #region Consul 註冊 55 56 string serviceID = $"Service:{Configuration["ip"]}:{Configuration["port"]}---{Guid.NewGuid()}"; 57 string consuleServiceName = "PatrickLiuService"; 58 59 //註冊服務。 60 Configuration.ConsulRegist(consuleServiceName,serviceID); 61 62 //註銷服務 63 applicationLifetime.ConsulDown(serviceID); 64 65 #endregion 66 } 67 } 68 }
【6】、修改 Program.cs 代碼,紅色標註代表增加的代碼。
1 using System.IO; 2 using Microsoft.AspNetCore.Hosting; 3 using Microsoft.Extensions.Configuration; 4 using Microsoft.Extensions.Hosting; 5 6 namespace PatrickLiu.MicroService.ServiceInstance 7 { 8 public class Program 9 { 10 public static void Main(string[] args) 11 { 12 new ConfigurationBuilder() 13 .SetBasePath(Directory.GetCurrentDirectory()) 14 .AddCommandLine(args)//支持命令行 15 .Build(); 16 17 CreateHostBuilder(args).Build().Run(); 18 } 19 20 public static IHostBuilder CreateHostBuilder(string[] args) => 21 Host.CreateDefaultBuilder(args) 22 .ConfigureWebHostDefaults(webBuilder => 23 { 24 webBuilder.UseStartup<Startup>(); 25 }); 26 } 27 }
(6)、PatrickLiu.MicroService.Gateway(ASP.NET CORE
WEBAPI),網關服務。
【1】、安裝Ocelot組件,可以實現針對服務管理工作,如:緩存等。
在【程序包管理器控制台】執行命令
命令:Install-Package
Ocelot
當然也可以在項目下的【依賴項】上點右鍵,點擊【管理NuGet程序包】菜單,在【瀏覽】項先安裝,輸入Ocelot,在右側安裝則可以。
【2】、安裝Ocelot.Provider.Consul組件,以實現Ocelot和Consul的組合。
在【程序包管理器控制台】執行命令。
命令:Install-Package
Ocelot.Provider.Consul
當然也可以在項目下的【依賴項】上點右鍵,點擊【管理NuGet程序包】菜單,在【瀏覽】項先安裝,輸入Ocelot.Provider.Consul,在右側安裝則可以。
【3】、配置Startup.cs文件。
1 using System; 2 using System.Collections.Generic; 3 using System.Linq; 4 using System.Threading.Tasks; 5 using IdentityServer4.AccessTokenValidation; 6 using Microsoft.AspNetCore.Builder; 7 using Microsoft.AspNetCore.Hosting; 8 using Microsoft.AspNetCore.HttpsPolicy; 9 using Microsoft.AspNetCore.Mvc; 10 using Microsoft.Extensions.Configuration; 11 using Microsoft.Extensions.DependencyInjection; 12 using Microsoft.Extensions.Hosting; 13 using Microsoft.Extensions.Logging; 14 using Ocelot.Cache; 15 using Ocelot.Cache.CacheManager; 16 using Ocelot.DependencyInjection; 17 using Ocelot.Middleware; 18 using Ocelot.Provider.Consul; 19 using Ocelot.Provider.Polly; 20 21 namespace PatrickLiu.MicroService.Gateway 22 { 23 /// <summary> 24 /// 1、Ocelot 提供網關功能 25 /// 2、Ocelot.Provider.Polly 提供服務治理 26 /// 3、Ocelot.Provider.Consul 提供服務發現 27 /// 4、Ocelot.Cache.CacheManager 提供緩存功能。 28 /// </summary> 29 public class Startup 30 { 31 /// <summary> 32 /// 構造函數注入 33 /// </summary> 34 /// <param name="configuration">配置對象那個</param> 35 public Startup(IConfiguration configuration) 36 { 37 Configuration = configuration; 38 } 39 40 /// <summary> 41 /// 獲取配置對象 42 /// </summary> 43 public IConfiguration Configuration { get; } 44 45 /// <summary> 46 /// 配置依賴注入的對象。 47 /// </summary> 48 /// <param name="services"></param> 49 public void ConfigureServices(IServiceCollection services) 50 { 51 #region 1、在網關中增加鑒權模塊 52 53 var authenticationProviderKey = "UserGatewayKey"; 54 services.AddAuthentication("Bearer") 55 .AddIdentityServerAuthentication(authenticationProviderKey, options => 56 { 57 options.Authority = "//localhost:7299"; 58 options.ApiName = "UserApi"; 59 options.RequireHttpsMetadata = false; 60 options.SupportedTokens = SupportedTokens.Both; 61 }); 62 63 #endregion 64 65 #region 2、配置網關、網關緩存和服務治理 66 67 services.AddOcelot()//使用 Ocelot 網關服務。 68 .AddConsul()//使用Consul 服務發現控制器。 69 .AddCacheManager(builer => builer.WithDictionaryHandle()) //使用 Ocelot 緩存服務 70 .AddPolly();//支持瞬態故障庫----超時、熔斷、限流、降級、雪崩效應等都可以做 71 72 #endregion 73 } 74 75 76 /// <summary> 77 /// 78 /// </summary> 79 /// <param name="app"></param> 80 /// <param name="env"></param> 81 public void Configure(IApplicationBuilder app, IWebHostEnvironment env) 82 { 83 app.UseOcelot();//配置使用 Ocelot 網關中間件。 84 } 85 } 86 }
【4】、增加JSON配置文件,文件名:configuration.json。
1 { 2 //************************************* Ocelot 網關 + 認證中心 + Consul 服務發現 ************************************* 3 "Routes": [ 4 { 5 "DownstreamPathTemplate": "/api/{url}", 6 "DownstreamScheme": "http", 7 "UpstreamPathTemplate": "/gate/{url}", 8 "UpstreamHttpMethod": [ "Get", "Post" ], 9 "UseServiceDiscovery": true, 10 "ServiceName": "PatrickLiuService", 11 "LoadBalancerOptions": { "Type": "RoundRobin" }, 12 //IdentityServer 4 認證中心 13 "AuthenticationOptions": { 14 "AuthenticationProviderKey": "UserGatewayKey", 15 "AllowedScops": [ "User.Get", "Health.Check" ] 16 } 17 } 18 ], 19 "GlobalConfiguration": { 20 "BaseUrl": "//localhost:6299", 21 "ServiceDiscoveryProvider": { 22 "Host": "localhost", 23 "Port": 8090, 24 "Type": "Consul", 25 "PollingInterval": 1000,//輪訓 Consul,頻率毫秒 26 "Token": "footoken"//需要ACL的話 27 } 28 } 29 }
【5】、修改
Program.cs 文件,使用上面增加的JSON配置文件。
樣例代碼:
1 using Microsoft.AspNetCore.Hosting; 2 using Microsoft.Extensions.Configuration; 3 using Microsoft.Extensions.Hosting; 4 5 namespace PatrickLiu.MicroService.Gateway 6 { 7 public class Program 8 { 9 public static void Main(string[] args) 10 { 11 CreateHostBuilder(args).Build().Run(); 12 } 13 14 public static IHostBuilder CreateHostBuilder(string[] args) => 15 Host.CreateDefaultBuilder(args) 16 .ConfigureAppConfiguration(config => 17 { 18 config.AddJsonFile("configuration.json",optional:false,reloadOnChange:true); 19 }) 20 .ConfigureWebHostDefaults(webBuilder => 21 { 22 webBuilder.UseStartup<Startup>(); 23 }); 24 } 25 }
(7)、PatrickLiu.MicroService.AuthenticationCenter(ASP.NET CORE
WEBAPI),鑒權、授權中心,也可以稱「認證服務器」。
【1】、要想認證,必須安裝IdentityServer4。
命令:Install-Package IdentityServer4
當然也可以在項目下的【依賴項】上點右鍵,點擊【管理NuGet程序包】菜單,在【瀏覽】項先安裝,輸入IdentityServer4,在右側安裝則可以。
【2】、修改 Startup.cs文件。
【3】、增加一個類型 ClientInitConfig.cs文件。
代碼樣例:
1 using IdentityServer4.Models; 2 using System.Collections.Generic; 3 4 namespace PatrickLiu.MicroService.AuthenticationCenter 5 { 6 /// <summary> 7 /// 自定義的配置文件。 8 /// </summary> 9 public class ClientInitConfig 10 { 11 /// <summary> 12 /// 獲取資源的使用範圍。 13 /// </summary> 14 /// <returns></returns> 15 public static IEnumerable<ApiScope> GetApiScopes() 16 { 17 return new List<ApiScope> 18 { 19 //User API 20 new ApiScope(name: "User.Get", displayName: "獲取用戶數據"), 21 22 // Health API 23 new ApiScope(name: "Health.Check", displayName: "健康檢查."), 24 }; 25 } 26 27 /// <summary> 28 /// 獲取能訪問的資源。 29 /// </summary> 30 /// <returns></returns> 31 public static IEnumerable<ApiResource> GetApiResources() 32 { 33 return new List<ApiResource> 34 { 35 new ApiResource("UserApi","Invoice API") 36 { 37 Scopes={ "User.Get", "Health.Check" } 38 } 39 }; 40 } 41 42 43 /// <summary> 44 /// 客戶端的認證條件。 45 /// </summary> 46 /// <returns></returns> 47 public static IEnumerable<Client> GetClients() 48 { 49 return new List<Client> { 50 new Client{ 51 ClientId="PatrickLiu.MicroService.AuthenticationDemo", 52 ClientSecrets={new Secret("PatrickLiu123456".Sha256()) }, 53 AllowedGrantTypes=GrantTypes.ClientCredentials, 54 AllowedScopes=new[]{ "User.Get", "Health.Check" }, 55 Claims=new List<ClientClaim>(){ 56 new ClientClaim(IdentityModel.JwtClaimTypes.Role,"Admin"), 57 new ClientClaim(IdentityModel.JwtClaimTypes.NickName,"PatrickLiu"), 58 new ClientClaim("eMail","[email protected]") 59 } 60 } 61 }; 62 } 63 } 64 }
2、編譯【PatrickLiu.MicroService.ServiceInstance】項目,發佈4個服務實例,獨立進程承載,形成服務集群。
再次提醒大家,在開始啟動這4個服務實例之前,必須啟動Consul服務中心。
(1)、dotnet
PatrickLiu.MicroService.ServiceInstance.dll –urls=”//*:5726″
–ip=”127.0.0.1″ –port=5726
健康檢查如圖:
(2)、dotnet
PatrickLiu.MicroService.ServiceInstance.dll –urls=”//*:5727″
–ip=”127.0.0.1″ –port=5727
健康檢查如圖:
(3)、dotnet
PatrickLiu.MicroService.ServiceInstance.dll –urls=”//*:5728″
–ip=”127.0.0.1″ –port=5728
健康檢查如圖:
(4)、dotnet
PatrickLiu.MicroService.ServiceInstance.dll –urls=”//*:5729″
–ip=”127.0.0.1″ –port=5729
健康檢查如圖:
以上是我們成功啟動了4個服務實例,並且在Consul
服務中心註冊成功,也可以執行健康檢查,功能基本完善了。讓我們看看4個服務實例在Consul中心的樣子吧。
詳情頁
3、編譯【PatrickLiu.MicroService.AuthenticationCenter】項目,發佈鑒權、授權中心實例,獨立進程承載,形成服務集群。
(1)、啟動鑒權、授權中心服務實例(如果提示「以一種訪問權限不允許的方式做了一個訪問套接字的嘗試」錯誤,請先把項目清理一下,然後再重新生成,或者 –urls 參數要增加雙引號,啟動實例就可以)。
命令:dotnet PatrickLiu.MicroService.AuthenticationCenter.dll
–urls=”//*: 7299″ –port=7299
(2)、通過PostMan工具獲取Token 數據,畫紅框的要特別注意。
訪問地址:Http://localhost:7299/connect/token
(3)、基於Jwt.io網站驗證Token數據。
訪問地址://jwt.io/
4、編譯【PatrickLiu.MicroService.Gateway】項目,發佈3個網關服務實例,獨立進程承載,形成服務集群。
(1)、啟動第一個網關實例(網關啟動之前,確保服務實例項目【PatrickLiu.MicroService.ServiceInstance】已啟動)。
命令:dotnet PatrickLiu.MicroService.Gateway.dll
–urls=//*:6297 –port=6297
(2)、啟動第二個網關實例(網關啟動之前,確保服務實例項目【PatrickLiu.MicroService.ServiceInstance】已啟動)。
命令:dotnet PatrickLiu.MicroService.Gateway.dll
–urls=//*:6298 –port=6298
(3)、啟動第三個網關實例(網關啟動之前,確保服務實例項目【PatrickLiu.MicroService.ServiceInstance】已啟動)。
命令:dotnet PatrickLiu.MicroService.Gateway.dll
–urls=//*:6299 –port=6299
(4)、驗證網關實例是否啟動成功(切記,網關已經增加認證功能,提交參數要增加認證參數「Authentication」,否則就會返回401,提示未授權。特別說明:測試使用PostMan,主要是方便,沒有使用客戶端的代碼)。
第一網關地址://localhost:6297/gate/users/all,能獲取到數據表示一切成功。
截圖如下:
刷新地址
第二網關地址://localhost:6298/gate/users/all,能獲取到數據表示一切成功。
截圖如下:
刷新地址
第三網關地址://localhost:6299/gate/users/all,能獲取到數據表示一切成功。
截圖如下:
刷新地址
(5)、配置Ocelot網關集群的Nginx服務。
具體的下載方法,參考上面或者上文
目錄地址:D:\Programs\MicroServices\CulsterOcelotNginx
配置信息:
(6)、驗證Ocelot網關集群的Nginx服務地址。
Nginx地址://localhost:6400/gate/users/all,能獲取到數據表示一切成功。
截圖如下:
刷新地址後
完美完成負載均衡和認證、授權,心裏有些小激動。說明:客戶端程序要訪問的地址就是這個地址://localhost:6400/gate/users/all
三、搭建Consul服務的集群。
在互聯網的環境下,任何服務組件都很難通過單打獨頭,獨立撐起一片天。隨着分佈式技術的發展和日益成熟,互聯網的項目也開始進行分佈式部署,或者是微服務架構部署。基於我們上一篇文章所介紹的,基於單點Consul搭建的微服務架構是有很大問題的。這種情況只是測試環境,不是真正的產品環境,如果我們想更接近產品環境,或者說,我們更接近真實環境,我們必須保證每個節點的高可用。
Consul 用 Golang 實現,因此具有天然可移植性(支持 Linux、windows 和 Mac OS X ),它的安裝包僅包含一個可執行文件,方便部署,與 Docker 等輕量級容器可無縫配合。
在這裡我們僅僅對Consul集群做簡單的介紹,具體的詳情可以自己去網上學習。Consul服務在Cluster集群上的每一個節點都運行一個Agent代理,這個Agent代理可以使用Server服務器或者Client客戶端模式。Client客戶端負責到Server服務器端的高效通信,相對為無狀態的。 Server服務器端負責:包括選舉領導節點,維護Cluster集群的狀態,對所有的查詢做出響應,跨數據中心的通信等等。
Agent代理可以運行在Server服務器模式或者Client客戶模式,每個數據中心至少有一個Agent代理運行在server服務器模式,一般建議是3或者5個Server。部署單個Server是非常不好的,因為在失敗場景中出現數據丟失是不可避免的。我們今天要3個服務器端和1個客戶端來完成我們今天的架構任務。
名詞解釋:
A、Client :Consul 的 Client模式,就是客戶端模式。是
Consul 節點的一種模式,這種模式下,所有註冊到當前節點的服務會被轉發到 Server,本身不具有持久化數據的功能。
B、Server :Consul 的 Server 模式,表明這個
Consul 是個 Server ,這種模式下,功能和 Client 都一樣,唯一不同的是,它會把所有的數據持久化的本地,這樣遇到故障,信息是可以被保留的。
C、Server-Leader:是所有服務器們的老大,它和其它
Server 不一樣的一點是,它需要負責同步註冊的信息給其它的 Server ,同時也要負責各個節點的健康監測。
D、Raft:Server 節點之間的數據一致性保證協議使用的是 raft,而
Zookeeper 用的
PAXOS,ETCD採用的也是Raft服務發現協議,Consul 採用 http 和 DNS 協議,ETCD 只支持 http 。
E、服務註冊:Consul 支持兩種方式實現服務註冊,一種是通過 Consul 的服務註冊API(Http協議),由服務自己調用 API 實現註冊;另一種方式是通過
JSON 格式的配置文件實現註冊,將需要註冊的服務以
JSON 格式的配置文件給出。Consul 官方建議使用第二種方式。
Consul文檔://www.consul.io/docs
Consul官網://www.consul.io
我們開始在此搭建我們的Consul服務集群,以便改善單節點Consul的情況。
1、我們開始現在Consul服務組件,存放在沒有包含中文的目錄里。
下載地址://www.consul.io/downloads
2、解壓文件,並存放在你指定的工作目錄。
工作目錄:D:\Programs\MicroServices\ConsulCluster\consul_1.8.4_windows
在這個目錄下邊,只有一個文件,consul.exe
3、開始啟動服務實例,3個服務器端,一個客戶端。
Consul其實不需要安裝,這裡所說的安裝,指的是配置Consul地址到環境變量中,這樣就可以在cmd命令框中直接執行命令了,避免切換目錄。如果自己不嫌麻煩,就不用配置環境變量,我就沒有配置(主要執行次數少),每次執行就直接進入目錄執行Consul文件,執行命令:consul.exe,也就是Consul的文件名。
參數解釋:
consul agent:命令頭,必須要有。
-server:表示要啟動服務器代理(agent)模式。Consul
Agent節點的運行模式有兩種,Server模式和Client模式。其區別就是Server模式數據可以持久化到本地,而Client模式不可以。
-ui:consul運行後,會提供一個//127.0.0.1:8500/ui/的網站,裏面存儲了Consul
Agent各個節點以及註冊的服務等相關信息,即數據中心的網頁形式體現。這個參數代表是否創建這個網站,這個參數與這個數據中心網站有關。
-bind:本機的IP地址,集群內其他代理服務器可以通過這個IP來訪問這台電腦的consul代理服務器。
-bootstrap-expect:是集群啟動條件,指當服務器端模式(Server模式)的代理達到這個數目後,才開始運行。
-data-dir:是存放數據中心數據的目錄,該目錄必須是穩定的,系統重啟後也繼續存在的。
-config-dir:是存放數據中心日誌的目錄,該目錄必須是穩定的,系統重啟後也繼續存在的。
-datacenter:當前Consul的中心數據的名稱,默認是dc1。
-node:節點在集群中的名稱,在一個集群中必須是唯一的,默認是該節點的主機名(代表一個機器)。
-client:本地IP地址,這裡使用
0.0.0.0 ,就表示這個服務器所有IP都可以,即當這台電腦有倆IP,192.168.1.100和192.168.1.111,那麼通過這倆IP都可以訪問到這台機器的consul代理服務器。
-join:表示當前的服務器節點或者是客戶端節點要加入集群的服務器,後面跟要加入的服務器的具體IP地址。
安裝完成後,Agent就可以啟動了,我們開始搭建我們Consul集群了。
(1)、創建Server-Leader,Consul集群中的領導者。
命令:consul
agent –server -ui -bootstrap-expect=3 -data-dir D:\Programs\MicroServices\ConsulCluster\consul_1.8.4_windows\ConsulData
-node=consul-Server1 –client=0.0.0.0 -bind=127.0.0.1 –datacenter=dc1 -config-dir
D:\Programs\MicroServices\ConsulCluster\consul_1.8.4_windows\ConsulData\config
配置:
當前路徑:D:\Programs\MicroServices\ConsulCluster\consul_1.8.4_windows\ConsulData\config
JSON配置:
效果:
(2)、創建Server-
Follower,Consul集群中的第一個追隨者
命令:consul agent
–server -ui -bootstrap-expect=3 -data-dir D:\Programs\MicroServices\ConsulCluster\consul_1.8.4_windows\ConsulData2
-node=consul-Server2 –client=0.0.0.0 -bind=127.0.0.1 -config-dir D:\Programs\MicroServices\ConsulCluster\consul_1.8.4_windows\ConsulData2\config
–datacenter=dc1 –join 127.0.0.1:8301
配置:
當前路徑:D:\Programs\MicroServices\ConsulCluster\consul_1.8.4_windows\ConsulData2\config
JSON配置:
效果:
成功加入第一個Consul服務所創建的集群
(3)、創建Server-
Follower,Consul集群中的第二個追隨者
命令:consul
agent –server -ui -bootstrap-expect=3 -data-dir D:\Programs\MicroServices\ConsulCluster\consul_1.8.4_windows\ConsulData3
-node=consul-Server3 –client=0.0.0.0 -bind=127.0.0.1 -config-dir D:\Programs\MicroServices\ConsulCluster\consul_1.8.4_windows\ConsulData3\config
–datacenter=dc1 –join 127.0.0.1:8301
配置:
當前路徑:D:\Programs\MicroServices\ConsulCluster\consul_1.8.4_windows\ConsulData3\config
JSON配置:
效果:
(4)、創建Consul-Client ,Consul集群中的客戶端。
命令:consul
agent -ui –client=0.0.0.0 –bind=127.0.0.1 -data-dir=D:\Programs\MicroServices\ConsulCluster\consul_1.8.4_windows\ConsulClient
-node=consul-Client -config-dir=D:\Programs\MicroServices\ConsulCluster\consul_1.8.4_windows\ConsulClient\config
–datacenter=dc1 -join 127.0.0.1:8301
配置:
當前路徑:D:\Programs\MicroServices\ConsulCluster\consul_1.8.4_windows\ConsulClient\config
JSON配置:
效果:
4、驗證3個服務器端和一個客戶端是否安裝成功。
執行這些命令,都要切換到Consul所在的目錄。切記。
(1)、consul
members 查看Consul成員列表。
3個server,1個client,狀態是:alive,說明集群創建成功。
(2)、我們在看看服務器角色的分配是否合適?
執行命令:consul operator raft list-peers
(3)、我們也可以通過瀏覽器訪問以下地址,驗證Consul服務是否安裝成功。
第一主服務器:
//localhost:8500
第二從服務器: //localhost:9500
第三從服務器: //localhost:10500
Consul客戶端: //localhost:11500
能看到如下截圖,也可以說明成功。我只截一個圖了,其他都類似。
四、配置Nginx服務組件
在這裡我並不想對Nginx做更多的介紹,網上的資料太多了,我在這裡只是簡單說明一下,如果大家想去學習有關Nginx的知識,請去網上自行惡補了。還要說明一下,在進行這項工作之前,請確保上一步的工作配置完成,就是Consul集群的配置工作,因為在這一步里我們要配置Nginx,使用的地址信息就是Consul集群地址列表。
Nginx (engine x) 是一個高性能的HTTP和反向代理web服務器,同時也提供了IMAP/POP3/SMTP服務。Nginx是由伊戈爾·賽索耶夫為俄羅斯訪問量第二的Rambler.ru站點開發的,第一個公開版本0.1.0發佈於2004年10月4日。其將源代碼以類BSD許可證的形式發佈,因它的穩定性、豐富的功能集、示例配置文件和低系統資源的消耗而聞名。2011年6月1日,Nginx 1.0.4發佈。
其特點是佔有內存少,並發能力強,事實上Nginx的並發能力在同類型的網頁服務器中表現較好,中國大陸使用Nginx網站用戶有:百度、京東、新浪、網易、騰訊、淘寶等。
1、下載Nginx服務組件。
網關下載://nginx.org/en/download.html
我下載的版本號是:1.18.0,隨着時間推移,你們下的版本可能不一樣,但是只要是穩定版本就可以了。
2、解壓到沒有包含中文字符的目錄里。
Nginx 根目錄:D:\Programs\MicroServices\ConsulNginx
Nginx.Conf文件目錄:D:\Programs\MicroServices\ConsulNginx\conf
3、開始配置nginx.conf 文件,配置很簡單,不多說了。
4、啟動Nginx 服務。
執行命令:start
nginx
如果修改文件後可以執行:nginx
–s reload
如果想停止獲或退出,可以執行:nginx –s
stop|quit
5、檢查Nginx服務是否啟動成功。
我們可以通過訪問以下地址,來驗證Nginx配置是否正確。
//localhost:8090,打開地址,我們看到了Consul服務界面,說明配置和啟動成功。
五、Ocelot服務治理組件簡介
今天要給大家介紹的Ocelot是一個基於 .net
core的開源WebAPI服務網關項目,它的功能非常強大,包括了路由、請求聚合、服務發現、認證鑒權、限流、負載均衡等功能。而這些功能都可以直接通過修改json配置文件即可使用,非常方便。Ocelot是系統中對外暴露的一個請求入口,所有外部接口都必須通過這個網關才能向下游API發出請求,就如地鐵中的安檢系統,所有人都必須經過安檢才能乘坐地鐵。
當然了,我今天肯定也不會對Ocelot服務組件進行詳細的討論,它有官網和詳細的文檔,如果想看它的源碼也是沒有問題的,因為它是開源的。如果大家想去學習的話,可以直接點擊我貼出的連接。
文檔://ocelot.readthedocs.io/en/latest
GIT://github.com/ThreeMammals/Ocelot
六、我們可以看看客戶端展示的效果了
1、客戶端我們自己實現的輪訓策略,每次刷新,端口號都變,效果如圖:
5726端口的數據:
5727端口的數據:
5728端口的數據:
5729端口的數據:
2、我們的結論。
雖然我們現在增加了Consul集群,也增加了Ocelot網關集群,每個集群也都有自己的Nginx服務實現負載均衡,系統從整體上來說,穩定性和高可用性得到了的保障,並且,我們的服務也已經有了安全認證,安全性大大加強,這樣看似挺圓滿的,這樣就完成了嗎?當然不是,還要Token過期的問題,和客戶端集成的問題,當然IdentityServer的認證方式有很多種,在產品環境中,我們還有很多要改進的地方。但是這些問題,可能,我要放一放,我要把這些東西全部搬到Linux服務器上,全部實現虛擬化部署,當然也會涉及到Docker的使用。這也是我們下一篇文章要解決的問題,有挑戰啊。
七、結束語
好了,今天就寫到這裡了。俗話說,兵來將擋水來土掩,只要我們勇往直前,道路一定是光明的,再者說,老天不會餓死努力的小鳥的。努力吧,每天進步一點點。