【中國大學生計算機大賽三等獎】冬奧會智能分析與預測可視化平台-後端項目搭建（三）

一前言

此項目為冬奧會智能分析與預測可視化平台，這個項目是用於參加中國大學生計算機設計大賽-信息可視化設計賽道的項目，最終獲得國賽三等獎的成績。現在主要介紹一下本項目的後端項目搭建。

二框架與技術棧

本項目採取的框架為Go中的gin框架：

Gin是一個golang的微框架，封裝比較優雅，API友好，源碼注釋比較明確，具有快速靈活，容錯方便等特點。
對於golang而言，web框架的依賴要遠比Python，Java之類的要小。自身的net/http足夠簡單，性能也非常不錯。
藉助框架開發，不僅可以省去很多常用的封裝帶來的時間，也有助於團隊的編碼風格和形成規範。

本項目採取的技術棧包括：

使用zap日誌庫

使用配置信息viper

使用服務器壓測工具測試

使用接口文檔swagger

使用JWT跨域認證

使用雪花算法生成ID

使用優雅關機和重啟

使用go-redis

使用gorm開發

使用pprof進行性能分析

使用Air實現文件實時重載

三項目目錄搭建

安裝gin框架：

go install github.com/gin-gonic/gin

新建項目 WinterOlympic

進入文件夾，在終端執行

go mod init

go mod init 是使用go module 的管理包，前提是設置做了以下設置

GO111MODULE = on
GOPROXY=//goproxy.cn,direct

執行 go mod init 後，將在 WinterOlympic 文件夾下生成 go.mod 文件，將會包含以下信息：模塊名和go 版本

module WinterOlympic

go 1.17

新建以下目錄：

目錄講解
|- – – conf //項目全局配置
|- – – controller //控制器文件
|- – – dao //數據庫和Redis操作
| – – – docs//生成Swagger文檔
|- – – logger//生成項目運行日誌
| – – – logic//處理功能邏輯函數
| – – – middlewares//使用中間件
|- – – models //模型文件包
| – – – pkg//使用的第三方庫
| – – – routes//路由處理
|- – – settings// 項目設置
|- – – static// 靜態媒體文件
|- – – templates//頁面模板
| – – – util //公共函數
go.mod // go 依賴管理文件
.air.conf // go 項目熱加載配置文件
main.go // 主項目入口文件
Makefile // go 自動化編譯文件
REMADE.md // 項目閱讀文檔
WinterOlympic.log // 項目運行日誌

四項目搭建

4.1 main.go主函數：

main.go函數主要包括以下六個步驟：

加載配置
初始化日誌
初始化Mysql連接
初始化Redis連接
註冊路由
啟動服務(優雅關機)

package main

import (
	"WinterOlympic/dao/mysql"
	"WinterOlympic/dao/redis"
	"WinterOlympic/logger"
	"WinterOlympic/middlewares"
	"WinterOlympic/pkg/Kafka"
	"WinterOlympic/routes"
	"WinterOlympic/settings"
	"fmt"
	"go.uber.org/zap"
)

// @title 冬奧會智能分析與預測系統
// @version 1.0
// @description 本系統展示了前八界冬奧會數據和預測了下一屆冬奧會各個國家獲得的獎牌信息
func main() {
	//1.加載配置
	if err := settings.Init(); err != nil {
		fmt.Printf("Init settings failed, err: %v\n", err)
		return
	}
	//2.初始化日誌
	if err := logger.Init(); err != nil {
		fmt.Printf("Init logger failed, err: %v\n", err)
		return
	}
	defer zap.L().Sync()
	zap.L().Debug("logger init success...")
	//3.初始化Mysql連接
	if err := mysql.Init(); err != nil {
		fmt.Printf("Init mysql failed, err: %v\n", err)
		return
	}
	defer mysql.Close()
	//4.初始化Redis連接
	if err := redis.Init(); err != nil {
		fmt.Printf("Init redis failed, err: %v\n", err)
		return
	}
	defer redis.Close()
	//5.註冊路由
	r := routes.Setup()
	//6.啟動服務(優雅關機)
	if err := middlewares.GracefulShutdown(r); err != nil {
		fmt.Printf("Graceful Shutdown failed, err: %v\n", err)
		return
	}
}

4.1 加載配置

在conf中新建config.yaml文件

name: "WinterOlympic"
title: "冬奧會智能分析與預測系統"
mode: "dev"
port: 3600
version: "v0.0.1"

log:
  level: "debug"
  filename: "WinterOlympic.log"
  max_size: 200
  max_age: 30
  max_backips: 7

mysql:
  host: "127.0.0.1"
  port: 3306
  user: "root"
  password: "******"
  dbname: "winterolympicgames"
  max_open_conns: 200
  max_idle_conns: "50"

redis:
  host: "127.0.0.1"
  port: 6379
  password: ""
  db: 3
  pool_size: 100

email:
  user: "[email protected]"
  // pass 授權碼
  pass: "xxxxxx" 
  host: "smtp.qq.com"
  port: 465
  rename: "WinterOlympic"

在settings中新建settings.go文件

package settings

import (
	"fmt"
	"github.com/fsnotify/fsnotify"
	"github.com/spf13/viper"
)

func Init() (err error) {
	viper.SetConfigFile("conf/config.yaml") // 指定配置文件
	//viper.SetConfigName("config") // 指定配置文件名稱(不需要帶後綴)
	//viper.SetConfigType("yaml")   // 指定配置文件類型(專用於從遠程獲取配置信息時指定配置文件類型)
	viper.AddConfigPath(".")   // 指定查找配置文件的路徑(使用相對路徑)
	err = viper.ReadInConfig() // 讀取配置信息
	if err != nil {            // 讀取配置信息失敗
		fmt.Printf("viper.ReadInConfig() failed,err:%v\n", err)
		return
	}
	// 監控配置文件變化
	viper.WatchConfig()
	viper.OnConfigChange(func(in fsnotify.Event) {
		fmt.Println("配置文件修改了...")
	})
	return
}

4.2 初始化日誌

在logger中新建logger.go文件

package logger

import (
	"github.com/gin-gonic/gin"
	"github.com/natefinch/lumberjack"
	"github.com/spf13/viper"
	"go.uber.org/zap"
	"go.uber.org/zap/zapcore"
	"net"
	"net/http"
	"net/http/httputil"
	"os"
	"runtime/debug"
	"strings"
	"time"
)

// Init 初始化Logger
func Init() (err error) {
	writeSyncer := getLogWriter(
		viper.GetString("log.filename"),
		viper.GetInt("log.max_size"),
		viper.GetInt("log.max_backups"),
		viper.GetInt("log.max_age"),
	)
	encoder := getEncoder()
	var l = new(zapcore.Level)
	err = l.UnmarshalText([]byte(viper.GetString("log.level")))
	if err != nil {
		return
	}
	core := zapcore.NewCore(encoder, writeSyncer, l)
	lg := zap.New(core, zap.AddCaller())
	zap.ReplaceGlobals(lg) // 替換zap包中全局的logger實例，後續在其他包中只需使用zap.L()調用即可
	return
}

func getEncoder() zapcore.Encoder {
	encoderConfig := zap.NewProductionEncoderConfig()
	encoderConfig.EncodeTime = zapcore.ISO8601TimeEncoder
	encoderConfig.TimeKey = "time"
	encoderConfig.EncodeLevel = zapcore.CapitalLevelEncoder
	encoderConfig.EncodeDuration = zapcore.SecondsDurationEncoder
	encoderConfig.EncodeCaller = zapcore.ShortCallerEncoder
	return zapcore.NewJSONEncoder(encoderConfig)
}

func getLogWriter(filename string, maxSize, maxBackup, maxAge int) zapcore.WriteSyncer {
	lumberJackLogger := &lumberjack.Logger{
		Filename:   filename,
		MaxSize:    maxSize,
		MaxBackups: maxBackup,
		MaxAge:     maxAge,
	}
	return zapcore.AddSync(lumberJackLogger)
}

// GinLogger 接收gin框架默認的日誌
func GinLogger() gin.HandlerFunc {
	return func(c *gin.Context) {
		start := time.Now()
		path := c.Request.URL.Path
		query := c.Request.URL.RawQuery
		c.Next()

		cost := time.Since(start)
		zap.L().Info(path,
			zap.Int("status", c.Writer.Status()),
			zap.String("method", c.Request.Method),
			zap.String("path", path),
			zap.String("query", query),
			zap.String("ip", c.ClientIP()),
			zap.String("user-agent", c.Request.UserAgent()),
			zap.String("errors", c.Errors.ByType(gin.ErrorTypePrivate).String()),
			zap.Duration("cost", cost),
		)
	}
}

// GinRecovery recover掉項目可能出現的panic，並使用zap記錄相關日誌
func GinRecovery(stack bool) gin.HandlerFunc {
	return func(c *gin.Context) {
		defer func() {
			if err := recover(); err != nil {
				// Check for a broken connection, as it is not really a
				// condition that warrants a panic stack trace.
				var brokenPipe bool
				if ne, ok := err.(*net.OpError); ok {
					if se, ok := ne.Err.(*os.SyscallError); ok {
						if strings.Contains(strings.ToLower(se.Error()), "broken pipe") || strings.Contains(strings.ToLower(se.Error()), "connection reset by peer") {
							brokenPipe = true
						}
					}
				}

				httpRequest, _ := httputil.DumpRequest(c.Request, false)
				if brokenPipe {
					zap.L().Error(c.Request.URL.Path,
						zap.Any("error", err),
						zap.String("request", string(httpRequest)),
					)
					// If the connection is dead, we can't write a status to it.
					c.Error(err.(error)) // nolint: errcheck
					c.Abort()
					return
				}

				if stack {
					zap.L().Error("[Recovery from panic]",
						zap.Any("error", err),
						zap.String("request", string(httpRequest)),
						zap.String("stack", string(debug.Stack())),
					)
				} else {
					zap.L().Error("[Recovery from panic]",
						zap.Any("error", err),
						zap.String("request", string(httpRequest)),
					)
				}
				c.AbortWithStatus(http.StatusInternalServerError)
			}
		}()
		c.Next()
	}
}

4.3 初始化Mysql連接

在dao中新建mysql文件夾再新建mysql.go文件

package mysql

import (
	"fmt"
	_ "github.com/go-sql-driver/mysql"
	"github.com/jinzhu/gorm"
	"github.com/spf13/viper"
	"go.uber.org/zap"
)

var db *gorm.DB

func Init() (err error) {
	dsn := fmt.Sprintf("%s:%s@tcp(%s:%d)/%s?charset=utf8mb4&parseTime=True",
		viper.GetString("mysql.user"),
		viper.GetString("mysql.password"),
		viper.GetString("mysql.host"),
		viper.GetInt("mysql.port"),
		viper.GetString("mysql.dbname"),
	)

	db, err = gorm.Open("mysql", dsn)
	if err != nil {
		zap.L().Error("connect DB failed", zap.Error(err))
		return
	}
	db.DB().SetMaxOpenConns(viper.GetInt("mysql.max_open_conns"))
	db.DB().SetMaxIdleConns(viper.GetInt("mysql.max_idle_conns"))
	return
}

func Close() {
	_ = db.Close()
}

4.4. 初始化Redis連接

在dao中新建redis文件夾再新建redis.go文件

package redis

import (
	"fmt"
	"github.com/go-redis/redis"
	"github.com/spf13/viper"
)

// 聲明一個全局的rdb變量
var rdb *redis.Client

// Init 初始化連接
func Init() (err error) {
	rdb = redis.NewClient(&redis.Options{
		Addr: fmt.Sprintf("%s:%d",
			viper.GetString("redis.host"),
			viper.GetInt("redis.port"),
		),
		Password: viper.GetString("redis.password"), // no password set
		DB:       viper.GetInt("redis.db"),          // use default DB
		PoolSize: viper.GetInt("redis.pool_size"),
	})

	_, err = rdb.Ping().Result()
	return err
}

func Close() {
	_ = rdb.Close()
}

4.5 註冊路由

在routes中新建routes.go文件

package routes

import (
	"WinterOlympic/logger"
	"WinterOlympic/pkg/cors"
	"github.com/gin-contrib/pprof"
	"github.com/gin-contrib/sessions"
	"github.com/gin-contrib/sessions/cookie"
	"github.com/gin-gonic/gin"
	"github.com/spf13/viper"
	"net/http"
	"strconv"
)

func Setup() *gin.Engine {
	r := gin.New() //創立新的路由
	store := cookie.NewStore([]byte("WinterOlympic"))
	r.Static("/static", "./static")
	r.LoadHTMLFiles("templates/dist/index.html")
	r.Use(cors.Cors())
	r.Use(logger.GinLogger(), logger.GinRecovery(true), sessions.Sessions("WinterOlympic", store)) //使用日誌記錄路由信息
	pprof.Register(r)                                                                              //註冊pprof相關路由
	InitSwagger(r)                                                                                 //註冊Swagger文檔路由
	r.GET("/", func(c *gin.Context) {
		c.HTML(http.StatusOK, "index.html", gin.H{})
	})

	AccountGroupRoute(r.Group("/localApi/account/")) //註冊賬戶功能模塊路由
	SportsGroupRoute(r.Group("/localApi/sports/"))   //註冊主頁面模塊路由
	CountryGroupRoute(r.Group("/localApi/country/")) //註冊國家詳細頁面模塊路由
	r.Run(":" + strconv.Itoa(viper.GetInt("port")))  //運行路由
	return r
}

4.6 啟動服務(優雅關機)

在middlewares中新建graceShutdown.go文件

package middlewares

import (
	"context"
	"fmt"
	"github.com/gin-gonic/gin"
	"github.com/spf13/viper"
	"go.uber.org/zap"
	"log"
	"net/http"
	"os"
	"os/signal"
	"syscall"
	"time"
)

func GracefulShutdown(r *gin.Engine) (err error) {
	srv := &http.Server{
		Addr:    fmt.Sprintf(":%d", viper.GetInt("app.port")),
		Handler: r,
	}
	go func() {
		// 開啟一個goroutine啟動服務
		if err := srv.ListenAndServe(); err != nil && err != http.ErrServerClosed {
			log.Fatalf("listen: %s\n", err)
		}
	}()
	// 等待中斷信號來優雅地關閉服務器，為關閉服務器操作設置一個5秒的超時
	quit := make(chan os.Signal, 1) // 創建一個接收信號的通道
	// kill 默認會發送 syscall.SIGTERM 信號
	// kill -2 發送 syscall.SIGINT 信號，我們常用的Ctrl+C就是觸發系統SIGINT信號
	// kill -9 發送 syscall.SIGKILL 信號，但是不能被捕獲，所以不需要添加它
	// signal.Notify把收到的 syscall.SIGINT或syscall.SIGTERM 信號轉發給quit
	signal.Notify(quit, syscall.SIGINT, syscall.SIGTERM) // 此處不會阻塞
	<-quit                                               // 阻塞在此，當接收到上述兩種信號時才會往下執行
	zap.L().Info("Shutdown Server ...")
	// 創建一個5秒超時的context
	ctx, cancel := context.WithTimeout(context.Background(), 5*time.Second)
	defer cancel()
	// 5秒內優雅關閉服務（將未處理完的請求處理完再關閉服務），超過5秒就超時退出
	if err := srv.Shutdown(ctx); err != nil {
		zap.L().Fatal("Server Shutdown: ", zap.Error(err))
	}
	zap.L().Info("Server exiting")
	return
}

4.7運行

在終端輸入：

go mod tidy

安裝好各種依賴庫後，再輸入：

go run main.go

即可運行項目。

五總結

以上就是冬奧會智能分析與預測可視化平台後端項目搭建的全部內容啦，在搭建項目目錄時可能會有一些不足，請大家多多批評指正。
博主還會更新在主函數中使用到的技術的具體用法，請大家收藏觀看不迷路。
本專欄還會繼續的更新，希望大家能夠多多關注博主的文章，感謝大家的觀看。

Tags: 冬奧會智能分析與預測可視化平台

【中國大學生計算機大賽三等獎】冬奧會智能分析與預測可視化平台-後端項目搭建（三）

一前言

二框架與技術棧

三項目目錄搭建

四項目搭建

4.1 main.go主函數：

4.1 加載配置

4.2 初始化日誌

4.3 初始化Mysql連接

4.4. 初始化Redis連接

4.5 註冊路由

4.6 啟動服務(優雅關機)

4.7運行

五總結

VirMach 便宜 VPS

QNews

【中國大學生計算機大賽三等獎】冬奧會智能分析與預測可視化平台-後端項目搭建（三）

一 前言

二 框架與技術棧

三 項目目錄搭建

四 項目搭建

4.1 main.go主函數：

4.1 加載配置

4.2 初始化日誌

4.3 初始化Mysql連接

4.4. 初始化Redis連接

4.5 註冊路由

4.6 啟動服務(優雅關機)

4.7運行

五 總結

分享此文：

Related Posts

20212115朱時鴻 《python程序設計》實驗四報告

排序算法入門之「插入排序」

liunx之expect操作詳解

淺談-動態路由之OSPF的理解

VirMach 便宜 VPS

QNews

熱門搜尋

一前言

二框架與技術棧

三項目目錄搭建

四項目搭建

五總結

20212115朱時鴻《python程序設計》實驗四報告