深度學習基礎課:課程介紹

深度學習基礎課:課程介紹

大家好~我開設了「深度學習基礎班」的線上課程,帶領同學從0開始學習全連接和卷積神經網路,進行數學推導,並且實現可以運行的Demo程式

線上課程資料:
本節課錄像回放
掃碼加QQ群,獲得ppt等資料,與群主交流討論:
image

本系列文章為線上課程的復盤,每上完一節課就會同步發布對應的文章

本文為第一節課:課程介紹的復盤文章

本課程系列文章如下所示:
課程介紹
「判斷性別」Demo需求分析和初步設計(上)

為什麼要學習深度學習?

我主要關注在圖形學中的應用,在「深度學習和圖形學渲染的結合和應用」 中總結了深度學習在圖形學中的部分應用。

具體來說應用包括下面幾個方面:

  • 降噪

image

如上圖所示,左邊為路徑追蹤生成的有噪點的場景圖片,右邊為經過深度學習降噪後的清晰圖片

降噪主要使用深度學習中的卷積神經網路,這也是本課程會重點學習的
在最新的論文中,已經實現了10ms降噪,從而可以用在實時渲染的全局光照中了!

  • 神經渲染

具體說就是2D圖片轉成3D場景

比如Google之前發布的3D地圖,就是使用了該技術。它先從多個角度拍攝街道,然後通過深度學習中的NeRF將其轉換為可從任意視角觀看的3D模型

  • 語義影像合成

深度學習通過GAN網路,可以將「我的世界」這種體素構成的3D場景,轉換為三角面構成的3D場景,從而可以實現玩家在遊戲中既可以像我的世界那樣,通過操作體素的方式自定義世界,又可以切換到真實渲染模式(三角面組成的3D場景)查看渲染精美的3D場景

  • 輻照度快取

在Real-time Neural Radiance Caching for Path Tracing論文中,提出了使用深度學習實現輻照度快取,從而加快路徑追蹤的渲染速度

  • 高清解析度的紋理

在NeuMIP: Multi-Resolution Neural Materials論文中,提出了使用深度學習實現高清解析度的紋理

技術棧

  • Rescript
    Rescript以前叫Reasonml,它跟Typescript類似,都屬於編譯到Javascript的語言
    Rescript是從Ocaml而來,基於函數式編程範式,高度優化了編譯後的Javascript,性能非常好,非常適合像深度學習這種處理數據的場景
    Rescript的學習資料為:
    官方文檔

課程特色

  • 零基礎上手學習
  • 從0開始
  • 進行數學推導
  • 實現可以運行的Demo程式

學員收益

  • 掌握深度學習的數學推導
  • 獲得深度學習的實戰經驗
  • 了解深度學習在圖形學中的應用

課程大綱

本課程從0開始,不使用任何框架,重點學習在「影像識別」、「降噪」領域的應用

課程內容包括:

  • 課程介紹
  • 實現「判斷性別」Demo
  • 推導前向傳播和梯度下降
  • 基於全連接層實現「識別手寫數字」Demo
  • 基於卷積神經網路實現「判斷性別」Demo
  • 基於卷積神經網路實現「識別手寫數字」Demo
  • 實現優化演算法
  • 實現LeNet
  • 實現AlexNet
  • 實現影像識別Demo
  • 實現多個Backend
  • 基於卷積神經網路實現「降噪」Demo

相關的學習資源