大數據與雲計算技術周報（第142期)
- 2020 年 2 月 26 日
- 筆記
導語
「大數據」 三個字其實是個marketing語言，從技術角度看，包含範圍很廣，計算、存儲、網絡都涉及，知識點廣、學習難度高。 本期會給大家奉獻上精彩的：死鎖、知識圖譜、Spark 、TCP、MongoDB、Redis、AI、kafka。全是乾貨，希望大家喜歡！！！
1死鎖
讀寫死鎖問題
https://mp.weixin.qq.com/s/RSkmMo_9GENOLsCuE5YS1w
2知識圖譜
在 2019 年 11 月 22 日舉行的 AICon 全球人工智能與機器學習技術大會上，百度知識圖譜部主任研發架構師宋勛超分享了百度在大規模知識圖譜構建、多模語義理解、行業知識圖譜構建及應用等方面的最新進展。
https://mp.weixin.qq.com/s/kMv3J9tbiKVRxV_hHk8HAA
3Spark
本文介紹了基於SparkSQL的一次SQL查詢優化實例。
https://mp.weixin.qq.com/s/0RZZxgyTGE4yeou6C76bXA
4TCP
，WebSocket是通過單個TCP連接提供全雙工（雙向通信）通信信道的計算機通信協議。此WebSocket API可在用戶的瀏覽器和服務器之間進行雙向通信。用戶可以向服務器發送消息並接收事件驅動的響應，而無需輪詢服務器。它可以讓多個用戶連接到同一個實時服務器，並通過API進行通信並立即獲得響應。
https://mp.weixin.qq.com/s/RxiYHX7-RwKTI-hEhYDjVg
5Redis
Redis數據庫是一個基於內存的 key-value存儲系統，現在redis最常用的使用場景就是存儲緩存用的數據，在需要高速讀/寫的場合使用它快速讀/寫，從而緩解應用數據庫的壓力，進而提升應用處理能力。
由於Redis的單線程架構，所以需要每個命令能被快速執行完，否則會存在阻塞Redis的可能，理解Redis單線程命令處理機制是開發和運維Redis的核心之一。
https://mp.weixin.qq.com/s/AUGpvpGBSiwmkqUJFNzEQA
6Kafka
Kafka 是一個高吞吐量的分佈式的發佈訂閱消息系統，在全世界都很流行，在大數據項目裏面使用尤其頻繁。筆者看過多個大數據開源產品的源碼，感覺 Kafka 的源碼是其中質量比較上乘的一個，這得益於作者高超的編碼水平和高超的架構設計能力。
https://mp.weixin.qq.com/s/kiI-TiLev2PC39enpCzs7A
7MongoDB
本文講述了MongoDB升級之後的CPU負載升高的問題，通過監控日誌發現CPU負載升高主要由於遷移數據之後的刪除導致，採用了關閉表的balancer解決升級之後CPU負載升高的問題，最後分析MongoDB 4.0和3.2版本的balancer與moveChunk發現3.4及之後版本存在balancer遷移閾值較低的問題，導致更頻繁的產生moveChunk。
http://www.mongoing.com/archives/31664
8源代碼解析
分析開源項目源碼，我們該如何入手分析？作者從學習開源框架到底難不難，以及如何入手去分析開源框架源碼等角度去講解，想學習分析源碼的，值得去看下
https://juejin.im/post/5e4d06b451882549670673c5
9kafka
Kakfa 是一個分佈式的基於發佈/訂閱模式的消息隊列（Message Queue），主要應用於大數據的實時處理領域。本文詳細介紹了kafka的各個知識點。
https://mp.weixin.qq.com/s/yZOt6WRgb8PzktXoLnZeIA
本文一起學習下Kafka的歷史版本演進，增加我們對Kafka的了解，對於Kafka的技術選型也具有指導意義、
https://mp.weixin.qq.com/s/n9fqabd1JSIn11IQ8iIsvw
10AI
如何運用運籌學、統計學、機器學習等算法技術結合大數據和工程化的能力，建設物流智能大腦系統
https://mp.weixin.qq.com/s/rABaOI1xG5Sb56NH2LU3JA
11開心一刻
諸葛亮是一個優秀的程序猿，每一個錦囊都是應對不同的case而編寫的！但是優秀的程序猿也敵不過更優秀的bug！六齣祈山，七進中原，鞠躬盡瘁，死而後已的諸葛亮只因為有一個錯誤的case-馬謖，整個結構就被break了！
