大數據和雲計算技術周報（第91期)
- 2019 年 10 月 6 日
- 筆記
導語
「大數據」 三個字其實是個marketing語言，從技術角度看，包含範圍很廣，計算、存儲、網路都涉及，知識點廣、學習難度高。 本期會給大家奉獻上精彩的：redis、Spark、演算法、Hbase、kylin和phoneix、Spark與Alluxio、實時數倉、Mysql索引、Redis、LOT。全是乾貨，希望大家喜歡！！！ #大數據和雲計算技術社區#希望通過堅持定期分享能幫助同學在大數據學習道路上盡一份微博之力。相信長期堅持認真閱讀周報的同學，在技術的道路上一定會日益精進！感謝編輯們的長期堅持！也請同學們繼續打賞，支援社區，支援編輯們持續奉獻高品質知識！ #大數據和雲計算技術社區#長期招募有興趣參與社區編輯和運營的同學，歡迎掃描文末二維碼聯繫（參與社區工作，收穫知識和進步，還有紅包哦）。 特別提醒，文末有驚喜！ 以下是正文，限於眾編輯水平有限，不保證大家都喜歡。（如果鏈接不能點開 請用二維碼 謝謝）
1HBase
文章首先回顧了 HBase 的數據模型和數據層級結構，對數據的每個層級的作用和構架均進行了詳細闡述；隨後介紹了數據寫入和讀取的詳細流程；最後介紹了老版本到新版本 Region 查找的演進。
https://mp.weixin.qq.com/s/xHQfBxi53NfkQzRM7e75fg
2spark
當下，企業越來越重視數據資產的價值，並以此作為提高行業競爭力的重要支撐。海量、多源的數據處理是實現其數據價值的必備能力。以Hadoop/Spark為核心的大數據處理技術已經成為現代企業數據平台的標準。為應對業務用戶對工作負載自助分析的期望，eBay大數據團隊開發出一套面向管理員和業務用戶的Workload Analytics System
https://mp.weixin.qq.com/s/nitBi7cvQZCnCv0RMFZnNw
3演算法
在過去，很多巧妙的電腦演算法設計，改變了我們的計算技術。通過操作標準電腦中提供的中間運算符，可以產生很多的高效函數。這些函數導致了電腦程式的複雜性和多樣性，這也是今天電腦時代快速發展的重要原因。我們列舉了一些演算法，它們改變了我們的電腦使用。
https://mp.weixin.qq.com/s/m6mMl9P-vrTmAzKMCTg7Jg
4kylin和phoneix
詳細對比了kylin和phoneix的能力。
https://mp.weixin.qq.com/s/CQ9nlO14Do0Q0_Y6QU9jBw
5Hbase
本文首先對 HBase 做簡單的介紹，包括其整體架構、依賴組件、核心服務類的相關解析。再重點介紹 HBase 讀取數據的流程分析，並根據此流程介紹如何在客戶端以及服務端優化性能，同時結合有贊線上 HBase 集群的實際應用情況，將理論和實踐結合
https://mp.weixin.qq.com/s/cj-HJNfZ2O7kCAFNL4l7Eg
6Spark與Alluxio
本文講述了以Apache Spark與Alluxio為核心的新型大數據技術生態體系來構建中國聯通大數據平台。
https://mp.weixin.qq.com/s/VipVaZ4T_7_hC_3fpfGQVw
7實時數倉
數據智慧」 (Data Intelligence) 有一個必須且基礎的環節，就是數據倉庫的建設，同時，數據倉庫也是公司數據發展到一定規模後必然會提供的一種基礎服務。從智慧商業的角度來講，數據的結果代表了用戶的回饋，獲取結果的及時性就顯得尤為重要，快速的獲取數據回饋能夠幫助公司更快的做出決策，更好的進行產品迭代，實時數倉在這一過程中起到了不可替代的作用。
https://mp.weixin.qq.com/s/e8lsGyl8oVtfg6HhXyIe4A
8Mysql索引
從底層的索引存儲結構來講B樹索引，值得一看。
https://mp.weixin.qq.com/s/iysNHTVn-Ch8-wBIAYjNMA
9LOT
構建智慧家居的神器HomeAssistant
智慧家居開源系統是一款基於 Python 的智慧家居開源系統，支援眾多品牌的智慧家居設備，可以輕鬆實現設備的語音控制、自動化等。
。
https://mp.weixin.qq.com/s/PRGaLpO975R8fUn7UVmTdQ
10redis
redis是單進程單執行緒模型,keys和smembers這種命令可能會阻塞伺服器,所以出現了scan系列的命令,通過返回一個游標，可以增量式迭代.本文介紹了scan 命令的實現原理。
https://segmentfault.com/a/1190000018218584
11開心一刻
一個測試工程師走進酒吧，要了一杯啤酒，要了0杯啤酒，要了999999999杯啤酒，要了一隻蜥蜴，要了-1杯啤酒，要了一個sfdeljknesv，酒保從容應對，測試工程師很滿意。接下來，一名顧客來到了同一個酒吧，問廁所在哪，酒吧頓時起了大火，然後整個建築坍塌了。
致謝：
周蓬勃、王在道、孫亞飛、馮藝帆、陳少軍、鄧開表、張少華、薛述強、劉彬、劉超、廖程鵬、董言、呂西金、朱潔、藍隨、黃文輝、郭飛
