Spark簡單介紹，Windows下安裝Scala+Hadoop+Spark運行環境，集成到IDEA中
- 2022 年 11 月 3 日
- 筆記
一、前言 近幾年大數據是異常的火爆，今天小編以java開發的身份來會會大數據，提高一下自己的層面！ 大數據技術也是有很多 …
Continue Reading
Java訪問Scala中的Int類型
- 2022 年 9 月 12 日
- 筆記
出錯代碼 寫java 和 scala 混合代碼的時候遇到一個小問題 def extractRefInputFieldsW …
Continue Reading
TDM 三部曲 (與 Deep Retrieval)
- 2022 年 8 月 15 日
- 筆記
推薦系統的主要目的是從海量物品庫中高效檢索用戶最感興趣的物品，既然是「海量」，意味着用戶基本不可能瀏覽完所有的物品，所以 …
Continue ReadingScala 練習題 學生分數案例
- 2022 年 7 月 20 日
- 筆記
一、相關信息題目：1、統計班級人數2、統計學生的總分3、統計總分年級排名前十學生各科的分數4、統計總分大於年級平均分的學 …
Continue ReadingSpark讀取elasticsearch數據指南
- 2022 年 6 月 8 日
- 筆記
最近要在 Spark job 中通過 Spark SQL 的方式讀取 Elasticsearch 數據，踩了一些坑，總結 …
Continue Readingalpakka-kafka(10)-用kafka實現分佈式近實時交易
- 2022 年 2 月 16 日
- 筆記
隨着網上購物消費模式熱度的不斷提高，網上銷售平台上各種促銷手段也層出不窮，其中「秒購」已經是各種網站普遍流行的促銷方 …
Continue ReadingScala函數高級篇
- 2022 年 2 月 13 日
- 筆記
一、匿名函數 沒有名字的函數就是匿名函數，格式：(x:Int)=>{函數體} x：表示輸入參數類型；Int：表示 …
Continue Readingalpakka-kafka(9)-kafka在分佈式運算中的應用
- 2022 年 1 月 28 日
- 筆記
kafka具備的分佈式、高吞吐、高可用特性，以及所提供的各種消息消費模式可以保證在一個多節點集群環境里消息被消費的安 …
Continue Reading
spark性能優化（一）
- 2021 年 10 月 17 日
- 筆記
本文內容說明 初始化配置給rdd和dataframe帶來的影響 repartition的相關說明 cache&p …
Continue Reading
spark相關介紹-提取hive表（一）
- 2021 年 9 月 19 日
- 筆記
本文環境說明 centos服務器 jupyter的scala核spylon-kernel spark-2.4.0 sca …
Continue Reading