Spark簡單介紹，Windows下安裝Scala+Hadoop+Spark運行環境，集成到IDEA中
- 2022 年 11 月 3 日
- 筆記
一、前言 近幾年大數據是異常的火爆，今天小編以java開發的身份來會會大數據，提高一下自己的層面！ 大數據技術也是有很多 …
Continue Reading
RDD(彈性分佈式數據集)及常用算子
- 2022 年 10 月 31 日
- 筆記
RDD(彈性分佈式數據集)及常用算子 RDD（Resilient Distributed Dataset）叫做彈性分佈式 …
Continue Reading
Spark基本知識
- 2022 年 10 月 30 日
- 筆記
Spark基本知識 Spark 是一種基於內存的快速、通用、可擴展的大數據分析計算引擎。 spark與hadoop的區別 …
Continue Reading
Ignite實戰
- 2022 年 10 月 30 日
- 筆記
1.概述 本篇博客將對Ignite的基礎環境、集群快照、分佈式計算、SQL查詢與處理、機器學習等內容進行介紹。 2.內容 …
Continue Reading
折騰一晚上的事情，明白了一個道理
- 2022 年 9 月 4 日
- 筆記
感悟：有時候很簡單的笨辦法，比那些高大上的技術要實用的多。 有一個數據同步，大約4億條記錄，沒有分區。現在要按照天，小時 …
Continue Reading客戶流失？來看看大廠如何基於spark+機器學習構建千萬數據規模上的用戶留存模型 ⛵
- 2022 年 8 月 16 日
- 筆記
💡 作者：韓信子@ShowMeAI 📘 大數據技術 ◉ 技能提升系列：//www.showmeai.tech/tutor …
Continue Reading
大數據開發，Hadoop Spark太重？你試試esProc SPL
- 2022 年 8 月 4 日
- 筆記
摘要：由於目標和現實的錯位，對很多用戶來講，Hadoop成了一個在技術、應用和成本上都很沉重的產品。 本文分享自華為雲社 …
Continue Reading
Kafka與Spark案例實踐
- 2022 年 7 月 31 日
- 筆記
1.概述 Kafka系統的靈活多變，讓它擁有豐富的拓展性，可以與第三方套件很方便的對接。例如，實時計算引擎Spark。接 …
Continue Reading
推薦系統-協同過濾在Spark中的實現
- 2022 年 7 月 25 日
- 筆記
作者：vivo 互聯網服務器團隊-Tang Shutao 現如今推薦無處不在，例如抖音、淘寶、京東App均能見到推薦系統 …
Continue Reading
分佈式機器學習：模型平均MA與彈性平均EASGD（PySpark）
- 2022 年 6 月 30 日
- 筆記
計算機科學一大定律：許多看似過時的東西可能過一段時間又會以新的形式再次回歸。 1 模型平均方法(MA) 1.1 算法描述 …
Continue Reading