使用LUA對大批量IP數據進行IP頻次統計

• 2019 年 11 月 20 日
• 筆記

上次我們利用LUA的表數據結構的特性，對IP數據進行去重的操作，接下來的是更進一步對數據進行統計，統計出數每個IP出現的頻次，然後對出重之後的數據進行排序，得出一個IP訪問頻次的TOP N排行。

moonscript實現：

Lua實現:

其它說明（可忽略）：

實際上統計IP頻次有一個其他的想法， 完整的目標，是對當時間段內的IP數據進行一個統計，經過去重計數得出一個當前某特定時間內IP被訪問的排行榜單，對排名前N數據進行下一步查詢，查詢出每個IP對應的被訪問的埠號，如果在特定時間內，一個IP有很多的埠Port被訪問，我們可以懷疑這是一種掃描行為，如果被掃描的業務恰好有一個WEB業務，很有可能伴隨著大量的302或是404產生，也有可能業務會被掃描的滲透數據掃掛，這都有可能。

TOP N中的N的長度是由我們設定的，每個IP可接受的被訪問的Port埠數據也是動態設定。 下一次針對埠訪問統計進行腳本實現。