从极小到极大的思维突破网络数据的效率与安全

• 2019 年 10 月 4 日
• 筆記

一只体重只有1或2毫克的蚂蚁，就能绕过障碍物，以让我们最复杂的机器人相形见绌的技术和速度寻找信号。然而，凭借这些明显的智慧，一些孤立的蚂蚁却会漫无目的地闲逛，直到蚂蚁的数量超过几十只。

随之而来的是，更高层次的智能开始出现。随着蚂蚁数量的增加，这种转型变得惊人。数以百万计的蚂蚁可以建造拥有复杂的通风系统、下水道和回收设施的“城市”。

蚂蚁是除人类以外唯一一种从事集约化养殖的生物。他们养殖活的作物，繁殖并放牧蚜虫和其他昆虫，“榨取”它们作为食物。蚁群会交流、教学、组建团队并参加战争。

数据本身驱动着由智能网络连接的计算和存储元件组成的数据中心中的进程。这种“深度学习”也可以与人类大脑相媲美。人脑是一个由相对较小的处理元件组成的巨大网络，这些元件被称为突触，当数据在网络中通过时，突触实际上在处理这些数据。

数据泛滥

2007年，诺基亚是一家价值1500亿美元的企业，当时他们决定投资新兴的汽车卫星导航市场。他们收购了Navitech这家在欧洲拥有约500万台交通摄像头的公司。他们意识到，保持最新实时交通状况的导航系统将提供重要的竞争优势。

同年，一家名为Waze的以色列公司启动，其目标与Navitech相似。只不过Waze收集的数据并非通过安装数百万个交通传感器，而是在每个用户的手机上安装一个应用程序。这使得Waze可以免费快速部署数以千万计交通传感器，利用每个智能手机上的GPS定位芯片，收集交通移动数据并上传到Waze系统。其余的都已成为历史：在五、六年的时间里，诺基亚的市值缩水至低于Navitech的收购价，而Waze则被谷歌收购。

这反映了从外出采集数据到允许数据流入的根本性转变，好像从井中收集水与在大地上获取降雨之间的差异。在图1中看到了一些影响，其中蓝色的数据增长线在2007年之后不久变得更加陡峭，并迅速上升。

图中还显示了一条虚线，它代表摩尔定律所承诺的处理能力的线性增长，而一条红线表示实际的CPU性能正在放缓，因为我们正在接近硅潜能的极限。但请注意代表网络带宽的绿线与数据增长非常一致。旧的以CPU为中心的想法正在让我们失望，我们需要跳出框外来思考，跳出计算机的思维定势来解决当今企业所面临的重大问题。

图1

如今，没有一个单独的处理单元，足以处理那些生成可操作的业务价值所需的大量数据集。但是我们需要优化整个堆栈中的计算、存储、网络和应用程序元素，并使它们协同一起工作以创建单个数据中心级的计算机来跨集群交付服务。不是人类对机器进行编程，而是数据为机器编程。正如从数百万蚂蚁的经验中获得的大量数据输入将通知并产生智能和建设性的项目开发一样，机器学习也将从海量物联网数据中挖掘出意义和相关性，并创建新的高效应用程序。

从人群到云端

这与云有关，云也改变了计算的交付模式。“云”也从“服务器”转型为“服务”。如果你有“家里的电”，这意味着你有插头，你就可以从中获得电力，这也像打开水管上的水龙头一样。如果你有“家里的一台计算机”，它传统上意味着你拥有一个装满计算机能力的盒子，你要负责让盒子里的所有东西都能顺利运行。

云计算使我们更接近供电模式，好像电子信息不在桌上的计算机里，转而到插座里（的另一个地方）。

当今的视频会议提供的不仅是通信速度，同时提供了多个地点的可见性和声音，甚至可以在语言之间进行机器翻译。因此，要在性能方面实现真正的量子飞跃，就需要跳出固有思维。

智能网络

这不仅是关于移动数据通过电缆的速度。网络到处都变得越来越智能化。秘诀是在数据移动时处理它。蚁群中的每只蚂蚁都从自己的感官接收数据，再加上通过其他蚂蚁的气味信号传输的数据。它自己处理数据，并传输自己的气味信号，这些信号在网络中不断级联，为蚁群积累了重要意义和适用性。就像我们最先进的网络产品中，每个交换机中都有计算单元，可以即时动态地进行数据聚合。

这项技术目前被用于高性能计算和机器学习。

当我们对神经网络模型的多个实例的数据集进行神经网络训练时，经过个别训练后，训练结果的整合通常需要花费与训练本身一样多的时间。

分发散布这种处理方式，可将“参数服务器”流程的速度提高了快10倍，从而可将培训流程从几天缩短到几小时，或者从几周缩短到几天。我们称之为SHARP（规模分层聚合与约简协议，Scale Hierarchical Aggregation and Reduction Protocol）。当其他网络还在计算元素之间移动数据时，SHARP会在数据穿越网络时处理和计算它，此举有效地将网络本身转变为强大的协处理器，从而显着提高应用程序性能。

对于存储网络，则以SNAP（Software Defined Networking for Accelerated Processing，用于加速处理的软件定义网络）。Mellanox的Bluefield SmartNIC虚拟化将您云中的资源呈现为真正的本地设备，而不是需要在主机上更改API的联网设备。

SNAP也适用于具有传统操作系统的计算机，可以看到本地设备可以神奇地触摸所有东西。通过SmartNIC技术，可以从网络上的不同机器分配资源，并将它们作为本地存储设备或本地机器上的本地存储服务来使用。

Mellanox有一个与主要云提供商合作的试点项目，计划一年内投入生产。

图2

另一个更有效地使用资源的例子是：网络功能虚拟化是一种功能强大的技术，它通过将进程合并到裸机服务器上来减少机盒的杂乱。但它却将负载放在服务器上，从应用程序的角度来看，这会降低数据中心的效率，因为它会耗尽计算能力，然而，可以将网络虚拟化操作的一个重要部分卸载给智能网络卡SmartNICs。

它安全吗？

可以在不牺牲安全性的情况下完成吗？传统的数据中心依赖于M&M安全模型（硬的在外部，软的在内部），它是数据中心外围的保护，但内部不受保护。

Mellanox的ConnectX和BlueField产品线的软件高级副总裁和总经理Amit Kring表示：在云空间中，我们邀请无法控制的应用到运行我们有安全策略的同一台计算机上运行。一旦恶意软件在计算服务器上运行，它就可以接管安全策略，因此接管我的数据中心。整个数据中心就被所邀请在机器上运行的一个家伙接管了。

为了保护基础设施，必须确保攻击者和受害者不在同一台计算机上运行。需要改变安全模型，从软的内部变成硬的内部。必须保护数据中心中的每一台机器。

执行了SNAP的BlueField技术，允许安全策略通过自己的操作系统托管在BlueField卡上，使其与应用程序服务器区别开来。有了BlueField，我们就可以完全隔离基础设施计算层和应用程序计算层。我们还可以完全独立地升级计算服务器和基础设施服务器，它们是不连接的。它更安全，也更高效。