Techology

我们的技术

不妥协的灵活性

Teraspek网络可视化交换机具备灵活的全栈可编程能力,在保留传统交换芯片高性能的同时,可实现基于软件自定义的深度报文解析和转发逻辑处理。

Pbps级的横向扩展

基于Scale-wide架构理念,Teraspek网络可视化交换机具备灵活的横向扩展能力,可实现高达Pbps级的大流量同源同宿部署。

最专业的信令解析能力

Teraspek业界领先的智能信令解析引擎,支持对2G/3G/4G/5G移动核心网各接口的信令协议进行解析和移动混合流量的关联打标,并依据关联打标信息进行流量过滤与分流。

深层协议识别与处理


可编程交换芯片使得在数据平面识别和处理深层协议成为可能

Teraspek帮助用户打造高附加值的云网络
  • 技术实现

    2000年前后,网络处理器(Network Processor,NP)的出现将网络路由器的转发性能从百兆提升到千兆量级,并且赋予了路由器在高性能下的复杂业务处理能力。今天,可编程交换芯片也正在给网络交换领域带来同样的巨大改变和深远冲击。可编程交换芯片在确保转发性能不降级的前提下,以高级语言可编程的形式,帮助交换网络从固化处理逻辑演进到软件定义、业务定义的时代。
    在基于可编程交换芯片的交换系统上,也能够非常便捷地在数据平面实现深层协议的识别和处理,从而使得网络能够更加灵活、更加高性能地承载云中的上层业务。

    基于可编程交换芯片在数据平面识别和处理深层协议

  • 优势特点

    通过对可编程交换芯片的流水线进行编程,芯片转发引擎不但能够识别基础的二三层报文头,完成标准的转发处理逻辑,而且能够根据编程逻辑,识别四层及上层的报文头,并且完成相应的业务处理。例如:

    • 编程设定交换芯片识别并解析TCP/UDP报文头的各个字段,并且根据报文的五元组信息,在确保会话一致性的前提下,将业务流发送到特定的后端服务器上去处理,从而完成L4SLB;
    • 编程设定交换芯片识别并解析封装在四层协议内部的各种隧道协议(如VXLAN,Virtual eXtensible Local Area Network)报文头,并且完成虚拟网络的去封装、转发等处理逻辑;
    • 编程设定交换芯片识别并解析HTTP协议的一些特殊字段,基于解析处的结果,能够为上层业务系统提供类似于特征匹配、异常行为判定、流量统计等服务;
    • 编程设定交换芯片识别出入云的流量,将外出流量的源IP地址替换为公网IP地址,将进入流量的目的IP地址替换为私网IP地址,从而为上层业务系统提供1:1 NAT(Network Address Translation)服务。

云计算时代的业务
对网络提出了更高更灵活的要求

传统的云网络只是为云中的上层业务系统提供最简单的三层通道服务,并未涉及到任何与业务相关的处理流程。随着越来越多的业务向云计算环境的迁移,上层业务对底层承载网络也提出了更高、更灵活的需求。例如,云计算的运营者希望能够将L4SLB(Layer 4 Server Load Balancing,四层服务器负载均衡)卸载到云网络中,以避免在上层业务系统部署该功能所带来的各种弊端(如性能低、运维复杂、侵占计算资源等)。网络处理这一类业务时,往往需要对深层协议进行识别和处理。在上述例子中,网络需要识别业务流量的会话信息,而这样的会话信息存在于报文的深层协议头部。

网络设备系统一般会被划分为两个层面:控制平面数据平面

控制平面则由以控制CPU为核心的子系统构成,负责接收来自于用户和业务的控制指令,学习网络的可达性信息,并将这些指令和信息下发到数据平面,指挥数据平面的工作;控制平面的CPU决定了其能够处理报文复杂的深层协议信息,但是其性能却远远无法做到线速。

数据平面由以交换芯片为核心的子系统构成,数据平面从控制平面接收各种控制命令和转发表项,再根据这些命令和表项接收、处理和发送业务流量;交换芯片的架构决定了数据平面的高性能,但是同时也意味着数据平面无法处理复杂的深层报文信息。

LTE信令分流技术


技术实现

首先,该技术先基于定制化的网元自学习功能,分离出属于不同网元的完整的信令面流量和用户面流量,将同一个用户的各接口数据发下到一台设备上,保证了各接口间的关联,从而解决了运营商集中混合大数据接入监控面临的技术瓶颈。
进而对信令面信息进行解析,并将信令面解析到的关键信息打标到用户面数据的指定位置,之后可以依据打标信息进行分流过滤。打标的主要信息包括:MSISDN、IMSI、IMEI、ECGI、TAI、UE IP等字段,用户可以设置策略根据打标信息对用户数据进行分流。

优势特点

  • 1G/10G/40G/100G等多样接入能力;
     
  • 信令自学习+链路诊断,确保系统配置使用不再依赖工参表;
     
  • 关联打标位置的灵活性;
     
  • 兼容盒式设备部署和ATCA机框式设备部署;
     
  • Tbps级别流量的级联部署方案。

概述

伴随着LTE网络的部署及各种智能终端的普及,移动数据流量呈现出爆炸式的增长,这对移动网络管理和维护、业务质量监测、网络及业务安全监控、大数据分析及精细化运营等提出了严峻的挑战。通常,通过镜像、分光等接入手段,从移动网络中旁路并精确复制信令面数据和用户面数据,在经过了多台多种设备的汇聚之后,传输到采集设备上的各种信令面接口数据(如S1、S11、S6a、SGs等)和用户面数据(S1-U)混合在一起,一个省的用户少则几百万,多则几千万,混合数据量可以达到在几百Gbps甚至几个Tbps,而单台设备的处理性能是有限的,如何将这些用户信令面数据和用户面数据进行完整性的分流,是信令处理领域的一个难题。
为此,中创腾锐提出一种基于专利技术的LTE信令分流方法,该方法基于定制化的网元自学习功能,分离出属于不同网元的完整的信令面流量和用户面流量,将同一个用户的各接口数据发下到一台设备上,保证了各接口间的关联,并根据后端设备的数目和处理能力,进行灵活的分流,实现大数据变成“小数据”,从而解决了运营商集中混合大数据接入监控面临的技术瓶颈,提高了处理效率,节约了成本,同时方便了流量的扩容,即使流量迅猛增长,也可以灵活应对。

LTE信令分流技术 

统一共享报文缓存


突发微浪涌流量的吸收能力

显而易见,采用统一共享报文缓存架构的交换芯片具备了更强的突发微浪涌流量的吸收能力。延续上一节的例子,在分片报文缓存架构中,当突发微浪涌流量从位于不同接口组中的两个物理接口涌入交换芯片时,那么系统整体最多能够吸收的突发微浪涌流量是12MB,而另外12MB(两片)的报文缓存能力则被闲置着。反观统一共享报文缓存架构,因为所有的报文缓存能力在所有物理接口之间统一共享,无论突发微浪涌流量从哪个/哪些接口涌入,系统整体在任何时刻所具备的吸收能力都是24MB。

两种报文缓存架构对突发微浪涌流量的吸收能力对比

有实验数据表明,使用专业测试仪器模拟产生大量随机分布的突发微浪涌流量,再将这些流量注入到交换系统中,采用统一共享报文缓存架构的交换系统的吸收能力是采用分片报文缓存架构的6-12倍。

流量分布的均衡性对整体丢包率的影响

显而易见,在云中流量密集、无规律分布的场景中,这种不均衡会给系统的整体丢包率带来不可预测的影响。简单来说,流量分布的均衡性问题出现的根本原因在于芯片在转发不同报文缓存、报文队列中的报文时采用的等时间片轮询算法,这一算法在当前的交换芯片设计中是被普遍采用的。而在采用统一共享报文缓存架构设计的芯片中,这种因为算法所导致的不均衡性已经在很大程度上被架构自身所化解,所以无论从哪个接口进入的报文都能够在转发过程中被尽可能均衡地分布,从而在最大程度上降低系统整体的丢包率。

两种报文缓存架构的流量均衡性分布对比

 

交换芯片的报文缓存机制:
统一共享和分片式

网络设备所采用的交换芯片一般都在其内部集成了报文缓存,用来暂时存储当拥塞发生时来不及处理的数据报文,避免报文丢失给上层业务带来的损伤。交换芯片的报文缓存机制就是云的底层支撑网络应对突发微浪涌流量的最重要手段之一。

交换芯片的报文缓存机制:统一共享和分片式

在目前的交换芯片市场上,不同的厂商、不同的芯片一般采用两种不同的片内报文缓存机制:统一共享报文缓存架构和分片报文缓存架构。顾名思义:

统一共享报文缓存架构中,芯片内部集成了一片大的报文缓存,而所有收发业务报文的物理接口则统一共享这一片大的报文缓存;

而在分片报文缓存架构中,若干片较小的报文缓存共同组成了芯片内部的报文缓存,相应地,所有的物理接口也被划分成了不同的组,同一组内的物理接口则共享对应的一小片报文缓存。

例如,在一个拥有32个物理接口、24MB报文缓存的交换系统中:

  • 如果交换芯片采用统一共享报文缓存架构,则这32个物理接口是共享这24MB报文缓存的;
  • 如果交换芯片采用分片(4片)报文缓存架构,则意味着32个接口被分成了4组,每组中的8个接口共享6MB的报文缓存。

隧道内层分流技术


技术实现

在MPLS、GRE、GTP等有隧道封装情况下的,要实现基于隧道内层IP五元组分流需求,一般分流设备需要通过FPGA、MIPS等硬件处理来实现,我们的SF3000/SF8000系列产品就是基于MIPS实现,基于FPGA、MIPS等方式实现的内层五元组分流方案,单台设备的处理性能通常只有几十Gbps,成本较高。
PacketFabric系列产品可以提供低成本高性能的的解决方案,该系列产品基于可编程交换芯片的支撑以及优化的软件设计,不需要FPGA、MIPS支撑,即可以识别隧道封装,并实现基于隧道内层IP五元组的分流,基于该方案,单机性能提升10倍以上,从而大幅降低用户的部署成本。

优势特点

  • SpekFabric系列及PacketFabric系列均支持隧道内层的五元组分流;
  • PacketFabric系列提供业内最高性能隧道内层的五元组分流方案;
  • 由于基于可编程交换芯片实现内层五元组分流,单机性能提升10倍以上,为当前业内极致性价比的解决方案;

概述

在移动互联网应用场景下,通常有GTP隧道内层五元组分流需求,在固网应用场景下,通常有MPLS、GRE等内层五元组分流需求,在云数据中心网络中会有VxLAN内层五元组分流需求,另外,在部分IPv4、IPv6共生的网络环境下,还有IP隧道封装情况下的五元组分流需求。
中创腾锐SpekFabric系列及PacketFabric系列产品均支持隧道内层的五元组分流功能,其中PacketFabric系列产品可以提供极致性价比的隧道内层五元组分流解决方案。

隧道内层五元组分流

ATCA架构设计


技术背景

ATCA(Advanced Telecom Computing Architecture)架构设计是一套由国际技术组织定义的基于模块化结构的、兼容的、并可扩展的先进硬件构架,广泛应用在通信网络、工业控制等各种领域。为了向更大容量、更高端口密度、更多业务模块协同配合,中创腾锐在网络可视化领域引入ATCA并发扬光大。

ATCA架构图

技术实现

中创腾锐SpekFabric12000系列业务洞察交换机基于ACTA架构设计,支持双星(2*100G背板连接)、双双星(4*100G背板连接)配置方式,提供大容量、高可靠、高性价比的选择。
除了标准化的集电源、风扇、背板等于一体的机框,还为ATCA提供多样化的板卡。主要板块类型包括:

交换板:主要用于星型、双星、双双星等背板结构下各板卡之间的高速数据交换互连;

业务处理板:各板卡处理各自的网络计算业务。在移动互联网可视化方案下,业务处理板又进一步区分为两大类:IP信令处理板和CP信令分流板。IP板主要完成信令解析和话单输出(统一DPI格式的CDR),CP板卡则完成信令数据的关联及用户数据打标输出;

线路板:完成高速汇聚分流功能;

RTM后接口板:主要用于连接高密度网络业务接口。

优势特点

  • 容量更大、端口更多;
  • 多种业务板协同联动;
  • 开放架构可按需扩展;

动态负载均衡技术


技术实现

中创腾锐的动态负载均衡输出容错保护机制技术实现如下,当一条负载均衡链路输出出现故障时,仅故障链路涉及的流量需要重新计算并分配到其它活跃链路上,其它活跃链路上的流量不需要进行重新分配,从而可以最大程度降低故障影响。

优势特点

  • 容错保护,保证高可用性;
  • 响应速度快,故障影响小;
     

概述

在进行流量负载均衡输出时,为了保证系统的高可用性,需要考虑当某个业务输出端口Down掉时,能够保障将该端口上的业务流量通过其它Link端口传送给后端分析系统,而不造成流量丢失或中断,为此中创腾锐设计了动态负载均衡输出容错保护机制。 

动态负载均衡容错保护机制

DPI&DFI技术


技术背景

中创腾锐以会话为基本维度对网络数据流量实时分析与分类,实现对报文和会话流的深度检测、识别和关联。所谓深度检测,是相对普通(浅度)检测而言。普通报文检测只检测四层及以下特征分类(即源/目的IP号、源/目的端口号、协议号),无法感知应用层情况。而深度检测则能够在普通检测基础上增加应用层分析,把各种网络应用真正细致分辨识别出来。

DPI深度包检测示意图

 

技术实现

中创腾锐DPI技术模块提供简单灵活的特征规则描述语法,通过定义端口、特征字符串及PCRE 正则表达式描述应用协议;特征协议规则由配套编译器编译后,可以动态加载到硬件系统上,实现特征的在线无缝切换。
中创腾锐DPI应用协议规则主要特点如下:

  • 支持特定PCRE 子集的正则表达和逻辑组合
  • 应用协议规则可灵活定义优先级
  • 支持HTTP 域限定描述(如Host/URI/User-Agent)
  • 支持非标端口HTTP 报文检测
  • 支持FTP/TFTP/DNS等协议关联识别
  • 内置跨包检索支持
  • 规则支持在线热切换
  • 用户可自定义达8000 类应用协议特征

优势特点

  • 灵活的运用规则定义和处理
  • 高效的内置逻辑和信令解码
  • 智能的会话关联和合成技术

高性能硬件平台


优势特点

  • 高处理性能

采用MIPS多核处理器(可达48核),充分发挥了各协处理单元的加速能力,可以从容支持如报文分析、TCP处理、加解密算法、正则匹配搜索、压缩解压缩等典型网络业务分析处理功能的高性能实现。

  • 开放系统架构

可灵活选配MIPS或ARM多核管理CPU,实现对现有软件应用的快速适配。

  • 高端口密度

采用新一代数据中心交换芯片,在1U单位空间上最多支持多达48个万兆以太网接口,典型的L2-L4层报文处理可以在交换芯片中实现480Gbps的全线速处理;而典型的L4-L7层报文,则可以进一步上交到多核处理器中进行处理。

此平台还可以支持通过40GE QSFP+接口实现多处理节点级联。

  • 扩充能力

高性能硬件平台支持以静态配置模式提供在既有的1U空间内增加额外的多核处理节点,通过CPU处理节点扩充,用户可以在主板成熟软硬件系统解决方案上极其方便的增加自己的软件扩充模块,以松耦合的方式实现多个软件模块的高效集成。

  • 绿色功耗

从内存设计到电源设计,从网络接口交换子系统设计到CPU子系统设计,充分考虑了高端设备在现实机房中的节能要求,现网案例表明,单CPU节点满负荷典型应用的功耗仅160W,是类似其他主流CPU应用系统功耗的1/3到1/5。

技术背景

今天,面向数据中心网络和LTE网络流量的各种分析、安全和管理应用需求飞速增长,中创腾锐推出的统一硬件平台,基于多核网络处理SoC和新一代数据中心交换芯片,秉承中创腾锐多年优秀的网络业务分析产品研发设计经验,为这些应用提供了一个高性能、高密度、低功耗、易交付的应用开发和部署平台。

高性能硬件平台架构图

中创腾锐高性能硬件平台采用高性能多核处理器+大容量交换平台相结合的架构,典型的L2-L4层报文处理可以在交换芯片中直接全线速处理;而典型L4-L7层报文,则可以进一步上交到多核处理器中进行深度业务处理。从而兼顾高效的处理性能和灵活的业务适应性。

报文去重


技术背景

报文去重就是去掉采集到的重复报文。在进行网络可视化分析(如APM/NPM)应用时,为了保证数据采集的完整性,通常会在网络的不同节点位置进行流量采集,这时往往会采集到同源报文,报文去重就是要去除同源报文中的冗余部分,保留1份数据报文输出给后端的网络可视化分析系统,如果不进行报文去重处理,会给后端系统带来一系列的不利影响,例如增加处理压力、增加业务合成的处理复杂度、增加业务统计的处理复杂度等。为此,中创腾锐SpekFabric系列产品提供了优化设计的报文去重算法,在满足报文去重处理的同时,保证优异的处理性能。

SpekFabric报文去重示意图

技术实现

基于SpekFabric系列优化设计的去重算法,可去除高达1秒滑动时间窗口范围内的重复数据包,单机去重性能高达80Gbps。

可以适应不同场景部署需要,支持自定义匹配偏移和深度,也可以忽略比对数据包包头特定标识位。

优势特点

  • 提升后端监控系统处理效率
  • 优异的去重性能

报文脱敏


技术实现

SpekFabric系列支持数据包脱敏处理,可以支持多种方式的脱敏处理,如对报文进行指定偏移位的截短处理、对指定偏移位的敏感字节进行隐去或替换,对匹配字符串进行隐去或替换,也可以直接针对关键字进行脱敏处理。

优势特点

多样化的脱敏方式,满足不同应用场景部署的需要。

技术背景

伴随着网络技术和大数据应用的发展,网络大数据创新应用越来越多,而大数据基于自身特性所带来的特殊法律风险也越来越突出,数据合规要求越来越受到重视,数据合规的一个重要的技术手段是信息脱敏,之所以要进行信息脱敏,一方面对于金融、能源、政府等行业需要满足敏感数据防护的政策合规性要求,另一方面对于运营商、公有云等也需要满足对客户信息防护的需求。中创腾锐SpekFabric系列产品提供了多样化的数据报文脱敏技术,包括数据报文截短、匿名化处理、加密处理等。

报文脱敏

报文截短


技术背景

数据报文截短主要是指对采集到的数据报文截短成指定的报文长度后进行输出。

在网络安全监控、视频安全监控、网络性能及业务性能监控、数据合规安全保障等众多旁路监测分析领域,需要对全网业务流量进行采集和分析,一方面全网采集数据量巨大,另一方面采集的网络流量中也存在着大量的无用数据载荷。很多旁路监测分析系统(如性能监控类)只关心网络层面的数据或多少个字节以前的数据(比如提取某些应用层协议头部包含的元数据信息)即可完成相应的监测分析功能,这些系统并不关心数据包净载荷部分,如果全量数据采集,监测分析系统网络接口带宽受限,系统性能也无法承载大流量分析能力,因此,需要将采集的流量先进行数据报文截短,降低数据流量带宽,提升监测分析系统效率,进一步降低系统部署成本。

另外,在安全监控场景下,通常需要对采集到的原始数据报文存储半年甚至更长时间,如果全量存储的话,对用户而言,存储压力是非常大的,同时还造成了不必要的资源浪费,数据报文截短功能将数据报文中监测分析系统不关心的数据载荷部分截掉,只留下有用部分(数据包包头及含有元数据信息的应用层协议头部),可以大幅度减轻的存储压力和存储成本。

数据报文截短示意

技术实现

中创腾锐提供完善的数据报文截短方案,支持在入接口进行报文截短,也支持在出接口实现报文截短,截短后的报文长度可以设置。

优势特点

  • 该技术可以广泛应用于视频专网安全运维领域、数据中心性能监控(NPM/APM)领域、安全合规保障等应用场景。

  • 报文截短技术,可以极大的降低数据流量带宽,提升后端监测分析系统处理效率,减少数据存储,降低系统部署成本。

  • 提供一种最简单、高效的信息脱敏方式,满足金融、、能源、政府、运营商等行业数据合规规定和国家相关规律法规要求。

SSL解密监控方案


技术实现

为满足SSL解密监控的需要,SpekFabric3000系列设备需要能够获取到服务器端的CA数字证书,从而可以解密客户端和服务器端的通信过程,完成解密监控的需要。此场景下,SpekFabric3000系列设备为旁路监控部署,不对原有通信过程施加任何影响。

SpekFabric3000系列设备也支持串接部署模式,该模式下,SpekFabric3000系列设备利用通过一定的渠道获得合法证书,接管用户的SSL连接请求( TCP端口443 ),并与用户端和服务器端分别建立SSL连接,从而可以全面监控用户的SSL连接请求(类似于实施了SSL中间人劫持方案)。

优势特点

对于解密后的业务流量,可以按照后端监控系统的实际需求进行分流或过滤以后,提交给后端,满足解密监控的需要。

技术背景

某些安全监控类应用场景下,需要对Https(即SSL)的业务流量进行监控,在此场景下,如果想对SSL加密以后的业务流量进行监控,唯一的办法就是要对SSL进行解密,为了满足这一监控需求,中创腾锐SpekFabric3000系列产品提供了SSL解密监控方案。

SpekFabric3000系列SSL解密监控示意图