基于AI技术的IP资源可视化管理系统研发

摘要：随着国家IPv6战略的推进，IPv4与IPv6两种资源将长期双栈并存。建网以来，河南联通IP资源的维护管理，依靠传统的人工手动分配和Excel表格统计方式，还未实现系统化数字化管理。现有的维护模式，无法满足5G时代物联网、工业互联网等广连接业务对IPv6地址的爆发式增长需求，对未来IP地址的统计分析、日常维护、自动化分配、地址溯源、IP安全审计等都将带来极大的考验。本项目通过AI和大数据技术，对全省IPv4和IPv6地址资源进行线上系统化管理，摒弃长期以来使用传统excel手工管理的模式，解决了河南联通IP地址管理工作中存在人工参与度过高、手工台账、信息错漏、无法自动稽核、缺乏全流程管控等问题，实现了IP资源维护管理工作的全面数字化转型。

关键词：IP去重；IP异常分析；IP智能画像；IP管理；IP可视化

1 概述

长期以来，河南联通缺乏 IP 资源维护的数字化管理手段。IP 资源由省级分公司从集团申请后，按照大段地址分配至各市级分公司。各市分工公司再将大段地址按业务需求进行细化，分配给客户网络侧或骨干设备侧，整个 IP 资源的规划、分配、管理都依靠电子表格（excel）的方式进行手工静态管理。未来 5G 物联网、工业互联网等终端广连接业务，对 IPv6 地址的爆发式增长需求，使现网环境中的 IPv4 和 IPv6 两类资源长期共存，与 IP 相关的业务越来越繁杂，基于 IP 资源的安全管理要求 也越来越严格。在此背景下，我们组建技术专家团队研 究基于 AI 和大数据技术的 IP 资源管理方案，建设全省统一的 IP 资源可视化管理系统，标记已入库 IP 地址使用状态，实现全量 IP 地址的动态管理。根据业务使用申请进行自动化分配，能够自动比对全网的活跃 IP 地址和已入库地址，从而自动发现未入库的异常地址，能够自动审核 IP 地址管理信息，形成 IP 地址数字化闭环管理体系。

2 系统研发思路

2.1 IP资源管理现状

当前河南联通对 IP 地址资源的管理主要依赖通过手工录入 excel 的方式管理。IP 地址管理员通过 excel 记录已经分配的 IP 地址，每次下面地市管理员申请 IP 时，上级 IP 管理员需要在 excel 中筛选出尚未被占用、 可供分配的 IP，易出现重复分配的情况。个别地市有独立的自行维护的简易 IP 管理系统，但缺乏跟其他地市的 IP 数据联动，在进行系统间的信息传输时，会因技术不同、标准不同、协议不同等问题形成信息孤岛。分地市建立独立的管理系统，不论从经济费用、人力消耗、 时间消耗、数据准确性等方面，都不是实现对全省 IP 资源精准智能管理的最优方案。

2.2 存在问题

IP 资源的日常维护过程中，经常遇到以下问题：

（1）IP 管理人员进行 IP 规划、IP 地址分配等工作时，因用手工方式导致效率低、易出错；

（2）已分 IP 资源缺乏信息化手段支撑，数据无法实时更新记录。现网中已分配但是没有被纳管的 IP 地址无法做到实时预警提示，存在使用对象不明确、监管失效的问题；

（3）业务开通过程中，无法实现地址资源的自动分配能力，造成交付效率低，稽核难度大；

（4）IP 数据繁杂，缺乏有效的技术手段，对 IP 资 源进行数字化、可视化分析，无法实现全量资源的数据查询、数据挖掘、资源画像等能力。

2.3 系统建设目标

鉴于全省 IP 地址管理的现状和存在的问题，明确项目研发目标形成全省统一的 IP 地址管理体系，由河南联通省级管理员及 18 个地市级管理员分权分域共同维护。通过 AI 和大数据分析等智能化技术，对全省的 IP 地址数据进行统一管理。本系统主要研发方向和创新点如下：

（1）IP 智能去重计算：在量级巨大的 IPV4 和 IPV6 地址池中，通过系统内置的子网拆分算法，在地市申请 IP 地址时，网络地址管理员通过系统，可以智能去重，精准筛选出可供分配使用的 IP 地址，大大减少人力筛选的成本。

（2）异常 IP 分析：系统通过对接路由表，DNS 系统，结合大数据混合运算，将各个地市上报到系统的 IP 与路由表、DNS 系统的 IP 进行对比分析，识别出未纳入系统管理的 IP，此类 IP 就视为异常 IP，之后通过系统消息发送，推送给对应的省市管理员，方便管理员针对上报 IP 数据进行直接管控，增强了系统 IP 数据的实时性、准确性。

（3）IP 智能画像：应网安部门的要求，需要从 IP 安全角度出发，对 IP 的历史使用轨迹进行分析，然后形成 IP 智能画像，显示 IP 从申报、到使用、到回收等全生命周期的历史痕迹。在出现 IP 安全责任事故时，方便信安、网安部门进行溯源追责，满足安全责任事故要求。

（4）IP 可视化展示：对手工录入的 IP 数据、系统 自动采集的 IP 数据、异常告警的 IP 数据等多维度数据进行大数据处理、统计与分析，然后通过柱状图、饼状图等多种图形化方式进行 IP 可视化展示，展示维度包括告警数据、地市 IP 数据情况、地图 IP 数据热力图等。系统使用通用 X86 服务器架构，支持物理机和虚拟机部署。IP 智能去重使用分布式计算模式，可 组建服务器群进行并行计算，平滑提升分析能力，可灵活调度计算能力，实现不同运算速度的主机并行工作。主机故障时计算任务自动分配到其他计算单元进行处理。IP 异常分析使用实时监控工作模式，对实时录入的 IP 数据进行合规性异常校验，及时将当前 IP 资源跟 DNS 系统、路由表中 IP 进行对比，梳理出异常 IP 记录，保证 IP 地址的正常可用性。IP 智能画像使用主备机工作模式，符合电信级运营服务标准，负责 IP 地址的申报历史、使用历史、回收历史等多种信息，并具有灵活的扩容架构。 IP 可视化展示使用数据实时处理工作模式，实时对 IP 数据、告警数据、使用情况等数据进行实时处理，通过可视化的方式展示 IP 多维度数据。

3 系统设计原理

3.1 系统整体架构

系统整体软件架构分为三层：数据管理层、数据分析处理层和结果展示层。

3.2 数据管理层

数据管理层主要针对全省录入的 IP 地址信息形成完整的基础资源库，分为：待验证库和正式资源库两个。待验证仓库中的 IP 资源为未确认或存疑数据，正式资源库中的 IP 资源数据为正式管理数据。

外部导入到系统的 IP 资源数据存在待验证仓库中需要运维人员进行确认后导入正式资源库。IP 资源包括网络设备地址、互联中继地址、用户 IP 地址三类，支持对 IP 资源进行管理和维护操作。通过智能算法识别库内 IP 资源冲突的情况，在新增资源时，系统使用 IP 地址去重算法，会自动比对校验导入数据和资源库数据的资源。先将所有数据导入中间件 active MQ，批量处理程序将执行对比操作，将所有导入数据中不正确的数据标记出来，从而反馈到页面提醒用户哪些数据有错误，并且会提示详细的错误原因引导用户进行排查。

同时系统针对 IP 资源进行分权分域管理，各个地市管理员只能看到自己录入的 IP 数据，省级管理员可维护全省的 IP 地址资源，保证 IP 地址的安全性。IP 资 源模块会通过算法，以网段表、子网表、IP 表的结构分块存储在数据库，网段、子网、IP 资源之间保留关联关系，精确到 IP 地址的管理，最大化地利用了 IP 资源池，对于网络资源的分配和后续管理都有极大的帮助。

3.3 数据分析处理层

数据分析处理层主要针对录入到系统的 IP 地址资源，从系统层面实现 IP 地址的去重和异常 IP 的检测分析功能。

3.3.1 IP地址去重

IP 地址去重是在 IP 自动分配时，通过系统内置的算法实现子网拆分、合并、去重，进而从资源库中，筛选出可供分配的 IP 地址。

（1）IP 子网拆分：依靠 AI 算法，将一个大的网段根据掩码来拆分所得多个子网，并且更新 IP 资源库中每一个 IP 的网段归属情况，拆分后可以预查看拆分可得到的网段，并且可修改拆分出来的子网对应的属性，保存后，原先属于拆分前子网的所有 IP 资源，都将根据填写的新子网的信息进行更新，归属于新的子网。

（2）IP 子网合并：IP 子网合并是将两个或 2n 个符 合 IP 合并规则的子网合并成一个大的子网，根据最终的掩码会根据选中的子网大小来计算得出合并所得到的子网大小。并且原有子网下所有 IP 都将被自动被规划到合并后的子网中。

（3）IP 去重算法：在计算 IP 地址去重的时候，先将 IPV4 地址转换为十进制，保存在数据库中。

IP 去重算法及自动分配算法原理：系统针对用户填写的 IP 地址掩码，基于 AI 算法，对系统内部规划的 IP 子网地址进行智能拆分或者合并，计算出满足用户需求的子网地址，分配算法通过对比地市、自治域、用途、掩码（前缀）等参数，找到可分配资源池中状态为未占用的资源，展示出所有可以选择的网段出来，用户可以自行选择需要的网段下边的符合条件的可选 IP 资源进行分配占用，最终实现 IP 地址的分配。

先获取可供分配的网段列表，按照 30 个网段为一组，使用多线程和计数器分别去处理每一组网段。每一个线程都要检查网段下是否有可供分配的子网，寻找到合适的网段，然后排除完全符合条件的子网，寻找可以合并或拆分的子网。寻找该网段最小子网，如果最小子网的子网掩码大于输入的掩码，则查看是否可合并。如果最小子网的子网掩码小于输入的掩码，则查看是否可合并。正序排列，取最小子网，掩码数最大。计算过程中，需要判断掩码数是否相同，没有被使用的子网个数，根据合并子网的需要，进行拆分计算，同时也要计算子网下已经被使用的数量，以及并子网需要的子网个数。如果某一个子网存在已经分配过的 IP，需要特殊处理，判断是否可以使用其中的一段。具体做法是获取拆分后的子网中所有的 IP，查询这些 IP 中有没有被使用的。通过掩码查询到的网段，再通过网段拆分出来的子网去对比数据库子网表数据，如果子网存在，则看有没有被使用，如果被使用，则对比下一条子网数据。如果没有相同掩码的子网，则找有没有掩码位数 -1 的子网，并用系统工具类拆分两个子网。如果 -1 也没有，则使用 -1-1 的方案直到找到可以拆分的子网为止。同理合并需要 +1 去找。最终将计算出的可供分配的网段数据、子网数据按照 IP 升序返回即可。

3.3.2 异常IP资源检测

系统通过接口接收全网路由表信息和用户 DNS 域 名解析数据，结合大数据混合运算，将各个地市上报到系统的 IP 与路由表和 DNS 系统的 IP 进行对比分析，识别出在网使用但未纳入系统管理的 IP，并将此类 IP 标记为异常IP，通过系统消息推送给对应的省市管理员，方便管理员针对上报 IP 数据进行直接管控，增强了系统 IP 数据的实时性、准确性。

异常 DNS 活跃 IP 检测原理：用户的 DNS 域名解 析数据中，记录了 IP 的活跃程度以及所属地市，只要存在 IP 访问过 DNS 系统就证明该 IP 为在线使用的活跃 IP。通过 sftp 的方式定期从接口获取活跃 ip 数据，以 txt 文本方式存放 600 多万活跃 IP 数据。将 DNS 活 跃 IP 数据入库。系统通过执行 python 脚本，读取 txt 中的 IP 数据，读取过程中过滤掉私网 IP 地址，只保留公网 IP，最后将过滤后的 IP 数据保存到 mysql 数据库中。通过对比系统内已录入的全量 IP 数据与 DNS 系统的活跃 IP 数据，当 DNS 活跃 IP 未录入或归属地市信息不准确时，将该数据标记为异常 IP。针对对比出的异 常 IP 数据，系统会保存在数据库中，这些 IP 是需要管 理员进行补充录入或修改 IP 资源信息的，系统会推送相关 DNS 异常 IP 消息到系统站内信中，管理员可在系统内随时查阅异常 IP 并进行处理。

异常路由表活跃 IP 检测原理：全网路由表中记录了 IP 资源所在的路由表相关信息，只要路由表存在的 IP，就证明该 IP 为在线使用。由于全省每个地市采用一个独立的 AS 自治域管理，因此系统通过接口分地市获取各自 AS 的明细路由，注意区分华为、贝尔等厂家不同格式的路由信息。系统会自动识别路由表表头来匹配对应的解析方法，通过程序解析路由表内容，获取路由表的 Network 字段、 NextHop 字段，同时过滤掉不需要的下一跳对应的 IP 地址，然后将过滤后的数据保存到 mysql 数据库中。将已录入的 IP 资 源数据逐条比对路由表数据，当匹配到用户 IP 资源与路由表中路由数据出现 IP 起始结束地址不一致或不存在的数据，该 IP 资源会被标记为异常数据。针对异常 IP 数据，系统会保存在数据库中，这些 IP 是需要管理员进行补充录入或修改 IP 资源信息的，会推送相关路由表异常 IP 消息到系统站内信中，管理员可随时查阅异常 iP 并进行处理。

所有异常数据都会以 IP 地址、IP 用途、地市、异常类型进行存储。管理人员可以通过地市来分权分域展开一场排查工作，根据 IP 地址快速锁定问题 IP 对应的网络设备和客户。及时发现和解决全省 IP 地址的漏覆盖情况，避免因人为因素给公司带来的网络信息安全隐患和相应的经济损失。异常 IP 检测后台部署了一套 DNS 数据对比和路由表数据对比服务，通过定时任务执行的方式开启对比服务来判断系统中 IP 资源的异常状况，并通过站内信等方式提醒用户解决异常问题。如下图所示：

3.4 结果展示层

结果展示层主要是对 IP 数据分析处理后的结果进行汇总展示，对 IP 资源系统中的多维度数据进行统计、分析与展示，通过可视化的方式直观了解全网的整理 IP 使用情况、告警情况。其中主要的创新点为 IP 智能画像和 IP 可视化。

3.4.1IP智能画像

从全省网络安全的角度出发，对 IP 的历史使用轨迹进行分析，然后形成IP智能画像能力，显示IP从申报、分配、使用、异常检测、回收等全生命周期的历史痕迹。 可以在网络安全责任事故时，快速协助信安、网安相关部门进行溯源追责。IP 智能画像在构建过程中，本质上是将 IP 数据组合成 IP 数据特征，从而形成 IP 的数据模型。IP 数据在量化之后主要是以标签为主，标签的定义拆分为三个步骤，分别是层级、生产以及权重。

（1）层级：分为原始标签、事实标签、模型 & 预测标签、策略标签。

原始标签来源于 IP 基础信息、IP 地理位置、IP 访问数据、IP 异常记录。

事实标签来源于：IP 属性、网络属性、IP 类型、访问频次、平均日活、异常频次。是对原始数据进行统计分析后的初步提炼结果。

模型&预测标签来源于：IP属性、活跃度、网络属性、地理属性、风险度、异常频次、访问偏好。模型标签是由一个或多个事实标签组合而成，是基于模型训练的结果。以模型标签“风险度”为例，它是由活跃度、异常频次、访问偏好这几个事实标签组合而成的。以已有的模型标签数据作为特征，经过机器学习生产的标签，就作为预测标签。

策略标签来源于：IP 价值分层、IP 活跃分层、IP 异常分层。策略标签，则是 IP 标签构建的最终目的，根据目的提炼 IP，并对用户进行定向的活跃分析、异常分析等。

（2）生产：分为基于规则定义的标签生产方式、基于主题模型的标签生产方式。基于规则定义标签，就是根据固定的规则，通过数据查询的结果生产对应的 IP 标签。

主题模型，目的是找到 IP 访问偏好，它将内容划分为了 3 个层级：分类、主题、关键词。在 IP 标签中，我们可以参照分类算法将 IP 进行聚类，使用关键词的算法挖掘 IP 的偏好，从而生产标签。中间涉及的算法有：线性支持向量机、逻辑回归、文本挖掘算法：TF-IDF。

行为类型权重，指的是对于同一类标签，由于其行为的轻重不同所以权重不同。时间衰减因子，时间衰减因子体现了标签的热度随着时间逐渐冷却的过程。

3.4.2 IP资源可视化

对手工录入的 IP 数据、系统自动采集的 IP 数据、异常告警的 IP 数据等多维度数据进行大数据处理、统计与分析，然后通过柱状图、饼状图等多种图形化方式 进行 IP 可视化展示，展示维度包括告警数据、地市 IP 数据情况、地图 IP 数据热力图等。

（1）IP 数据概览：通过大数据统计分析能力，在 IP 可视化大屏上展示 IP 系统中总体的 IP 数量、IP 网段 数量、不同类型告警的数量、已使用 IP 数、活跃 IP 数等，通过该模块用户可以快速了解 IP 的总体数据。

（2）IP 使用情况可视化展示：对 IP 系统内的 IP 规划、IP 使用情况、IP 空闲等业务数据进行统计分析，然后按照省市县三级进行归类，再通过柱状图的形式进行展示，方便用户直观了解 IP 数据的使用情况。

（3）IP 告警数据可视化展示：对目前的告警异常数据进行采集、分类。然后通过折线图的方式展示时不同种类告警在不同时间段的告警数量。告警数据也支持全省、全市、区县等下钻展示，用户可直观了解 IP 数据的告警情况。

（4）IP 统计排名可视化展示：对 IP 数量、告警、使用情况等多维度数据按照地市、区县等进行数据统计分析，然后通过柱状图的形式对地市、区县进行数据排名，管理人员可以快速了解各个地市和区县的 IP 相关数据排名。

（5）IP 数据地图可视化展示：通过地图的形式展示各个地市、区县的数据使用情况，不同数据量通过不同的颜色进行区分展示；地图上可展示 IP 数据的流向；地图支持多层钻取。IP数据地图可直观查看各个地域的 IP 数据情况。

（6）IP 可视化数据分权分域查看：可对不同用户配置不同的数据查看权限，省级管理员可查看全省数据，地市管理员可查看地市 IP 数据，区县管理员可查看区县数据。通过数据的权限管控，保证数据的安全性，防止数据泄露。

4 效果展示

本项目自 2020 年 5 月系统正式上线，目前已推广至全省 18 个市分公司使用，成为河南联通在网络维护和 IP 地址资源管理工作中的重要支撑手段，取得了良好的效果。

4.1 IP地址总览

目前系统已完成了河南联通 IPv4 和 IPv6 数据的收录，IPv4 总数 611.8 万个，已分配 557.2 万个，IP 资料入库条目数 9.2 万条。

图7 IPv4资源情况

IPv6 资源收录情况：按 /64 前缀的地址块个数统计，IP 总数 100.3 亿个，已分配 2 亿个，IP 资料入库条目数 1519 条。

图8 IPv6资源情况

4.2 IP自动分配

通过系统去重算法，将导入的一个或数百上千个 IP，通过 IP 地址转化成十进制数首先进行范围匹配，再进行精确的 IP 匹配，最终可以将导入的所有 IP 的关联数据查询出来，关联数据包括 IP 地址、资源类型、 IP 类型（IPv4 或 IPv6）、录入方式、录入时间、以及相关责任人等信息。对系统内部规划的 IP 子网地址进行智能拆分或者合并，计算出满足用户需求的子网地址，分配算法通过对比地市、自治域、用途、掩码（前缀）等参数，找到可分配资源池中状态为未占用的资源，展示出所有可以选择的网段出来，用户可以自行选择需要的网段下边的符合条件的可选 IP 资源进行分配占用，最终实现 IP 地址的分配。

4.3 IP异常检测智能分析

系统使用 IP 异常智能检测算法，结合全省入库 IP 资源、用户dns域名解析、全网路由表的大数据关联分析，实现了对在网运行但未录入 IP 资源的自动发现与预警功能。异常 IP 记录如下图：

通过系统上线一年多的整治工作，现在系统内的异常IP数据已经大幅下降，异常IP数从整治前的55316个，减少到 896 个降幅 98.38%。

4.4 IP智能画像

系统基于 IP 智能画像 AI 算法，结合域名解析系统、信安专线系统、IP/ICP 备案系统等数据，对 IP 地址库的录入数据进行关联分析，实现 IP 所有关联信息的快速查询展示，对 IP 资源分布、使用轨迹、历史情况等信息的精准溯源。能够对 IP 地址进行深度图谱画像，可视化展示所有 IP 关联数据信息。

4.5 IP资源可视化

对手工录入的 IP 数据、系统自动采集的 IP 数据、异常告警的 IP 数据等多维度数据进行大数据处理、统计与分析，然后通过柱状图、饼状图等多种图形化方式进行 IP 可视化展示，展示维度包括告警数据、地市 IP 数据情况、地图 IP 数据热力图等。

5 结语

本项目通过 AI 和大数据技术，对全省 IPv4 和 IPv6 地址资源进行线上系统化管理，摒弃长期以来使用传统 excel 手工管理的模式，解决了河南联通IP 地址管理工作中存在人工参与度过高、手工台账、信息错漏、无法自动稽核、缺乏全流程管控等问题，实现了 IP 资源维护管理工作的全面数字化转型。项目提高了河南联通维护人员的工作效率和企业效益，提升了对 IP 地址的安全监管能力，系统可复制性、可推广性良好。

参考文献：

[1] 宋建.基于网络拓扑测量的IP地址定位系统的设计与实现[D].北京:北京邮电大学,2015.

[2] 杨尉,冷小洁,栾卫平,等.IP地址管理模式[J].电子技术与软件工程,2017(8):42-46.

[3] 王阳.从“精细化管理”到“精准化治理”—以上海市社会治理改革方案为例[J].新视野,2016(1):29-32.

[4] 匡珍春.Oracle数据库优化设计探讨[J].信息安全与技术,2016(02):69-71.

[5] 耿雪莹.基于SNMP IP地址管理系统开发与应用[J].黑龙江电力,2017,39(01):92-94.

[6] 杨尉,冷小洁,栾卫平,等.IP地址管理模式[J].电子技术与软件工程,2017(15):30-31.

（本文转自《电子产品世界》杂志2022年第6期）