0 引言
“十四五”时期，交通强国、交通新基建、数字交通进入加速建设关键期，高速公路行业数字化转型与业务应用协同一体化运行，是实现高速公路高质量发展的重要抓手。随着取消高速公路省界收费站工程并网切换的顺利完成，大数据、人工智能等新技术在高速公路联网收费领域的融合应用不断深化，高速公路进入数字化、智能化发展新阶段，为全国联网收费运营体系的优化完善奠定了坚实基础。
高速公路数据具有多源异构、体量庞大、类型繁多、速度快、时效高、价值密度低、分布不均、数据关联性强等大数据特征[1-2]。当前，高速公路数据资源的采集、汇聚初具规模，共享应用水平不断提升。部分省份已先期启动了高速公路大数据探索，通过数据融合分析实现了高速公路的智慧化管理[3]。众多机构与学者针对高速公路大数据技术融合应用开展研究，覆盖诸多领域。在数据架构方面：鞠军等[4]提出了省级高速公路大数据中心技术方案，建设开放共享、弹性扩容的大数据云平台；吴松[5]结合云边端技术提出了大数据稽查系统的整体架构，提升系统可靠性、可扩展性，降低云中心的处理压力。在运营监测方面：臧志伟等[6]采用人工智能、大数据等技术构建全流程在线闭环的高速公路智能监管平台，提升高速公路运营管理的精准性和智慧化水平；刘艳丽等[7]结合机器学习算法分析收费大数据，提出短时交通流量预测模型，支撑路网运行管理，提升通行效率。在收费稽核方面：李广[8]提出了基于大数据的收费稽核系统实现方案，实现逃费车辆的自动筛查；刘昱岗等[9]基于数据挖掘分析假冒绿通车的时空特征与通行特征，实现对假冒绿通车逃费行为的预测；王俊健等[10]基于深度学习设计了车辆特征识别以图搜图的搜索技术，实现高速公路逃费车辆图像稽查。在建设养护方面，胡娟[11]设计了基于大数据的高速公路智能养护系统，实现运营路网管理信息化、检测数字化、养护精细化；张成帅[12]利用大数据分析与展示技术构建路面性能预测模型和养护科学决策模型，实现路面养护智能化决策；金明等[13]通过挖掘实时数据和历史数据，实现业务可视化展示和养护决策，以支撑预防性精准养护。在安全管控方面：吴迎晖[14]提出了一种基于路网大数据的高速公路应急处置系统设计方案，构建高速公路应急处置“数据大脑”，形成应急处置业务闭环；李宁等[15]基于多源大数据建设高速公路智慧主动管控平台，施行动态限速、匝道控制等管控措施，降低交通事故发生率。在出行服务方面：李旭辉[16]构建了新一代多维信息融合的智慧高速公路出行服务系统，实现高速公路一体化在线出行服务；姜艳霞[17]通过数据采集、处理、计算、分析和预测，构建及时化、综合性的公众出行服务平台，提供应急疏导、运行预测等服务。在分析决策方面：黄浩峰[18]提出了省（市）级智慧高速决策支持系统框架，实现交通状态判别、OD分析、出行特征分析、事件预警等功能，支撑公路运行、养护和管理；黄艳国等[19]采用数据挖掘技术构建交通出行指数，分析拥堵时空特征，支撑交通优化决策；杨阳等[20]基于交通流运行的时空特征建立了动态应急车道开放决策模型，实现高速智慧化调度，提升通行效率。此外，诸多学者针对数据混合存储、数据分析挖掘、可视化决策等大数据技术在高速公路全业务中的闭环应用开展了研究[21⇓-23]。
尽管高速公路大数据相关研究与应用已取得了一定成果，但随着全国取消省界收费站后联网收费系统并网运行，高速公路联网收费数据并发量和结构复杂性已发生极大变化，原有的数据架构、资源调度、采集处理及应用场景已无法完全适应新数据特征与应用需求。具体体现在：一是原有数据组织架构下资源的调度与管理能力无法匹配海量在（离）线数据的处理需求；二是针对大量门架采集端产生的多源异构实时联网收费数据，缺乏有效的数据接入与治理方法；三是面对时空关联性强的复杂业务应用场景，数据分析算法模型的执行效率、实时响应及结果表达能力不足。此外，在数据治理方面，由于缺乏统一的数据分级分类管理，数据质量普遍不高，完整率、准确率、传输及时率等与高效实时数据处理需求存在一定差异。在数据应用方面，数据自动分析能力不足导致与业务深度融合程度不高，应用场景相对较少，数据资源价值尚未得到有效发挥。
新形势下，数据融合创新应用的核心驱动作用凸显，更加需要在联网收费数据的采集、处理、存储、分析、展示及应用等环节强化技术研发，推动高速公路大数据从单一散乱到资源整合、从简单统计到智能决策支撑转变。为此，本文将以湖北省高速公路联网收费业务为典型场景，重点针对并网改造后的数据特征及应用特征，系统性构建基于云边端协同的高速公路大数据平台总体架构，研究云边端服务资源的协同调度、多源全量实时数据的采集处理、基于三次数据融合的数据接入与治理、基于复杂图像特征识别的数据分析、时空可视化数据表达等关键技术的实现，并将其应用于联网收费与运营管理、车辆识别与行为分析、交通运行监测分析等业务场景进行实践验证，以期为提升高速公路精准计费、运行监测、运营调度、科学决策和公众服务能力发挥积极作用。
1 联网收费数据特征及应用特征分析
1.1 数据特征分析
以湖北省为例，联网收费数据具有以下大数据特征：
（1）多源异构，既包括高速公路出入口交易数据、ETC门架计费数据等结构化数据，又包括出入口过车抓拍图片、ETC门架抓拍图片等非结构化数据。
（2）体量庞大，出入口交易数据、ETC门架计费数据单条记录包含超过100个字段、数据量数万字节，交易流水日均近2 000万条。全省有434个收费站、1 000余个实体门架，数据并发量极大。
（3）分布离散，在空间分布上主要表现为基于点状的卡口数据，价值密度低。
（4）实时交互，以还原车辆的行驶轨迹为例，交互要求秒级响应。
1.2 应用特征分析
在高速公路收费业务场景中，每个门架每秒内有多车通行，需要协同前端路侧设备（Road Side Unit, RSU）和车牌抓拍设备，与车辆复合式通行卡（Compound Pass Card, CPC）以及车辆电子标签（On Board Unit, OBU）进行交互。主要应用特征如下：
（1）大规模数据存储、管理。联网收费系统产生的数据具有多源、多时相、多尺度等特征。在数据生产、管理、应用和维护过程中组织管理好海量数据信息，提供便捷有效的检索查询方式，是发挥数据分析挖掘价值的关键。
（2）应用实时响应。目前对高速公路海量实时通行数据缺乏有效汇聚和分析应用，高速公路车辆追踪和路网运行状态大多基于事后分析，不利于运行监测和主动管控。基于关系型数据库的业务库无法支撑大规模的实时数据接入和计算，因此需要基于大数据技术，引入实时计算框架，支撑数据的实时分析应用。
（3）复杂应用场景的数据查询分析。数据量激增和应用场景的复杂化对数据库性能和数据查询分析模式提出更高要求，需要高性能的数据挖掘平台实现算法集成并支持二次开发。
（4）时空关联的辅助决策可视化展示。交通运输行业数据往往与时间、位置相关联，传统图表展示不能直观体现数据分析结果，基于地理时空信息提供数据分析可视化展示服务成为数据有效应用的关键。
2 平台总体架构及关键技术实现
2.1 分布式总体架构
由此，基于Hadoop和边缘云平台，设计构建高速公路大数据平台架构，以边缘式大数据处理模式提升计算能力和数据处理的实时性、安全性，满足对数据资源远程管控、数据处理、分析决策、智能应用的需求。高速公路大数据平台总体架构如图1 所示，实现了高速公路联网收费数据全周期、全要素数据采集汇聚和融合应用。整体架构包括数据资源层、数据缓冲层、数据存储层、数据分析服务层与数据应用层。
（1）数据资源层：实现结构化、非结构化、半结构化数据的采集、预处理，支持关系型存储、列式存储、KV存储、文件存储，并提供实时在线、批量离线等计算服务。
（2）数据缓冲层：把数据转存到本地的kafka +zookeeper 集群中，进行数据的分布式缓存和分发，实现负载均衡，提高数据读取性能。
（3）数据存储层：针对海量交通数据资源，形成关系型、非关系型数据库，实现结构化、半结构化和非结构化数据存储和管理。
（4）数据分析服务层：根据业务需要，建立适用于业务的数据统计分析模型，运用数据挖掘、深度学习等算法发挥数据的内在价值，为业务系统提供数据和决策支持。
（5）数据应用层：基于数据查询、计算、分析、挖掘支撑应用系统和地图引擎，以大屏展示等终端输出形式向高速公路管理者、营运者及出行者提供清分结算、数据稽核、运行监测、车辆追踪、通行计费等应用服务。
2.2 云边端服务资源的协同调度
以典型高速公路收费业务场景为例，门架系统协同前端路侧设备RSU、车牌抓拍设备，与车辆复合式通行卡CPC以及车辆电子标签OBU进行交互。当接入大规模门架数量且单一门架下存在高通行量时，集中式云端管理架构的在线设备读写、计费、传输等功能因需要消耗大量的计算资源而无法适用。
基于边缘计算节点分布式架构，将网络、计算、存储资源下沉，可有效降低响应时延、带宽成本和云端压力[28]。本文以门架、车道级工控机和服务器为边缘计算节点，设计云边端协同架构，通过联动边缘和云端的数据，为大数据应用场景提供高带宽、低时延、高可靠的实时处理分析服务，如图2 所示。云端平台管理门架系统的软件部署、升级、应用监控；智能边缘平台纳管边缘节点关联相关设备，并通过平台提供的容器镜像服务下发容器应用；边缘节点依据下发参数从智能边缘平台拉取镜像部署应用，同时将节点运行状态信息上传云端。
边缘节点的资源分发和管理过程如下：
（1）容器镜像：开发计费服务、门架管理等具体应用，连同其依赖库制作镜像，上传至容器镜像服务；通过平台下发，边缘节点就能够从镜像库中拉取应用镜像。
（2）节点纳管：在边缘节点进行平台注册，实现边缘设备与边缘节点的绑定，将边缘节点纳入云边端协同数据平台的管理。
（3）应用部署：受纳管的边缘节点经过应用部署后运行，利用多个容器应用协同完成复杂业务功能。容器应用运行后，平台对应用进行监控和告警，提供远程监管和运维。
2.3 多源全量实时数据的采集处理
联网收费数据多样性、分散性强，门架、车道等终端设备采集的数据经过传输交互，令云端每秒的数据接收量瞬时峰值可达到近百兆，对于数据并发处理提出极大挑战。针对瞬时I/O高并发量下产生的数据丢失、I/O瓶颈等问题，本文建立了如图3 所示的数据采集处理架构。
在云端接收、处理ETC门架系统和车道系统上传各类数据。数据采集处理流程如下：
（1）前端负载均衡分担数据并发压力，进入数据缓冲层前进行多源数据清洗与预处理，去除重复和不满足数据一致性要求的脏数据；
（2）数据清洗后被实时压入KAFKA集群等待消费者处理；
（3）通过实时处理框架SparkStreaming消费队列数据，不同的消费者从缓冲区获取相应数据，并按照数据分类和使用场景分别进行处理；
（4）按照数据使用场景，数据被持久化到不同类型的数据库；
（5）按照使用场景的不同使用最适宜的大数据技术对数据进行价值挖掘；
（6）以可视化表达的方式展现价值信息。
为有效提高查询效率，采用Rowkey一致化设计，如图4 所示。其中32位哈希散列值为车牌加颜色或者卡号通过哈希散列的32位16进制编码，时间戳为含年、月、日、时、分、秒的14位字符。采用哈希散列，保证相同车牌或卡号的数据存储在同一区域，保障数据在存储中整体分布均匀，有效避免数据分布不平衡导致某一节点数据过热的问题；同时以车牌、颜色、日期为条件的查询更容易转化为Rowkey值进行多条件数据检索查询。
2.4 基于三次数据融合的数据接入与治理
数据接入与治理过程采用三次数据融合策略，使得各类数据通过不同链路接入后，经过数据治理、加工过程满足不同场景的数据应用需求，如图5 所示。
第一次融合：在数据接入阶段，进行数据的分类整理，数据进入数据缓冲池。
第二次融合：在数据治理阶段，进行数据的清洗、除重，组织关联数据进行存储，治理后的数据存储在临时库中。
第三次融合：在数据加工阶段，根据应用场景设计需求对数据进行深层融合加工，数据进入汇总库、融合库和明细库。
针对全量与增量历史数据，通过Sqoop、定制程序等将数据接入到缓冲层的Hive数据库，使用Spark, MapReduce, HQL等执行针对交通运输数据的治理与存储程序，存储与更新到中心数仓；针对实时在线数据的高频次写入，通过Hadoop流式处理组件，基于Kafka进行高吞吐量定制处理，通过SparkStreaming进行数据治理运算，最后再通过Kafka处理入库到HBase中，与中心数仓同步更新到实时库。实时流式数据、离线批量数据混合接入框架，简化了接入治理程序并提高数据接入治理效率。
2.5 基于复杂图像特征识别的数据分析
算法流程如下：
（1）从海量的ETC门架系统抓拍图片中提取车脸特征，以特征为单词构建视觉词典。
（2）视觉词典与ETC门架前端抓拍保持同步更新。
（3）对于每一张ETC门架图片根据TF-IDF（频率-逆文档频率）计算每个词典中单词权重。
对于特定图像，TF值计算公式如下：
式（1）中：TFi表示视觉特征单词i的频率权重； 为视觉特征单词i在图片中出现的次数； 为本张图片中所有视觉单词的个数。
对于整个字典，IDF值计算公式如下：
式（2）中：IDFi表示视觉特征单词i的逆文档频率权重；N为整个视觉词典中所有视觉单词个数；Ni为词典中所有图片视觉单词i的个数。
当前图片视觉特征单词i的单词权重 计算公式如下：
（4）对于当前图片中所有的词典视觉特征单词，均按式（3）计算单词权重，并将单词权重向量作为图片特征向量存储在特征向量库中。某张图片A的特征向量表示为：
式（4）中： 为图片A的视觉特征向量；μi（i=1,2,…, N）为图片A中每一个视觉特征单词的权重；N为视觉词典中的视觉特征单词个数。
（5）对于待搜索匹配的ETC门架图片，按照步骤（1）~步骤（3）计算特征向量。
（6）基于特征向量计算结果，采用余弦相似度计算方法计算向量间的相似度，从特征向量库中找到最匹配的图片。
对于图片A和图片B基于词典的特征向量 ， ，根据余弦定理有：
式（5）中： 表示向量 与 的夹角，夹角越小说明向量的相似度越高。
向量间夹角的余弦值代表向量间的相似度，计算公式如下：
式（6）中：SA, B为图片A与图片B的相似度； 表示图片A中第i个视觉特征单词的权重值； 表示图片B中第i个视觉特征单词的权重值。
2.6 时空数据可视化表达的集成应用
高速公路数据具有典型的时空特征，在时间上能够表现研究对象相对运动的延续性，在空间上能够表达物体的相对和绝对位置关系[31]。本文在平台表现层设计与实现过程中，针对多样化应用场景，实现了多类时空数据可视化表达的集成应用。
（1）聚类图：通过聚类算法将海量数据分成不同的数据簇，对不同数据簇进行区分展示。聚类图采用聚合显示的表达方式，用图形聚合程度表示点位置，进而表达点位的聚集程度。
（2）热力图：反映变量属性聚集程度，利用颜色表示数据分布，将变量值用不同颜色或高亮形式描绘出来，以直观呈现不易理解或表达的数据。
（3）标签云图：根据被标签事物出现的频率，通过不同的大小和颜色突出显示。
（4）空间信息流：根据监测对象移动性强、空间位置动态变化的特点，依托空间信息流展示监测对象在空间属性的O-D间流动性。
3 应用实践
依托“湖北省取消高速公路省界收费站工程”，湖北省撤销了全省26个省界收费站。本研究形成的大数据架构及关键技术在高速公路联网收费业务中得到实景应用，通过建成的联网收费省中心私有云，汇聚边缘节点1 362套ETC门架系统和434个收费站系统的联网收费数据，实现了云边端协同，有效支撑了高速公路联网收费业务运营。
3.1 智能边缘管理应用
湖北省ETC门架系统基于智能边缘平台管理。每套门架作为独立边缘计算节点工作，门架前端负责与前端RSU、车牌识别仪等设备交互，产生计费流水记录、门架车牌识别流水记录、车脸抓拍图片并进行数据预处理后上传至门架服务器。基于Hadoop和智能边缘云框架的门架系统极大程度提高了门架软件安装部署、配置的效率，能够实现容器应用的批量部署下发，并在云端实时监控各边缘节点的运行状态。应用数据采集处理架构与数据融合策略，ETC门架前端实现数据的高效采集、传输接入与处理，保障数据的可靠性。以查询效率为例，针对某具体车辆所有通行记录（固定周期969日内、省内通行次数704次、门架交易数据量6 688行），结果返回耗时由43.561秒降为906毫秒，效率提高了近50倍，能够有效支撑实时快速响应式交互式查询的需求。
3.2 典型业务场景的大数据应用
结合实际需求，全省ETC门架形成的数据为实联网收费与运营管理、车辆识别与行为分析、交通运行监测分析等业务场景提供有力支撑。
（1）精准计费与运营管理
对联网收费数据进行统计分析，支撑计费、清分结算、运营监测和车辆定位等应用。
精准计费：综合应用通行车辆交易过程中产生的牌识数据和计费交易数据，可追踪车辆完整的计费路径，实现毫秒级在线精准计费。
清分结算：将车辆运行轨迹与出口交易数据关联，实现通行车辆通行费的省内拆分，满足通行费的拆分和增值税专用发票的开具等应用需求。如图7 所示，对数据发送、记账及争议、数据逾期及在途情况等联网收费运营数据进行统计分析，反映当日与发行方清分结算业务的开展情况；如图8 所示，在省内精准拆分结算中，从路段经营维度能够反映拆分至路段单位的通行计费数量与拆分数据量之间的差异，包括流量差异以及金额差异。具体到某一个具体的收费单元，能够反映出该收费单元的拆分情况，包括按实际计费金额拆分情况、按比例拆分情况、未拆分情况。针对未拆分数据，还能具体分析未拆分的原因，协助经营单位对有入无出等异常数据进行精准定位，协助路网运营管理单位发起收费稽核。
运行监测：通过对门架通行流量、交易成功率等计费数据进行挖掘分析，反映省内门架整体计费情况和路况运行态势；通过流量指标反映当前小时、天、月、年等四个维度的流量统计数据以及进出省界流量、客货车占比等，进行收费站分布及流量分析，用于展现收费站的空间聚集程度。
路径还原：通过数据融合检索快速定位到重点关注车辆，能够还原车辆的当前实时位置区间信息，实时回溯车辆当前行驶轨迹。通过对这些多源数据的融合分析，能够获知车辆最经常通行的门架信息、经常驶入的入口信息、近几个月通行缴费情况、通行次数和缴费趋势。通过轨迹数据分析，能识别出U型车辆和J型车辆，为事后稽查提供数据支撑。
（2）车辆精准识别与画像追踪
根据计算模型训练优化，对包含前挡风玻璃、车辆品牌、后视镜、年检标识、车内驾驶员等特征信息的车辆图片进行车辆特征识别，并将结构化的向量信息存入关系型数据库，进而根据对比特征向量的相似度搜索相似图片。如图9 所示，基于深度学习的车辆特征识别除了车牌被正确识别外，还能够识别车辆类型，车辆颜色、车辆品牌、车辆年检标识等细节特征信息。综合应用车辆识别数据，可以实现车辆定位追踪，支撑车流监测与收费稽核等业务。
车辆定位：车辆特征识别以图搜图功能主要应用于车辆稽查场景，对于特殊车辆，如遮挡号牌、无牌车、换牌车等无法通过车辆唯一标识进行结构化查询，可以通过以图搜图方式实现车辆快速检索与定位。
车流监测：依托道路感知监测设备对车辆进行识别和运行监测，综合考虑信息的获取程度和显示效率等因素，将车辆对象进行聚类合并，通过聚类图进行展示，实现点位信息叠加及直观展示。车辆聚合显示效果如图10 所示。通过聚类分析，得到在网车辆在具体路段的聚集程度，进而分析路网运行态势，实施科学管控。
收费稽核：基于大数据挖掘技术，对重点车辆进行精准画像，进一步分析车辆的行驶路径偏好，并估计出此次通行最有可能的驶出出口，目前已应用于湖北省内稽核车辆拦截。
（3）交通运行监测分析
依托通行卡时空关联数据，对车流量、交通事故、收费交易等交通数据信息进行挖掘和分析，构造交通运行热力图，直观展示交通运行状态，据此进行交通资源调配和出行诱导，提供更加精准高效的出行服务。
资源调配：通过热力图展示高速公路通行卡发放频率与空间位置的关联情况，可看出当前通行卡发放频率较高的区域；或根据高速公路通行卡收发卡频率，通过标签云图显示收费站通行卡收发频率的高低，从而进行有效的通行卡调拨管理。
智慧决策：通过追踪通行卡的空间位置变化，形成同一张通行卡的空间信息流图，可进行通行卡流通特性分析。同时，通过收费站发生的入出口卡口流量，叠加行政区划，分析流量发生的OD区间，得到省内流量迁徙规律，支撑省内通行卡流通情况监测，为重大节假日的疏堵保畅提供决策支撑。
4 结语
随着全国联网收费系统并网运行，高速公路联网收费数据量和数据复杂性增加，对数据的汇聚共享和开发应用提出了更高要求。为充分挖掘数据应用价值，本文对高速公路大数据架构及其关键技术应用展开研究，提出了一种基于应用场景的高速公路大数据分层组织架构，通过实践验证了该架构具备高效分析处理海量在线数据和离线数据的能力；针对高速公路大数据多源异构的特征，设计了数据采集处理架构和基于三次数据融合的数据接入与治理方法，实现了海量高速数据的实时高效采集、接入与处理；提出了一种基于视觉词袋模型的图片相似度计算流程算法，并通过ETC在线计费、车辆识别与行为分析等业务场景验证了算法的适用性。
尽管本文研究成果已在湖北省高速公路联网收费领域开展了有益尝试，为后续的平台建设积累了实践经验，但在平台架构优化、业务场景扩展应用、数据治理等方面，尚存在很大的发展空间。下一步将继续在既有基础上，深入挖掘行业内生需求，坚持以业务为导向，持续推进人工智能、大数据等新技术的融合创新应用，全面推动高速公路行业数字化转型与业务应用协同一体化运行。