OnSiteVRU 轨迹预测

概述

随着道路交通环境日益复杂,保护易受伤或面临高风险的道路使用者(Vulnerable Road Users, VRU)已成为交通安全研究的重要议题。VRU通常指处于交通互动中较为脆弱的群体,包括非机动车和行人等。深入理解并精准预测这些群体的行为模式,对于提升交通安全至关重要。在复杂的道路环境中,VRU面临诸多潜在风险,如交通规则违背、高速行驶等行为,这些因素可能导致严重的伤害或交通事故。因此,如何准确识别并预测VRU的行为轨迹,进而进行科学评估,成为保障道路安全的核心任务。

近年来,轨迹预测已成为保障VRU安全的关键研究方向。然而,由于VRU的移动模式具有高度的随机性、交互行为复杂且存在剧烈的运动状态变化,轨迹预测面临着显著挑战。尽管现有研究提出了多种预测模型,但在算法性能评估方面,依然存在数据集分散、评价标准不统一、场景覆盖不全面等问题,这些问题限制了技术的进一步发展及跨领域的比较。

为了解决这些问题,本排行榜旨在提供全面的场景覆盖和统一的评估标准,评估各类轨迹预测方法在保护VRU方面的有效性,进而减少自动驾驶技术对脆弱群体潜在威胁的影响。

排行榜

贡献者模型/算法模态ScoreminADEminFDEMRw-mAP提交时间
曹越,冯致远SingularTrajectory++80.64740.70821.19460.44750.52272025-06-10
刘俊杉,黄兴政hivt30.64320.59991.24680.45630.50542025-06-09
米薪宇,冯鼎一GATFormer80.62791.03261.26830.43490.50742025-06-10
曹越,冯致远SingularTrajectory0.62560.96131.24290.46570.51582025-06-09
胡屹舟,林俊廷GAT-GRU30.61510.73501.29820.48060.46452025-06-09
tgSTGAT-ResMDN30.57500.76691.46700.53620.41052025-06-12
安梓洋,叶羽凡STGAT-ResMDN30.56460.77971.49420.55390.56462025-06-10
杨凯翔,胡岱垚GroupNet++80.56281.16341.53710.50560.41292025-06-10
不吃鸭脖_BiGRU30.55970.86431.46380.53100.37002025-06-12
米薪宇,冯鼎一Transformer+0.54551.22141.53500.54760.40682025-06-09
曹越,冯致远EqMotion0.54721.22031.52450.54570.40922025-06-08
齐少琰、杨羽晞多头GAT+BiGRU30.54330.96861.57560.56370.37802025-06-10
张格源、胡旻悦EqMotion+30.53970.93761.66090.55110.35762025-06-10
7hanyuCSQ30.52120.98631.75220.59020.35332025-06-10
OctBLINKReTrGCN80.51350.89311.68660.62300.33752025-06-11
张格源EqMotion30.51110.99071.77670.59080.32382025-06-11
xuge'nbMATOU0.50990.98791.74150.59010.31472025-06-09
蒋稚桢,朱奕淞MTG++70.50880.88511.74450.63280.33692025-06-10
曹越,冯致远EqMotion++0.50841.54401.74890.57960.39252025-06-08
朱奕淞mixnll70.50770.90981.72550.63240.33472025-06-10
李建强GroupNet0.50401.27852.47350.56800.40242025-05-23
蒋懋鑫,吴天昊ReSTGCN70.50080.90261.78050.64110.32532025-06-10
蒋稚桢,朱奕淞MTG+70.49790.90161.77690.63800.31192025-06-10
kadmb1GAT++0.49361.05361.82360.60720.29742025-06-09
漆涵宇,何逸轩GD-VRU0.49321.56181.82540.58500.35882025-06-09
米薪宇,冯鼎一GATU0.49311.44981.74720.61280.35872025-06-09
朱奕淞NLL++70.48790.91481.80500.64780.29392025-06-10
蒋懋鑫,吴天昊ReTrGCN50.48120.96181.89940.67250.31462025-06-10
陈奕璇,李想GATv260.47401.12272.08390.64050.30602025-06-10
金木风TransGCN0.47081.06241.93190.68320.31082025-06-09
skinll30.46960.96512.02510.68420.30202025-06-10
JZMnll30.46960.96512.02510.68420.30202025-06-10
王子琦,薄钰鹏bi-GRU30.46391.13702.17830.65210.29662025-06-16
严周栋KMR60.46071.07612.10160.66090.27622025-03-26
JMFLSTM0.45671.03272.07700.68780.27962025-06-09
田珂菲,施钰茹30.45263.20893.66490.42830.54572025-06-10
maplus7CrewLemon0.45200.97722.02290.67920.24002025-06-09
米薪宇,冯鼎一GAT++30.45111.41722.32810.61490.28002025-06-09
张格源,胡旻悦GAT30.45021.00882.04590.68290.24502025-06-08
JZM+nll+30.43981.00792.0750.70080.23222025-06-10
mahunagMMX0.43891.06622.11130.69630.23832025-06-08
胡芸媛,乔子轩GRU-Transformer30.43051.23782.50710.69100.27762025-06-10
Thomas NickGAT-GRU30.42051.80872.21940.69320.30952025-06-07
金木风TransGCN0.41761.33002.07400.71800.22882025-06-09
MIKETCN0.41531.51862.85300.63790.25902025-06-09
MIKETCN+0.41151.72012.72860.63650.26482025-06-09
李亚擘,马裕焯多头GAT30.41061.35422.38780.72330.24952025-06-12
李亚擘,马裕焯social-GAT-GRU30.39561.21162.51060.73550.21092025-06-11
刘天悦,毛怡宁ST-GAT50.39381.33002.39440.72880.19582025-06-10
skiLSTM0.38841.32982.78920.71840.21142025-06-08
罗景泰,朱炫至GAT-GRU30.38091.51382.71030.75530.24502025-06-12
董昱菡,马薇30.37681.40152.54220.76510.20402025-06-10
张耀坤,吕创transformer30.37551.61942.83740.74280.24622025-06-10
郭天资,罗煜凡GATv250.36771.48752.95210.73180.20012025-06-11
田珂菲transformer10.36651.44502.86100.75580.20292025-06-09
刘禹菲,马若轩GAT-ep30.36641.54712.49760.76600.18922025-06-14
skiMTG0.36511.47322.71580.75170.18262025-06-08
周夕牧冉,张瑞琳GRU10.36221.44143.05210.74520.19872025-06-12
MIKEGAT10.35931.82592.72470.71470.18612025-06-07
北海哪吒transformer30.35821.65712.97540.74100.20852025-06-10
周夕牧冉,张瑞琳GAT-transformer10.35571.26492.72220.78570.15152025-06-10
施钰茹10.35541.48612.91290.75280.17552025-06-10
金依珏,信馨eqmotion30.35531.64503.06180.73100.19632025-06-09
金木风ReGNN0.35081.50023.01310.76370.18452025-06-08
王子琦,薄钰鹏GAT-GRU30.34501.63362.97330.75720.17632025-06-15
张耀坤,吕创transformer30.34131.66052.71230.79190.17432025-06-10
爱吃鸭脖GAT-GRU30.34051.65332.99640.76660.17692025-06-09
张昊阳GAT-GRU30.34041.58522.95610.78000.17392025-06-12
yang36110.34041.58522.95610.78000.17392025-06-09
郭天资,罗煜凡Transformer-GCN0.33911.75343.15490.75280.19252025-06-10
王劭宏,王淮宇Transformer30.33791.65792.83480.78200.16632025-06-14
王思为,葛宇明GAT-GRU10.33501.33522.81210.81670.13482025-06-14
韩博洋socialgan30.32851.67763.08000.76110.14452025-06-14
赵泽宇,曲洪泽IA-GRU30.32781.71533.06080.77320.15852025-06-10
刘学凯 GAT-GRU30.32391.48792.97870.81270.13792025-03-21
杨利锋,张浩庭QCnet60.32132.06122.51190.82420.18462025-06-13
齐少琰,杨羽晞30.31881.80312.64870.82380.14792025-06-10
郑致翀,吴秀泽GNN-GRU30.31601.71923.41400.80300.18902025-06-11
麻辣烫丶菜鸟ST-GRU0.31451.72233.14420.82050.17192025-06-09
安梓洋,叶羽凡LSTM30.31211.97982.79150.79540.14242025-06-10
AAAtransformer10.30861.66823.25850.79050.12602025-06-08
whitetransformer0.30801.94043.09540.78180.14242025-06-08
李建强匀速推断10.29231.61293.40030.86300.15072025-05-23
杨洁GNN-GRU30.28462.08252.86940.83940.12082025-06-10
麻辣烫、jptransformer30.28421.98863.64620.81770.16832025-06-10
夏楠,张圣琪Transformer-GAT40.26932.11483.23550.84010.11642025-06-10
天依的小菜鸟ST-GRU30.26172.04293.49970.83150.09992025-06-09
2250441transformer-gnn0.25651.95823.49560.85300.08932025-06-09
张昊阳,姬宇航vru_optimized0.23352.44563.54970.87530.12222025-06-10
张圣琪MT-GAT30.22562.41913.63550.87600.10172025-06-12
张耀坤,吕创transformer0.22482.22603.81480.88380.09462025-06-10
skicross0.21862.35023.91500.86050.08252025-06-08
夏叶阳GAT-GRU50.21732.46584.04370.83330.08472025-06-12
张耀坤syalice0.20602.62353.76530.89570.10462025-06-10
叶云洁,马颖凤GAT-GRU30.20562.63044.15410.84960.10172025-06-09
郑致翀,吴秀泽GAT-GRU30.20302.61873.91200.86960.08392025-06-10
hauvGAT-GRU30.18242.69494.18820.89440.08362025-06-07
skimainGG0.17992.55474.53500.87690.07282025-06-07
xsfGAT30.17512.90444.55530.85060.09102025-06-07
陈前KalmanFilter10.16252.94304.57260.85760.06472025-03-26
李敏行trans30.16004.18545.26860.73150.21422025-06-11
张圣琪GAT-Transformer40.14032.90055.10840.87910.06442025-06-11
xsfG-T30.13483.18704.19630.88100.07442025-06-08
林承宇,季晓宇transformer+80.13334.75785.83200.70750.25942025-06-11
叶云洁,马颖凤GAT-GRU30.11773.5285.2660.86970.10192025-06-10
frankerGATv230.10643.33305.47310.89870.08362025-06-09
林承宇Transformer80.10564.90385.92440.72680.22102025-06-12
王子琦,薄钰鹏hivt80.09804.74986.06600.76130.22022025-06-12
hhhuGAT-GRU20.09783.26865.39430.90800.04492025-06-10
JudeHeart0.09593.26465.89040.87320.05812025-06-08
米薪宇,冯鼎一GAT30.07973.50595.76100.89250.04932025-06-07
lcyTransformer80.07954.97785.89170.77540.19142025-06-12
林承宇,季晓宇Transformer30.07164.94556.09470.78790.19472025-06-11
刘禹菲,马若轩GAT-ep30.03464.39715.38840.92730.04092025-06-13
王奉德,陈飞宇transformer30.03295.84726.83380.70350.21362025-06-16
肖芃宇GNN-GRU30.03255.32946.46100.77140.15232025-06-13
李敏行,陈思齐GAT+30.03185.48806.66130.75720.18482025-06-10
王奉德transformer30.03095.91277.02370.69660.23202025-06-13
hauvGAT30.02174.49705.47480.94000.03672025-06-07
双琪,黄诗婷GAT-GRU30.01184.71464.91980.97690.01522025-06-13
林承宇,季晓宇GAT-GRU3-0.01745.75216.90680.82130.15602025-06-12
王思为,葛宇明Transform1-0.02925.92727.36060.79740.17242025-06-13
hzhmrGAT-GRU3-0.05066.06637.20020.85450.16352025-06-07
王颖智dian3-0.05875.95877.49510.83020.12722025/6/15
long yaoGP_GRU3-0.05908.76558.86380.52640.44222025-06-09
黄智荟,明睿GAT-GRU3-0.08126.18717.45780.84640.10232025-06-11
曹珈语GAT-GRU3-0.00984.24136.96250.93030.04492025-06-14
chenxiangtransformer3-0.11785.35937.83490.97050.00832025-06-08
王思为,葛宇明transformer3-0.34169.754810.79050.81810.17092025-06-11
双琪,黄诗婷GAT-GRU3-0.34408.271910.11060.98570.00772025-06-12
王子琦,薄钰鹏transformer3-0.36129.754810.79050.81810.10552025-06-11
丁子峰A-GATTP4-0.37228.99629.90570.98250.00842025-07-14
lulalaTransformer-GAT-0.39598.817911.33120.94340.01922025-06-08
罗景泰,朱炫至lstm3-0.40929.450010.38250.97950.01082025-06-11
LaiHuangDeepCDNan-0.42289.377611.01650.9791:0.02352025-06-09
韩博洋socialgan3-0.42877.913513.08720.99130.00192025-06-12
杨利锋,张浩庭QC+6-0.472311.357611.67960.86220.14522025-06-12
杨利锋,张浩庭lstm+transformer6-0.498110.508811.57450.97450.01832025-06-12
朱辰晟transformer3-0.60499.458616.11500.98770.00512025-06-12
双琪,黄诗婷GAT-GRU3-0.613211.739912.85120.99450.00162025-06-14
双琪,黄诗婷GAT-GRU3-0.616212.004012.50600.99800.00102025-06-15
sqGAT-GRU3-0.616212.004012.50600.99800.00102025-06-12
freeGNN-GRU3-0.655411.430914.86440.97410.01292025-06-08
abdgru-GRN1-1.211022.574414.65410.98650.00712025-06-08
张格源,胡旻悦baseline3-1.706125.625025.00280.98250.01132025-06-07
zzzzzssbl1-1.856019.762438.27120.99300.01922025-06-07
拖拉机EQmotionplus5-1.940527.754528.68170.99160.00252025-06-11
马若轩,刘禹菲EQmotion++5-1.905027.340828.26440.98950.00332025-06-13
蒋钟阳GAT3-2.654032.425742.99680.99870.00042025-06-14
金木风Seq2Seq1-2.700136.471838.43460.99260.00802025-06-06
李敏行,陈思齐GAT3-2.954243.092436.02160.99740.00102025-06-12
X-teamGAT-GRU3-3.086242.434840.97110.99690.00102025-06-08
PhillipsGAT-GRU3-3.111142.805141.17310.99560.00082025-06-08
马若轩GAT-GRU5-3.117442.254442.25520.99400.00682025-06-12
谷琦钰,冯乙潇CVAE10-3.317644.329845.09550.99660.00342025-06-12
周旸、刘沛戬transformer-0009053-3.318644.257445.22870.99800.00432025-06-15
杨思瑶,吕海田GAT-GRU5-3.344244.619145.41570.99820.00032025-06-11
肖世杰GAT-GRU5-3.381045.160445.71490.99820.00122025-06-11
周子烨GAT-GRU3-3.428245.739746.26720.99830.00162025-06-12
xsjGAT-GRU8-3.428245.739746.26720.99830.00162025-06-13
肖世杰,黄赫哲GAT-GRU8-3.428245.739746.26720.99830.00162025-06-12
ayscene transformer3-3.581451.497442.23430.99800.00242025-06-09
拖拉机ADATP3-4.178754.149156.14910.99920.00042025-06-11
肖世杰,黄赫哲GAT-GRU5-4.413450.946568.01450.99780.00152025-06-12
马若轩ADATP1004-4.899764.028662.98260.99700.00082025-06-11
谢沛,毛梦月VRU_traj3-8.137595.3509113.10270.99990.00022025-06-12

参与形式

数据介绍

本轨迹预测排行榜采用了两个数据集,包括OnSiteVRU数据集和SIND数据集。

onsiteVRU数据集包含多个交叉口和路段场景,涵盖了不同类型的交通参与者。数据集中的交叉口包括仙霞路-剑河路、宁武路-隆昌路、墨玉路-昌吉东路和河间路-宁武路,每个交叉口的数据包括机动车、电动自行车和人力自行车的轨迹,共计约17429条轨迹。路段部分包括曹杨路和安远路,其中曹杨路为标线隔离路段,数据时长为50分钟,包含1256条数据;安远路为双向两车道无隔离路段,数据时长为1小时40分钟。城中村数据集则采集自上海嘉定区和苏州平江区。更多数据集信息,请访问OnSite_VRU_Data。SIND数据集详情参照文献[1].

[1] Xu Y, Shao W, Li J, et al. SIND: A drone dataset at signalized intersection in China[C]//2022 IEEE 25th International Conference on Intelligent Transportation Systems (ITSC). IEEE, 2022: 2471-2478.

数据处理部分旨在确保轨迹数据的高质量和有效性,通过一系列步骤对原始数据进行清洗和切分,为后续的模型训练和评估提供可靠的数据支持。

(1)场景切分:本文采用滑动窗口方法对轨迹数据进行时间切分。通过设定固定时间步长,确保每个场景得到精细切分。每个场景的时间跨度为4.8秒,该设定能够有效捕捉到短时间内VRU与主车之间的行为变化,从而更准确地反映其交互过程。

(2)空间阈值:为了保证每个场景中包含足够的交互信息,本文设定了一个空间阈值(5米)。具体而言,当两辆车或一辆车与VRU之间的距离小于该阈值时,认为它们处于同一交互场景中。该策略确保每个场景有效涵盖潜在的交互行为,避免遗漏关键事件。

(3)多参与者交互:每个交互场景由多个参与者(车辆与VRU)组成。为避免过多车辆影响数据质量,本文对每个场景设置了最大车辆数目限制(最多5辆),确保场景的复杂度在可控范围内,同时保证其多样性和代表性。

(4)筛选策略:为了确保所选场景的有效性和代表性,本文对数据集进行了筛选,剔除了静止、曲率过高等极端场景,这些场景的轨迹数据可能对预测模型的训练和评估产生不利影响。

数据共包括53,703个训练数据和3,516个测试场景。每个场景包括4个观测步长和6个预测步长,共计10个步长,时间频率为0.48秒。数据集的划分遵循80%训练集和20%测试集的原则进行随机切分,确保数据的多样性和广泛性。此外,参赛者若需要额外的验证集用于模型调优,可以自行从训练集中切分出一部分数据作为验证集,以满足个性化需求。

数据集包含训练集(train_data_x.npy)、训练集标签(train_data_y.npy)和测试集(test_data_x.npy),并以 .npy 格式保存。数据格式为4维矩阵,维度分别为:[场景编号、时间步长、个体编号、特征值]。每个特征值由10列数据组成,具体如下:

  • ‘world_x’:全球坐标系下的x轴位置
  • ‘world_y’:全球坐标系下的y轴位置
  • ‘speed_x’:x轴方向的速度
  • ‘speed_y’:y轴方向的速度
  • ‘acc_x’:x轴方向的加速度
  • ‘acc_y’:y轴方向的加速度
  • ‘Jerk_x’:x轴方向的加速度变化率(Jerk)
  • ‘Jerk_y’:y轴方向的加速度变化率(Jerk)
  • ‘Angle’:物体的朝向角度
  • ‘vehicle_type’: 车辆类型,其中“Car”标记为1,“Motorcycle”标记为2,“Bicycle” 标记为3。如果车辆类型不是这三种之一,它被分配一个默认值-1。

为了保证数据格式统一,场景中因缺失车辆的部分已被填充为0,部分缺失运动参数被记为NAN。这样的数据结构设计使得每个轨迹样本都可以在时间轴和空间维度上进行一致性处理,并确保各参与者(包括主车和非机动车)轨迹的时序完整性。

结果投递

参赛者需提交预测结果文件与置信度文件,文件格式均为 .npy,文件分别命名为test_data_y_{名称}_{模态数}.npy与conf_{名称}_{模态数}.npy。

预测数据的格式为5维矩阵,维度分别为:场景编号、模态数、个体编号、时间步长、特征值。每个特征值包括:

  • ‘world_x’:车辆在全球坐标系下的x轴位置
  • ‘world_y’:车辆在全球坐标系下的y轴位置

该数据结构确保了每个场景中所有车辆在不同时间步长的预测位置能够被准确记录,同时支持多模态预测的评估。为了确保预测的严谨性,模态数设定为最多10个。

置信度数据的格式为3维矩阵,维度分别为:场景编号、模态数、个体编号,用于表示某条轨迹的预测概率。每个模态的置信度在0~1之间,不同模态之间置信度总和没有要求,可以不同也可以相同

结果投递采用表单方式进行收集,参与者点击此处访问表单链接,填写后即可完成投递流程,工作人员将在不超过7个工作日内完成结果分析与统计,更新排行榜结果。

评价指标

考虑到数据具有稀疏特征,因此在评估时,以真实值作为基准筛选出每个场景中具有完整时间步长的个体进行评估。

为了计算模型的总成绩,本次比赛结合了多个评估指标(minADE、minFDE、MissRate 和 mAP)进行计算,并以权重相加的形式统一进行评估。具体方法如下:其中各指标均进行了归一化处理。

\(Score = 0.2*S_{\text{minADE}}+0.2*S_{\text{minFDE}}+0.3*S_{\text{MR}}+0.3*S_{\text{w-mAP}}\)

定义:从模型生成的多个预测轨迹中,选择与真实轨迹在各时间步上平均距离最小的轨迹,计算其所有时间步的位置误差均值。

计算公式

\(\text{min ADE} = \min_{k \in \{1, \ldots, K\}} \left( \frac{1}{T} \sum_{t=1}^{T} \sqrt{(x_{k,t} – x_{gt,t})^2 + (y_{k,t} – y_{gt,t})^2} \right)\)

K:模型生成的候选轨迹数量。

T:预测时间步总数。

\((x_{k,t}, y_{k,t})\):第 k 条轨迹在时间步 t 的预测坐标。

\((x_{gt,t}, y_{gt,t})\):真实轨迹在时间步 t 的坐标。

定义:从所有预测轨迹中,选择终点位置与真实轨迹终点最接近的一条轨迹,计算其终点的欧氏距离误差。

计算公式

\(\text{min FDE} = \min_{k \in \{1, \ldots, K\}} \sqrt{(x_{k,T} – x_{gt,T})^2 + (y_{k,T} – y_{gt,T})^2}\) T:预测终点的时间步。

定义:在给定判定阈值下,所有预测实例中没有任何一条轨迹满足终点阈值内要求的比例(阈值=1m)。

定义:mAP(mean Average Precision)是一种常用的评价指标,广泛应用于目标检测、图像检索、轨迹预测等任务中,用于衡量预测结果的精度。为了更合理地衡量模型在不同匹配阈值下的整体性能,我们提出了w-mAP,以强调不同阈值的重要性。

计算方法

①置信度排序与匹配结果统计:在每个阈值τ下,我们首先对所有预测结果按照置信度从高到低进行排序,并计算其匹配情况。具体步骤如下:

    1. 设定多个匹配阈值τ∈Τ,对于每个τ,统计所有预测轨迹的最小终点误差(minFDE)。
    2. 若minFDE满足minFDE≤τ,则该预测视为匹配成功(True Positive, TP),否则视为匹配失败(False Positive, FP)。
    3. 记录每个预测的最大置信度,并用于排序。

②计算累积精度与召回率:在每个匹配阈值τ下:

    1. 依据预测置信度进行降序排列。
    2. 计算累计真阳性(TP 累积)和累计假阳性(FP 累积)。
    3. 计算精度(Precision)和召回率(Recall)。

③计算每个阈值下的AP:累计真阳性:采用11点插值方法计算该阈值下的平均精度(AP)。

④加权计算w-mAP:传统的mAP计算方法对所有匹配阈值均赋予相同的权重,而在加权均值平均精度(w-mAP)计算过程中,引入一组权重参数ω(τ) ,并定义w-mAP 计算公式如下:

\(w – \text{mAP} = \sum_{\tau \in T} w(\tau) \cdot \text{AP}(\tau) \)

其中,权重ω(τ)满足归一化条件。在本次评价中,阈值分别取[1,2,3],对应权重分别为[0.6, 0.3, 0.1]。值得一提的是,鉴于VRU行为的高度随机性,本次评估未按轨迹类型分别计算,而是采用了统一的终点误差阈值。

结论与展望

本轨迹预测排行榜旨在为研究机非交互场景轨迹预测模型提供一个统一的评估平台。通过本次排行榜的发布,能够深入了解当前模型在相同任务场景下的表现,并推动相关研究的持续发展。当前版本仍存在一些局限性,例如场景多样性不足、标签信息匮乏、评估体系的不完善以及测试方式的单一等。未来版本将通过不断完善数据集、评估体系和测试方法,为研究人员提供更全面、准确的评估工具,进一步推动自动驾驶VRU行为建模和预测领域的创新与发展。