如今，城市经常举办各种大型公共活动，如音乐会、体育赛事和政治集会等。虽然过去几十年中提出了多种交通流量预测模型，但大多数模型都难以有效捕捉公共活动所带来的人流波动。一方面，公共活动具有时间集中和空间集中的特点，给交通系统带来巨大冲击。另一方面，活动的性质、规模和参与人数等因素也会显著影响人员流动模式，很难用统计模型加以概括。为了解决这一难题，研究人员开始尝试利用网络上的公共活动信息，如活动时间、地点和文字描述等，来辅助流量预测。
论文概述
这篇由香港大学城市规划与设计系、麻省理工学院及清华大学的多位学者于2023年11月发表的论文《用于公共活动下人员流动预测的大型语言模型探索》恰恰提出了一种创新方法，利用大型语言模型(LLM)的强大语义理解能力来预测公共活动期间的人员流动，并生成可解释的预测结果。作者通过以纽约巴克莱中心为案例，使用公开的活动信息和出租车运营数据，证明了LLM-MPE方法相较于传统的机器学习模型，无论是在预测准确度还是可解释性方面都有显著优势。论文不仅在学术界引起了广泛关注，对于实际交通运营和活动规划也有重要的应用价值。
论文详细介绍
研究方法介绍：
论文首先对公共活动人流预测问题进行了科学的阐述。具体来说，作者定义了“活动场所人流量”、“公共活动”等关键概念，并将问题形式化为根据历史人流量和活动特征预测未来某一时段人流量的数学公式。随后通过深入分析现有研究的不足之处，引出了LLM-MPE框架的动机。
基本假设与问题定义：
定义(活动场所的旅行需求)：在给定的时间步t下，活动场所v的旅行需求由其附近的流出(出发)和流入(到达)行程数量表示。
定义(公共活动)：公共活动e=(te, ve, he)，te指定活动时间，ve表示活动场所，he以非结构化文本格式表示活动的特征。例如，一个公共活动可能是(2015-05-01 7:30 PM-10:30 PM, Barclays Center, “Brooklyn Nets vs. Dallas Mavericks”)，表示2015-05-01 7:30 PM-10:30 PM在Barclays Center举行的布鲁克林篮网与达拉斯小牛队的NBA篮球比赛。
问题(活动场所的人类流动性预测)：对于给定的活动场所v，我们的目标是根据过去T个时间段的流动数据Yv,t-T:t以及过去活动的特征Ev,t-T:t，预测下一个时间步t+1的旅行需求Yv,t+1。其关系可用下述公式表示：
由于该模型只能适用于简单不同的时间间隔的人流预测。作者们设计了LLM-MPE框架来解决，LLM-MPE框架主要由两大阶段组成：特征开发和流量预测。
LLM-MPE模型原理：
LLM-MPE包括三个主要阶段，如下图：
活动特征格式化：利用LLM将网上的非结构化活动标题和描述转换为标准化的简明格式，有助于提取核心信息。例如，对于标题”Porter Robinson， Giraffage， Lemaitre”，LLM可总结为”Porter Robinson、Giraffage和Lemaitre这三个电子音乐艺人的演出吸引了不少电音迷”。通过修改红色占位符来适应特定的事件，用于格式化事件特性的Prompt提示词模板如下：
【 格式化事件特性的Prompt提示词】
以及应用GPT-4处理后的格式化的事件特征如下表：
【 格式化后event事件特征】
人流量特征分解：将过去的人流量数据分解为常规模式(主要受日常通勤影响)和异常偏差(主要受公共活动影响)两部分，有助于聚焦活动导致的人流变化。
人类流动性进行预测：LLM使用处理后的活动和流动性特征来产生对旅行需求的预测和解释。
LLM-MPE模型实例验证：
数据描述：巴克莱中心位于布鲁克林，是一座多功能室内体育馆，经常举办各种活动，如音乐会、体育赛事和政治集会等。该研究使用纽约市出租车数据来评估人类流动性。研究使用2013年10月1日至2015年6月30日的数据，并确定了进出巴克莱中心220米半径范围内的出租车行程。事件数据则自动抓取自巴克莱中心的官方网站。
【灰色为巴克莱事件公告时间，蓝色、红色曲线代表人流量】验证结果：LLM-MPE在所有评价指标上优于传统模型，特别是在活动日。此外，LLM-MPE提供了可解释的预测见解。同时，研究也探讨了LLM-MPE中不同输入特征的效果。
LLM-MPE模型评估：
为了评估LLM-MPE在处理非线性关系、序列依赖关系以及整合文本信息等方面的表现，使用LR（线性回归）、GBDT（梯度提升决策树）、FNN（前馈神经网络）和RNN（递归神经网络）被用作基准模型，用于与LLM-MPE模型进行比较，通过对指标RMSE（均方根误差），MAE（平均绝对误差），MAPE（平均百分比误差）以及R2（决定系数）以评估其在公共事件下的人类流动性预测任务中的性能。结果显示，LLM-MPE模型在预测公共事件下的人类流动性方面明显优于这些传统统计和机器学习模型。
论文的局限性和未来研究方向
虽然LLM-MPE取得了令人鼓舞的成果，但在实际应用中也面临着一些挑战和局限性，值得在未来进一步改进。
首先，尽管LLM通常表现出异常的语义理解能力，但偶尔也会产生编造的虚假信息，这被称为”幻觉”现象。譬如在论文示例中，LLM对历史数据进行了错误的数学计算。这种错误信息如果应用于实际交通运营决策，可能会造成不良后果。因此，需要建立一些防错和审核机制，确保LLM输出的可靠性。
其次，LLM拥有庞大的知识库是理解丰富文本信息的关键。然而，由于训练数据的局限性，LLM的知识只能维持在一个特定的时间节点。以GPT-4为例，截至2023年11月其知识库仅覆盖至2023年4月以前，难以掌握最新的事件动态，可能影响模型对新出现活动的理解能力。
再者，运行大型LLM模型需要消耗大量的计算资源，导致高昂的使用成本。在论文案例中，单个时间步的预测就需耗费12.7秒。如果扩展到整个城市的大规模应用场景或希望获得更高频次的预测结果，所需成本将进一步升高，可能制约了LLM-MPE的推广应用。
此外，目前LLM对于空间位置和空间关系的理解能力尚有局限。本文研究集中于单一场馆，未涉及不同场馆之间的人流交互影响。但在现实生活中，多个公共活动会同时发生，相互之间存在一定的空间依赖性，需要综合考虑。如何将这种空间依赖关系编码进LLM是一个有待解决的问题。
鉴于上述局限性，未来的研究可从以下几个方面着手：
1. 提出更严格的AI安全标准和操作规范，最大限度避免LLM的虚假输出，确保其在实际决策中的可靠应用。
2. 探索LLM模型持续学习和自我更新的方法，使其始终拥有最新的知识储备。
3. 发展开源的大型语言模型，降低使用成本，推动广泛应用。同时，基于不同场景的特点对LLM框架进行优化，提高算法效率。
4. 结合图神经网络等技术尝试编码活动场馆的空间关系，使LLM能够捕捉场馆之间的人流交互影响。
5. 进一步拓展LLM在其他交通应用场景的使用，如事故预警、疫情期间交通管控等，为LLM在交通运营中的实践应用积累经验。
6. 对于数据稀缺的场景，研究LLM与其他数据增强或小样本学习技术的有机融合，最大限度发挥各自的优势。
结论
本论文提出的LLM-MPE框架展示了大型语言模型在公共活动场景下预测人员流动方面的巨大潜力。与传统模型相比，LLM-MPE不仅在预测准确度上占据优势，还能生成符合人类理解的可解释性预测结果，为交通决策提供有价值的见解。尽管目前LLM在实际应用中仍存在一些挑战和局限性，但通过不断完善框架和算法，以及与其他技术手段的融合，我们有理由相信LLM将为人员流动预测和智能交通运营领域带来革命性的变革。
公众号：赛博詹特曼
微信号：CyberGentry
公众号回复：240305 获取论文