1. Pengenalan

Ramalan lalu lintas adalah asas Sistem Pengangkutan Pintar (ITS), di mana ramalan yang tepat memberi kesan langsung kepada kecekapan operasi, keselamatan, dan perancangan bandar. Cabaran utama terletak pada kepelbagaian keadaan lalu lintas di lokasi yang berbeza, yang membawa kepada taburan data yang sangat berbeza dan sukar untuk digeneralisasikan oleh model tradisional. Walaupun Model Bahasa Besar (LLM) menunjukkan potensi dalam pembelajaran sedikit contoh untuk senario dinamik sedemikian, penyelesaian berasaskan LLM sedia ada sering bergantung pada penalaan prompt, yang sukar untuk menangkap sepenuhnya hubungan graf yang kompleks dan kebergantungan ruang-masa yang wujud dalam rangkaian lalu lintas. Kekangan ini menghalang kedua-dua kebolehsesuaian dan kebolehinterpretasian model dalam aplikasi dunia sebenar.

Strada-LLM diperkenalkan untuk merapatkan jurang ini. Ia adalah model ramalan kebarangkalian multivariat LLM yang baharu yang secara eksplisit memodelkan corak lalu lintas temporal dan spatial. Dengan menggabungkan maklumat lalu lintas proksimal sebagai kovariat dan menggunakan strategi adaptasi domain yang ringan, Strada-LLM bertujuan untuk mengatasi prestasi LLM berasaskan prompt sedia ada dan model Rangkaian Neural Graf (GNN) tradisional, terutamanya dalam senario rangkaian yang kekurangan data atau baharu.

2. Metodologi

2.1. Seni Bina Model

Seni bina Strada-LLM direka untuk menggabungkan kehebatan pemodelan jujukan LLM dengan bias induktif struktur GNN. Idea terasnya adalah untuk merawat rangkaian lalu lintas sebagai graf $G = (V, E)$, di mana nod $V$ mewakili sensor atau segmen jalan, dan tepi $E$ mewakili ketersambungan spatial. Data lalu lintas sejarah (cth., kelajuan, aliran) membentuk siri masa multivariat $X \in \mathbb{R}^{N \times T \times C}$ untuk $N$ nod merentasi $T$ langkah masa dengan $C$ saluran.

Model ini memproses data ini melalui penyelaras laluan berganda: (1) Penyelaras temporal (berasaskan tulang belakang LLM seperti GPT atau LLaMA) menangkap kebergantungan jarak jauh dan corak berkala dalam siri masa setiap nod. (2) Penyelaras spatial (GNN ringan) beroperasi pada struktur graf untuk mengagregat maklumat daripada nod jiran, menangkap kesan pemindahan dan maklum balas yang disebut dalam pengenalan. Output penyelaras ini digabungkan untuk mewujudkan perwakilan yang diperkaya ruang-masa.

2.2. Integrasi Kovariat Proksimal

Satu inovasi utama ialah penggunaan maklumat lalu lintas proksimal sebagai kovariat. Daripada bergantung semata-mata pada sejarah nod sasaran, Strada-LLM mengkondisikan ramalannya pada keadaan terkini nod yang bersebelahan secara topologi. Secara formal, untuk nod sasaran $i$ pada masa $t$, input termasuk $X_i^{(t-H:t)}$ dan $\{X_j^{(t-H:t)} | j \in \mathcal{N}(i)\}$, di mana $\mathcal{N}(i)$ ialah set jiran dan $H$ ialah tetingkap sejarah. Ini memberikan isyarat kontekstual penting tentang kesesakan atau corak aliran yang baru muncul sebelum ia sepenuhnya termanifestasi di lokasi sasaran.

2.3. Adaptasi Domain Berasaskan Taburan

Untuk menangani anjakan taburan (cth., model yang dilatih di bandar A digunakan di bandar B), Strada-LLM mencadangkan strategi adaptasi domain yang cekap parameter. Daripada menala semua parameter model, ia mengenal pasti dan mengemas kini hanya subset kecil parameter yang diperoleh dengan menganalisis taburan statistik (cth., min, varians, autokorelasi) data sasaran baharu. Ini membolehkan adaptasi pantas di bawah kekangan sedikit contoh, menjadikan model ini sangat praktikal untuk penyebaran merentasi rangkaian bandar yang pelbagai.

3. Butiran Teknikal & Formulasi Matematik

Objektif peramalan adalah untuk memodelkan kebarangkalian bersyarat keadaan lalu lintas masa depan: $$P(X^{(t+1:t+F)} | X^{(t-H:t)}, G)$$ di mana $F$ ialah ufuk ramalan. Strada-LLM memparameterkan ini sebagai taburan Gaussian multivariat: $$\hat{X}^{(t+1:t+F)} \sim \mathcal{N}(\mu_{\theta}, \Sigma_{\theta})$$ Parameter model $\theta$ dipelajari untuk meminimumkan log-kebarangkalian negatif: $$\mathcal{L} = -\log P_{\theta}(X^{(t+1:t+F)} | X^{(t-H:t)}, G)$$ Pengagregatan spatial dalam komponen GNN boleh diterangkan oleh skim penghantaran mesej. Untuk nod $i$ pada lapisan $l$: $$h_i^{(l)} = \text{UPDATE}\left(h_i^{(l-1)}, \text{AGGREGATE}\left(\{h_j^{(l-1)} | j \in \mathcal{N}(i)\}\right)\right)$$ di mana $h_i$ ialah penyematan nod. Fungsi AGGREGATE boleh jadi pengumpulan min atau berasaskan perhatian, menangkap kekuatan pengaruh antara nod yang bersambung.

4. Keputusan Eksperimen & Analisis

4.1. Set Data & Garis Dasar

Penilaian dijalankan pada set data pengangkutan ruang-masa piawai seperti PeMS dan METR-LA, yang mengandungi data kelajuan/aliran lalu lintas daripada rangkaian sensor. Garis dasar termasuk:

  • Model Siri Masa Tradisional: ARIMA, VAR.
  • Model Pembelajaran Mendalam: TCN, LSTM.
  • SOTA Berasaskan GNN: DCRNN, STGCN, GraphWaveNet.
  • Model Berasaskan LLM: Versi GPT-3, LLaMA yang ditala prompt.

4.2. Metrik Prestasi

Metrik utama ialah Ralat Punca Min Kuasa Dua (RMSE) dan Ralat Mutlak Min (MAE) untuk ramalan titik, dan Skor Kebarangkalian Kedudukan Berterusan (CRPS) untuk ramalan kebarangkalian.

Peningkatan Prestasi

17%

Pengurangan RMSE dalam ramalan jangka panjang berbanding model didorong LLM SOTA.

Peningkatan Kecekapan

16%

Penggunaan parameter yang lebih cekap berbanding penalaan penuh tulang belakang LLM.

Kekukuhan

Minima

Kemerosotan prestasi apabila menukar tulang belakang LLM (cth., GPT kepada LLaMA).

4.3. Penemuan Utama

Ketepatan Ramalan yang Unggul: Strada-LLM secara konsisten mengatasi semua garis dasar, terutamanya dalam ramalan ufuk panjang (cth., 60-90 minit ke hadapan). Peningkatan RMSE 17% berbanding LLM berasaskan prompt menekankan nilai pemodelan struktur graf secara eksplisit.

Adaptasi Sedikit Contoh yang Berkesan: Strategi adaptasi berasaskan taburan membolehkan Strada-LLM mencapai >90% daripada prestasi puncaknya pada data bandar baharu selepas melihat hanya beberapa hari sampel, menunjukkan kecekapan data yang luar biasa.

Kebolehinterpretasian: Dengan menganalisis pemberat perhatian dalam penyelaras temporal LLM dan pemberat tepi yang dipelajari dalam GNN, model ini boleh memberikan pandangan tentang titik masa sejarah dan nod jiran mana yang paling berpengaruh untuk ramalan tertentu.

5. Kerangka Analisis: Inti Pati & Kritikan

Inti Pati

Strada-LLM bukan sekadar satu lagi model AI untuk lalu lintas; ia adalah pertaruhan strategik ke atas kepintaran hibrid. Penulis dengan tepat mengenal pasti bahawa penalaan prompt tulen LLM monolitik adalah jalan buntu untuk data berstruktur dan berelasi seperti rangkaian lalu lintas. Inti pati mereka ialah LLM sepatutnya menjadi enjin penaakulan temporal, manakala GNN bertindak sebagai penyusun struktur spatial. Ini adalah pendekatan yang lebih kukuh dari segi seni bina berbanding cuba memaksa segala-galanya melalui prompt teks, sama seperti bagaimana model visi-bahasa menggunakan penyelaras berasingan untuk imej dan teks.

Aliran Logik

Logiknya menarik: 1) Lalu lintas mempunyai struktur graf semula jadi → gunakan GNN. 2) Siri masa lalu lintas mempunyai kebergantungan jangka panjang yang kompleks → gunakan LLM. 3) Menggabungkannya secara naif adalah berat parameter dan mungkin tidak menyelaraskan modaliti → reka mekanisme gabungan fokus dengan kovariat proksimal. 4) Penyebaran dunia sebenar menghadapi anjakan taburan → cipta penyesuai ringan, didorong statistik. Ini adalah contoh buku teks penguraian masalah dalam reka bentuk sistem ML.

Kekuatan & Kelemahan

Kekuatan: Adaptasi domain cekap parameter adalah ciri utama kertas ini untuk kebolehgunaan dunia sebenar. Ia secara langsung menangani masalah "permulaan sejuk" dalam penyebaran ITS berskala bandar. Fokus pada ramalan kebarangkalian juga dipuji, bergerak melebihi anggaran titik kepada pengkuantitian ketidakpastian, yang kritikal untuk pembuatan keputusan sedar risiko dalam pengangkutan.

Kelemahan & Soalan Terbuka: Isu utama ialah kos pengiraan. Walaupun lebih cekap daripada penalaan penuh, menjalankan tulang belakang LLM (walaupun model 7B parameter) untuk beratus-ratus sensor secara masa nyata bukan perkara remeh. Kertas ini kekurangan analisis kependaman yang ketat untuk ramalan dalam talian. Tambahan pula, "graf" diandaikan statik (rangkaian jalan). Ia mengabaikan graf dinamik yang boleh mewakili peristiwa sementara seperti kemalangan atau penutupan jalan, satu sempadan yang diterokai dalam karya seperti Dynamic Graph Neural Networks (Pareja et al., NeurIPS 2020). Penilaian pada penanda aras piawai adalah kukuh, tetapi ujian tekanan sebenar akan melibatkan campuran bandar yang lebih pelbagai (cth., grid Eropah vs. penyebaran Amerika).

Pandangan Boleh Tindak

Untuk pengamal: Pilotkan seni bina ini untuk pengurusan peringkat koridor dahulu, bukan seluruh bandar, untuk mengurus kos pengiraan. Modul adaptasi domain boleh diekstrak dan berpotensi digunakan dengan model ruang-masa lain. Untuk penyelidik: Peluang terbesar adalah menggantikan tulang belakang LLM tujuan umum dengan model asas khusus siri masa (seperti TimesFM dari Google), yang boleh meningkatkan kecekapan secara drastik. Laluan lain adalah untuk mengintegrasikan data luaran (cuaca, acara) bukan sekadar sebagai kovariat tetapi melalui lapisan gabungan multimodal, mencipta model "kembar digital bandar" sebenar.

6. Prospek Aplikasi & Hala Tuju Masa Depan

Jangka Pendek (1-3 tahun): Penyebaran di pusat pengurusan lalu lintas untuk ramalan dan pengurangan kesesakan. Strada-LLM boleh menggerakkan sistem kawalan isyarat lalu lintas dinamik yang melaraskan masa secara proaktif berdasarkan aliran yang diramalkan. Adaptasi sedikit contohnya menjadikannya sesuai untuk pengurusan acara khas (permainan sukan, konsert) di mana data sejarah adalah sedikit tetapi corak muncul dengan cepat.

Jangka Sederhana (3-5 tahun): Integrasi dengan sistem penghalaan kenderaan autonomi (AV). Armada AV boleh menggunakan ramalan kebarangkalian Strada-LLM untuk menilai risiko laluan yang berbeza, mengoptimumkan bukan sahaja untuk masa perjalanan semasa tetapi untuk kestabilan dan kebolehpercayaan yang diramalkan. Ia juga boleh meningkatkan perancangan kargo dan logistik.

Jangka Panjang & Sempadan Penyelidikan:

  • Perancangan Bandar Generatif: Menggunakan Strada-LLM sebagai simulator untuk menilai kesan lalu lintas daripada perubahan infrastruktur yang dicadangkan (jalan baharu, undang-undang zon).
  • Integrasi Multimodal: Mengembangkan melebihi lalu lintas kenderaan untuk memodelkan mobiliti bersepadu, termasuk aliran pejalan kaki, permintaan perkongsian basikal, dan okupansi pengangkutan awam, memerlukan perwakilan graf heterogen.
  • Inferens Kausal: Bergerak daripada korelasi kepada kausaliti. Bolehkah model menjawab soalan "bagaimana-jika", seperti kesan tepat menutup lorong tertentu? Ini selari dengan bidang pembelajaran perwakilan kausal yang semakin berkembang.
  • Model Asas untuk Mobiliti: Seni bina Strada-LLM boleh ditingkatkan skala dan dilatih prapada data lalu lintas global untuk mencipta model asas untuk semua tugas ramalan ruang-masa dalam persekitaran bandar.

7. Rujukan

  1. Moghadas, S. M., Cornelis, B., Alahi, A., & Munteanu, A. (2025). Strada-LLM: Graph LLM for traffic prediction. Proceedings of the 31st ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD '25).
  2. Vaswani, A., et al. (2017). Attention is All You Need. Advances in Neural Information Processing Systems 30 (NeurIPS 2017).
  3. Kipf, T. N., & Welling, M. (2017). Semi-Supervised Classification with Graph Convolutional Networks. International Conference on Learning Representations (ICLR).
  4. Li, Y., et al. (2018). Diffusion Convolutional Recurrent Neural Network: Data-Driven Traffic Forecasting. International Conference on Learning Representations (ICLR).
  5. Pareja, A., et al. (2020). EvolveGCN: Evolving Graph Convolutional Networks for Dynamic Graphs. Proceedings of the AAAI Conference on Artificial Intelligence.
  6. Wu, N., et al. (2023). TimesFM: A Foundation Model for Time Series Forecasting. Google Research. [Preprint].
  7. OpenStreetMap contributors. (2024). Planet dump. Retrieved from https://www.openstreetmap.org.
  8. California Department of Transportation (Caltrans). (2024). Performance Measurement System (PeMS). Retrieved from http://pems.dot.ca.gov.