1. Utangulizi

Utabiri wa trafiki ni msingi wa Mifumo ya Usafiri Yenye Akili (ITS), na utabiri sahihi unaathiri moja kwa moja ufanisi wa uendeshaji, usalama, na mipango ya mijini. Changamoto kuu iko katika utofauti wa hali za trafiki katika maeneo tofauti, na kusababisha usambazaji wa data tofauti sana ambao ni vigumu kwa mifumo ya jadi kujumlisha. Ingawa Mifumo Mikubwa ya Lugha (LLM) imeonyesha matumaini katika ujifunzaji wa mifano michache kwa hali zinazobadilika kama hizi, suluhisho zilizopo zinazotegemea LLM mara nyingi hutegemea urekebishaji wa haraka (prompt-tuning), ambao hupambana na kukamata kikamilifu mahusiano ya grafu na utegemezi wa nafasi na muda uliomo katika mitandao ya trafiki. Uwiano huu unazuia uwezo wa mfumo kukabiliana na mazingira tofauti na uelewekani katika matumizi ya ulimwengu halisi.

Strada-LLM imeanzishwa kujaza pengo hili. Ni mfumo mpya wa uwezekano wa kutabiri anuwai unaoiga mifumo ya trafiki ya muda na nafasi. Kwa kujumuisha maelezo ya trafiki ya karibu kama vigezo (covariates) na kutumia mkakati mwepesi wa kubadilisha kikoa, Strada-LLM inalenga kufanya vizuri zaidi kuliko LLM zilizopo zinazotegemea haraka (prompt-based) na mifumo ya jadi ya Mitandao ya Neural ya Grafu (GNN), hasa katika hali za mitandao mpya au zenye data chache.

2. Mbinu

2.1. Muundo wa Mfumo

Muundo wa Strada-LLM umeundwa kuunganisha uwezo wa kuiga mfuatano wa LLM na mwelekeo wa muundo wa GNN. Wazo kuu ni kuchukua mtandao wa trafiki kama grafu $G = (V, E)$, ambapo nodi $V$ zinawakilisha vichunguzi au sehemu za barabara, na kingo $E$ zinawakilisha muunganisho wa nafasi. Data ya trafiki ya kihistoria (k.m., kasi, mtiririko) huunda mfululizo wa muda anuwai $X \in \mathbb{R}^{N \times T \times C}$ kwa nodi $N$ katika hatua za muda $T$ na njia $C$.

Mfumo huu huchakata data hii kupitia kichimbaji cha njia mbili: (1) Kichimbaji cha muda (kinachotegemea msingi wa LLM kama GPT au LLaMA) hukamata utegemezi wa muda mrefu na mifumo ya mara kwa mara ndani ya mfululizo wa muda wa kila nodi. (2) Kichimbaji cha nafasi (GNN nyepesi) hufanya kazi kwenye muundo wa grafu ili kukusanya maelezo kutoka kwa nodi jirani, na kukamata athari za uhamisho na maoni zilizotajwa katika utangulizi. Matokeo ya vichimbaji hivi huchanganywa ili kuunda uwakilishi ulioimarishwa wa nafasi na muda.

2.2. Ujumuishaji wa Vigezo Vya Karibu (Proximal Covariates)

Uvumbuzi muhimu ni matumizi ya maelezo ya trafiki ya karibu kama vigezo. Badala ya kutegemea tu historia ya nodi lengwa, Strada-LLM hufanya utabiri wake kulingana na hali za hivi karibuni za nodi zilizo karibu kwa muundo. Rasmi, kwa nodi lengwa $i$ kwa wakati $t$, pembejeo inajumuisha $X_i^{(t-H:t)}$ na $\{X_j^{(t-H:t)} | j \in \mathcal{N}(i)\}$, ambapo $\mathcal{N}(i)$ ni seti ya majirani na $H$ ni dirisha la historia. Hii hutoa ishara muhimu za muktadhi kuhusu msongamano unaoibuka au mifumo ya mtiririko kabla ya kuonekana kikamilifu katika eneo lengwa.

2.3. Ubadilishaji wa Kikoa Kulingana na Usambazaji

Ili kushughulikia mabadiliko ya usambazaji (k.m., mfumo uliofunzwa katika jiji A ukatumika katika jiji B), Strada-LLM inapendekeza mkakati wa kubadilisha kikoa wenye ufanisi wa vigezo. Badala ya kurekebisha vigezo vyote vya mfumo, hutambua na kusasisha sehemu ndogo tu ya vigezo vilivyopatikana kwa kuchambua usambazaji wa takwimu (k.m., wastani, tofauti, uunganisho wa kiotomatiki) wa data mpya lengwa. Hii inaruhusu kubadilika haraka chini ya vikwazo vya mifano michache, na kufanya mfumo uwe wa vitendo sana kwa matumizi katika mitandao tofauti ya mijini.

3. Maelezo ya Kiufundi & Mfumo wa Hisabati

Lengo la utabiri ni kuiga uwezekano wa masharti ya hali za trafiki za baadaye: $$P(X^{(t+1:t+F)} | X^{(t-H:t)}, G)$$ ambapo $F$ ni upeo wa utabiri. Strada-LLM huelezea hii kama usambazaji wa Gaussian anuwai: $$\hat{X}^{(t+1:t+F)} \sim \mathcal{N}(\mu_{\theta}, \Sigma_{\theta})$$ Vigezo vya mfumo $\theta$ hujifunza kupunguza uwezekano hasi wa logi: $$\mathcal{L} = -\log P_{\theta}(X^{(t+1:t+F)} | X^{(t-H:t)}, G)$$ Mkusanyiko wa nafasi katika sehemu ya GNN unaweza kuelezewa na mpango wa kutuma ujumbe. Kwa nodi $i$ kwenye safu $l$: $$h_i^{(l)} = \text{UPDATE}\left(h_i^{(l-1)}, \text{AGGREGATE}\left(\{h_j^{(l-1)} | j \in \mathcal{N}(i)\}\right)\right)$$ ambapo $h_i$ ni ujumuishaji wa nodi. Kitendakazi cha AGGREGATE kinaweza kuwa cha kusanya wastani au kinachotegemea umakini, na kukamata nguvu ya ushawishi kati ya nodi zilizounganishwa.

4. Matokeo ya Majaribio & Uchambuzi

4.1. Hifadhidata na Viwango vya Kulinganisha

Tathmini zilifanywa kwenye hifadhidata za kawaida za usafiri wa nafasi na muda kama PeMS na METR-LA, ambazo zina data ya kasi/mtiririko wa trafiki kutoka kwa mitandao ya vichunguzi. Viwango vya kulinganisha vilijumuisha:

  • Mifumo ya Jadi ya Mfululizo wa Muda: ARIMA, VAR.
  • Mifumo ya Ujifunzaji wa kina: TCN, LSTM.
  • GNN-based SOTA: DCRNN, STGCN, GraphWaveNet.
  • Mifumo inayotegemea LLM: Toleo zilizorekebishwa haraka za GPT-3, LLaMA.

4.2. Vipimo vya Utendaji

Vipimo vya msingi vilikuwa Kosa la Mzizi wa Wastani wa Mraba (RMSE) na Kosa la Wastani Kamili (MAE) kwa utabiri wa nukta, na Alama ya Uwezekano wa Cheo Endelevu (CRPS) kwa utabiri wa uwezekano.

Uboreshaji wa Utendaji

17%

Kupunguzwa kwa RMSE katika utabiri wa muda mrefu ikilinganishwa na mifumo ya kisasa inayoendeshwa na LLM.

Faida ya Ufanisi

16%

Matumizi ya vigezo yenye ufanisi zaidi ikilinganishwa na urekebishaji kamili wa misingi ya LLM.

Uthabiti

Kidogo sana

Kupungua kwa utendaji wakati wa kubadilisha misingi ya LLM (k.m., GPT hadi LLaMA).

4.3. Matokeo Muhimu

Usahihi Bora wa Utabiri: Strada-LLM ilifanya vizuri zaidi kuliko viwango vyote vya kulinganisha, hasa katika utabiri wa upeo mrefu (k.m., dakika 60-90 mbele). Uboreshaji wa 17% wa RMSE juu ya LLM zinazotegemea haraka (prompt-based) unaonyesha thamani ya kuiga muundo wa grafu kwa uwazi.

Ubadilishaji Bora wa Mifano Michache: Mkakati wa kubadilisha kikoa kulingana na usambazaji uliruhusu Strada-LLM kufikia zaidi ya 90% ya utendaji wake wa kilele kwenye data ya jiji jipya baada ya kuona sampuli chache tu za siku, na kuonyesha ufanisi wa data wa kushangaza.

Uelewekani: Kwa kuchambua uzito wa umakini katika kichimbaji cha muda cha LLM na uzito wa kingo uliojifunza katika GNN, mfumo unaweza kutoa ufahamu kuhusu ni hatua gani za kihistoria na nodi gani za jirani zilikuwa na ushawishi mkubwa zaidi kwa utabiri fulani.

5. Mfumo wa Uchambuzi: Ufahamu Msingi na Ukosoaji

Ufahamu Msingi

Strada-LLM sio mfumo mwingine tu wa AI kwa trafiki; ni dau la kimkakati kwenye akili mseto. Waandishi wametambua kwa usahihi kwamba urekebishaji wa haraka wa LLM pekee ni mwisho wa njia kwa data iliyoundwa na yenye mahusiano kama mitandao ya trafiki. Ufahamu wao wa msingi ni kwamba LLM zinapaswa kuwa injini ya mantiki ya muda, wakati GNN zinafanya kazi kama mkusanyaji wa muundo wa nafasi. Hii ni njia yenye muundo mzuri zaidi kuliko kujaribu kulazimisha kila kitu kupitia haraka za maandishi (prompts), sawa na jinsi mifumo ya lugha ya maono inavyotumia vichimbaji tofauti kwa picha na maandishi.

Mkondo wa Mantiki

Mantiki ni ya kulazimisha: 1) Trafiki ina muundo wa grafu wa asili → tumia GNN. 2) Mfululizo wa muda wa trafiki una utegemezi mgumu wa muda mrefu → tumia LLM. 3) Kuchanganya kwa urahisi huwa na vigezo vingi na huenda visilingane → unda utaratibu wa muunganisho uliolengwa na vigezo vya karibu. 4) Matumizi ya ulimwengu halisi yanakabiliwa na mabadiliko ya usambazaji → unda kichungi kipana, kinachoendeshwa na takwimu. Huu ni mfano bora wa utenganishaji wa shida katika muundo wa mifumo ya ML.

Nguvu na Mapungufu

Nguvu: Ubadilishaji wa kikoa wenye ufanisi wa vigezo ndio kipengele kikuu cha karatasi hii kwa uwezekano wa ulimwengu halisi. Inashughulikia moja kwa moja shida ya "kuanzia baridi" katika matumizi ya ITS ya kiwango cha jiji. Mwelekeo kwenye utabiri wa uwezekano pia unastahili sifa, ukiondoka zaidi ya makadirio ya nukta hadi kipimo cha kutokuwa na uhakika, ambacho ni muhimu kwa uamuzi unaotambua hatari katika usafiri.

Mapungufu & Maswali Yasiyojibiwa: Tembo katika chumba ni gharama ya hesabu. Ingawa ni yenye ufanisi zaidi kuliko urekebishaji kamili, kuendesha msingi wa LLM (hata mfumo wa vigezo 7B) kwa mamia ya vichunguzi kwa wakati halisi sio jambo dogo. Karatasi haina uchambuzi mkali wa ucheleweshaji kwa utabiri wa mtandaoni. Zaidi ya hayo, "grafu" inachukuliwa kuwa tuli (mtandao wa barabara). Haina kuzingatia grafu zinazobadilika ambazo zinaweza kuwakilisha matukio ya muda kama ajali au kufungwa kwa barabara, mpaka unaochunguzwa katika kazi kama Mitandao ya Neural ya Grafu Inayobadilika (Pareja et al., NeurIPS 2020). Tathmini kwenye viwango vya kawaida ni imara, lakini jaribio la shida halisi lingehitaji mchanganyiko tofauti zaidi wa majiji (k.m., gridi ya Ulaya dhidi ya mtandao wa Marekani).

Ufahamu Unaoweza Kutekelezwa

Kwa watendaji: Anzisha muundo huu kwa usimamizi wa kiwango cha korido kwanza, sio kwa jiji nzima, ili kudhibiti gharama za hesabu. Moduli ya kubadilisha kikoa inaweza kutolewa na kutumika kwa uwezekano na mifumo mingine ya nafasi na muda. Kwa watafiti: Fursa kubwa zaidi ni kuchukua nafasi ya msingi wa LLM wa jumla na mfumo wa msingi maalum wa mfululizo wa muda (kama TimesFM kutoka Google), ambao unaweza kuboresha ufanisi kwa kiasi kikubwa. Njia nyingine ni kujumuisha data ya nje (hali ya hewa, matukio) sio kama vigezo tu lakini kupitia safu ya muunganisho ya njia nyingi, na kuunda mfumo wa kweli wa "mzalia kidijitali wa mijini".

6. Matarajio ya Matumizi & Mwelekeo wa Baadaye

Muda mfupi (miaka 1-3): Matumizi katika vituo vya usimamizi wa trafiki kwa utabiri na kupunguza msongamano. Strada-LLM inaweza kuendesha mifumo ya udhibiti wa ishara za trafiki zinazobadilika ambayo hurekebisha vipindi vya wakati kwa kuzingatia mtiririko unaotabiriwa. Ubadilishaji wake wa mifano michache unaufanya uwe wa kufaa kwa usimamizi wa matukio maalum (michezo ya michezo, tamasha) ambapo data ya kihistoria ni chache lakini mifumo huibuka haraka.

Muda wa kati (miaka 3-5): Ujumuishaji na mifumo ya uelekezaji ya magari yanayojitegemea (AV). Makundi ya AV yanaweza kutumia utabiri wa uwezekano wa Strada-LLM kutathmini hatari ya njia tofauti, na kuongeza ufanisi sio tu kwa wakati wa safari wa sasa lakini pia kwa utulivu na uaminifu unaotabiriwa. Inaweza pia kuboresha upangaji wa mizigo na usafirishaji.

Muda mrefu na Mipaka ya Utafiti:

  • Mipango ya Mijini ya Kizalishaji: Kwa kutumia Strada-LLM kama mfano wa kuiga ili kutathmini athari ya trafiki ya mabadiliko yanayopendekezwa ya miundombinu (barabara mpya, sheria za matumizi ya ardhi).
  • Ujumuishaji wa Njia Nyingi: Kupanuka zaidi ya trafiki ya magari ili kuiga usafiri uliojumuishwa, ukiwemo mtiririko wa watu wanaotembea kwa miguu, mahitaji ya kukodisha baiskeli, na ujazo wa usafiri wa umma, na kuhitaji uwakilishi wa grafu tofauti.
  • Uchambuzi wa Sababu na Athari: Kuondoka kwenye uhusiano hadi sababu na athari. Je, mfumo unaweza kujibu maswali ya "ikiwa", kama athari halisi ya kufunga njia maalum? Hii inalingana na uwanja unaokua wa ujifunzaji wa uwakilishi wa sababu na athari.
  • Mfumo wa Msingi wa Usafiri: Muundo wa Strada-LLM unaweza kuongezeka kwa kiwango na kufunzwa awali kwenye data ya trafiki ya kimataifa ili kuunda mfumo wa msingi kwa kazi zote za utabiri wa nafasi na muda katika mazingira ya mijini.

7. Marejeo

  1. Moghadas, S. M., Cornelis, B., Alahi, A., & Munteanu, A. (2025). Strada-LLM: Graph LLM for traffic prediction. Proceedings of the 31st ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD '25).
  2. Vaswani, A., et al. (2017). Attention is All You Need. Advances in Neural Information Processing Systems 30 (NeurIPS 2017).
  3. Kipf, T. N., & Welling, M. (2017). Semi-Supervised Classification with Graph Convolutional Networks. International Conference on Learning Representations (ICLR).
  4. Li, Y., et al. (2018). Diffusion Convolutional Recurrent Neural Network: Data-Driven Traffic Forecasting. International Conference on Learning Representations (ICLR).
  5. Pareja, A., et al. (2020). EvolveGCN: Evolving Graph Convolutional Networks for Dynamic Graphs. Proceedings of the AAAI Conference on Artificial Intelligence.
  6. Wu, N., et al. (2023). TimesFM: A Foundation Model for Time Series Forecasting. Google Research. [Preprint].
  7. OpenStreetMap contributors. (2024). Planet dump. Retrieved from https://www.openstreetmap.org.
  8. California Department of Transportation (Caltrans). (2024). Performance Measurement System (PeMS). Retrieved from http://pems.dot.ca.gov.