1. Giriş

Trafik tahmini, Akıllı Ulaşım Sistemlerinin (AUS) temel taşıdır ve doğru tahminler operasyonel verimliliği, güvenliği ve kentsel planlamayı doğrudan etkiler. Temel zorluk, farklı konumlardaki trafik koşullarının heterojenliğinde yatar; bu da geleneksel modellerin genelleme yapmasını zorlaştıran, oldukça değişken veri dağılımlarına yol açar. Büyük Dil Modelleri (Büyük Dil Modelleri) bu tür dinamik senaryolarda az örnekli öğrenmede umut vaat etse de, mevcut Büyük Dil Modeli tabanlı çözümler genellikle, trafik ağlarında doğal olarak bulunan karmaşık grafik ilişkilerini ve uzamsal-zamansal bağımlılıkları tam olarak yakalamakta zorlanan prompt-tuning'e dayanır. Bu sınırlama, hem modelin uyarlanabilirliğini hem de gerçek dünya uygulamalarındaki yorumlanabilirliğini engeller.

Strada-LLM, bu boşlukları kapatmak için tanıtılmıştır. Hem zamansal hem de uzamsal trafik örüntülerini açıkça modelleyen yeni bir çok değişkenli olasılıksal tahmin Büyük Dil Modeli'dir. Yakın trafik bilgisini kovaryat olarak dahil ederek ve hafif bir alan uyarlama stratejisi kullanarak, Strada-LLM mevcut prompt tabanlı Büyük Dil Modellerini ve geleneksel Grafik Sinir Ağı (GSA) modellerini, özellikle veri seyrek veya yeni ağ senaryolarında geride bırakmayı amaçlamaktadır.

2. Metodoloji

2.1. Model Mimarisi

Strada-LLM'nin mimarisi, Büyük Dil Modellerinin dizi modelleme gücünü GSA'ların yapısal tümevarımsal önyargılarıyla birleştirmek üzere tasarlanmıştır. Temel fikir, bir trafik ağını $G = (V, E)$ şeklinde bir graf olarak ele almaktır; burada $V$ düğümleri sensörleri veya yol kesimlerini, $E$ kenarları ise uzamsal bağlantıyı temsil eder. Tarihsel trafik verileri (örn. hız, akış), $C$ kanalına sahip $T$ zaman adımı boyunca $N$ düğüm için çok değişkenli zaman serileri $X \in \mathbb{R}^{N \times T \times C}$ oluşturur.

Model bu veriyi çift yollu bir kodlayıcı üzerinden işler: (1) Bir zamansal kodlayıcı (GPT veya LLaMA gibi bir Büyük Dil Modeli omurgasına dayalı) her bir düğümün zaman serisi içindeki uzun menzilli bağımlılıkları ve periyodik örüntüleri yakalar. (2) Bir uzamsal kodlayıcı (hafif bir GSA) grafik yapısı üzerinde çalışarak komşu düğümlerden bilgi toplar, girişte bahsedilen transfer ve geri besleme etkilerini yakalar. Bu kodlayıcıların çıktıları, uzamsal-zamansal olarak zenginleştirilmiş bir temsil oluşturmak için birleştirilir.

2.2. Yakın Kovaryat Entegrasyonu

Önemli bir yenilik, yakın trafik bilgisinin kovaryat olarak kullanılmasıdır. Strada-LLM tahminlerini yalnızca hedef düğümün geçmişine dayandırmak yerine, topolojik olarak bitişik düğümlerin yakın zamandaki durumlarına koşullandırır. Biçimsel olarak, $t$ zamanındaki bir hedef düğüm $i$ için girdi, $X_i^{(t-H:t)}$ ve $\{X_j^{(t-H:t)} | j \in \mathcal{N}(i)\}$'yi içerir; burada $\mathcal{N}(i)$ komşular kümesi ve $H$ tarihsel penceredir. Bu, hedef konumda tam olarak ortaya çıkmadan önce, ortaya çıkan tıkanıklık veya akış örüntüleri hakkında kritik bağlamsal sinyaller sağlar.

2.3. Dağılım Tabanlı Alan Uyarlaması

Dağılım kaymalarını (örn. A şehrinde eğitilmiş bir modelin B şehrine uygulanması) ele almak için, Strada-LLM parametre verimli bir alan uyarlama stratejisi önermektedir. Tüm model parametrelerini ince ayarlamak yerine, yeni hedef verinin istatistiksel dağılımını (örn. ortalama, varyans, otokorelasyon) analiz ederek türetilen yalnızca küçük bir parametre alt kümesini tanımlar ve günceller. Bu, az örnekli kısıtlamalar altında hızlı uyarlamaya olanak tanır ve modeli çeşitli kentsel ağlarda dağıtım için oldukça pratik hale getirir.

3. Teknik Detaylar & Matematiksel Formülasyon

Tahmin hedefi, gelecekteki trafik durumlarının koşullu olasılığını modellemektir: $$P(X^{(t+1:t+F)} | X^{(t-H:t)}, G)$$ burada $F$ tahmin ufkudur. Strada-LLM bunu çok değişkenli bir Gauss dağılımı olarak parametrize eder: $$\hat{X}^{(t+1:t+F)} \sim \mathcal{N}(\mu_{\theta}, \Sigma_{\theta})$$ Model parametreleri $\theta$, negatif log-olabilirliği en aza indirecek şekilde öğrenilir: $$\mathcal{L} = -\log P_{\theta}(X^{(t+1:t+F)} | X^{(t-H:t)}, G)$$ GSA bileşenindeki uzamsal toplama, bir mesaj geçiş şeması ile tanımlanabilir. $l$ katmanındaki $i$ düğümü için: $$h_i^{(l)} = \text{GÜNCELLE}\left(h_i^{(l-1)}, \text{TOPLA}\left(\{h_j^{(l-1)} | j \in \mathcal{N}(i)\}\right)\right)$$ burada $h_i$ düğüm gömme vektörüdür. TOPLA işlevi, bağlı düğümler arasındaki etki gücünü yakalayan ortalama havuzlama veya dikkat tabanlı olabilir.

4. Deneysel Sonuçlar & Analiz

4.1. Veri Kümeleri & Karşılaştırma Modelleri

Değerlendirmeler, sensör ağlarından trafik hızı/akış verileri içeren PeMS ve METR-LA gibi standart uzamsal-zamansal ulaşım veri kümeleri üzerinde gerçekleştirilmiştir. Karşılaştırma modelleri şunları içermekteydi:

  • Geleneksel Zaman Serisi Modelleri: ARIMA, VAR.
  • Derin Öğrenme Modelleri: TCN, LSTM.
  • GSA Tabanlı SOTA: DCRNN, STGCN, GraphWaveNet.
  • Büyük Dil Modeli Tabanlı Modeller: GPT-3, LLaMA'nın prompt-tuning ile ayarlanmış versiyonları.

4.2. Performans Metrikleri

Birincil metrikler, nokta tahminleri için Kök Ortalama Kare Hatası (RMSE) ve Ortalama Mutlak Hata (MAE), olasılıksal tahminler için ise Sürekli Sıralı Olasılık Skoru (CRPS) idi.

Performans İyileştirmesi

%17

Uzun vadeli tahminlerde SOTA Büyük Dil Modeli tabanlı modellere kıyasla RMSE azalması.

Verimlilik Kazancı

%16

Büyük Dil Modeli omurgalarının tam ince ayarına kıyasla daha verimli parametre kullanımı.

Sağlamlık

Minimal

Büyük Dil Modeli omurgaları değiştirildiğinde performans düşüşü (örn. GPT'den LLaMA'ya).

4.3. Temel Bulgular

Üstün Tahmin Doğruluğu: Strada-LLM, tüm karşılaştırma modellerini tutarlı bir şekilde geride bırakmıştır, özellikle uzun ufuklu tahminlerde (örn. 60-90 dakika öncesi). Prompt tabanlı Büyük Dil Modellerine kıyasla %17'lik RMSE iyileştirmesi, grafik yapısını açıkça modellemenin değerini vurgulamaktadır.

Etkili Az Örnekli Uyarlama: Dağılım türetilmiş uyarlama stratejisi, Strada-LLM'nin yeni bir şehrin verisinde yalnızca birkaç günlük örnek gördükten sonra zirve performansının >%90'ına ulaşmasını sağlamış, dikkate değer bir veri verimliliği göstermiştir.

Yorumlanabilirlik: Büyük Dil Modeli zamansal kodlayıcısındaki dikkat ağırlıklarını ve GSA'daki öğrenilmiş kenar ağırlıklarını analiz ederek, model, belirli bir tahmin için hangi tarihsel zaman noktalarının ve hangi komşu düğümlerin en etkili olduğuna dair içgörüler sağlayabilmiştir.

5. Analiz Çerçevesi: Temel İçgörü & Eleştiri

Temel İçgörü

Strada-LLM sadece trafik için başka bir yapay zeka modeli değil, hibrid zeka üzerine stratejik bir bahistir. Yazarlar, monolitik Büyük Dil Modellerinin saf prompt-tuning'inin, trafik ağları gibi yapılandırılmış, ilişkisel veriler için bir çıkmaz sokak olduğunu doğru bir şekilde tespit etmektedir. Temel içgörüleri, Büyük Dil Modellerinin zamansal akıl yürütme motoru, GSA'ların ise uzamsal yapı derleyicisi olarak hareket etmesi gerektiğidir. Bu, her şeyi metin prompt'ları üzerinden zorlamaya çalışmaktan daha mimari açıdan sağlam bir yaklaşımdır; tıpkı görüntü-dil modellerinin görüntüler ve metin için ayrı kodlayıcılar kullanması gibi.

Mantıksal Akış

Mantık ikna edicidir: 1) Trafiğin doğal bir grafik yapısı vardır → bir GSA kullan. 2) Trafik zaman serilerinin karmaşık uzun vadeli bağımlılıkları vardır → bir Büyük Dil Modeli kullan. 3) Bunları naif bir şekilde birleştirmek parametre açısından ağırdır ve modaliteleri hizalayamayabilir → yakın kovaryatlarla odaklanmış bir füzyon mekanizması tasarla. 4) Gerçek dünya dağıtımı dağılım kaymalarıyla karşılaşır → hafif, istatistik tabanlı bir adaptör icat et. Bu, ML sistem tasarımında problem ayrıştırmanın ders kitabı niteliğinde bir örneğidir.

Güçlü Yönler & Zayıflıklar

Güçlü Yönler: Parametre verimli alan uyarlaması, makalenin gerçek dünya uygulanabilirliği için öne çıkan özelliğidir. Şehir ölçeğinde AUS dağıtımındaki "soğuk başlangıç" sorununu doğrudan ele alır. Olasılıksal tahmine odaklanmak da övgüye değerdir; nokta tahminlerinin ötesine geçerek belirsizlik nicelleştirmesine yönelir, bu da ulaşımda risk bilinçli karar verme için kritiktir.

Zayıflıklar & Açık Sorular: Odadaki fil hesaplama maliyetidir. Tam ince ayardan daha verimli olsa da, yüzlerce sensör için gerçek zamanlı olarak bir Büyük Dil Modeli omurgası (7B parametreli bir model bile) çalıştırmak önemsiz değildir. Makale, çevrimiçi tahmin için titiz bir gecikme analizinden yoksundur. Ayrıca, "graf" statik (yol ağı) olarak varsayılmıştır. Kazalar veya yol kapanışları gibi geçici olayları temsil edebilecek dinamik grafikleri göz ardı eder; bu, Dinamik Grafik Sinir Ağları (Pareja ve diğerleri, NeurIPS 2020) gibi çalışmalarda araştırılan bir sınırdır. Standart kıyaslama testlerindeki değerlendirme sağlamdır, ancak gerçek bir stres testi, daha heterojen bir şehir karışımını (örn. Avrupa ızgara planı vs. Amerikan yayılımı) içerecektir.

Uygulanabilir İçgörüler

Uygulayıcılar için: Bu mimariyi önce koridor seviyesi yönetim için pilot uygulayın, şehir geneli için değil, hesaplama maliyetlerini yönetmek için. Alan uyarlama modülü çıkarılabilir ve potansiyel olarak diğer uzamsal-zamansal modellerle kullanılabilir. Araştırmacılar için: En büyük fırsat, genel amaçlı Büyük Dil Modeli omurgasını, verimliliği büyük ölçüde artırabilecek zaman serisi özel temel modeli (Google'dan TimesFM gibi) ile değiştirmektir. Bir diğer yol, harici verileri (hava durumu, etkinlikler) sadece kovaryat olarak değil, çok modlu bir füzyon katmanı aracılığıyla entegre etmek, böylece gerçek bir "kentsel dijital ikiz" modeli oluşturmaktır.

6. Uygulama Öngörüsü & Gelecek Yönelimler

Kısa vadeli (1-3 yıl): Trafik yönetim merkezlerinde tıkanıklık tahmini ve hafifletme için dağıtım. Strada-LLM, tahmin edilen akışa dayalı olarak zamanlamaları proaktif bir şekilde ayarlayan dinamik trafik sinyal kontrol sistemlerini güçlendirebilir. Az örnekli uyarlaması, tarihsel verilerin seyrek ancak örüntülerin hızla ortaya çıktığı özel etkinlik yönetimi (spor müsabakaları, konserler) için uygun hale getirir.

Orta vadeli (3-5 yıl): Otonom araç (OA) rota sistemleri ile entegrasyon. OA filoları, farklı rotaların riskini değerlendirmek için Strada-LLM'nin olasılıksal tahminlerini kullanabilir, yalnızca mevcut seyahat süresi için değil, tahmin edilen istikrar ve güvenilirlik için optimize edebilir. Ayrıca yük ve lojistik planlamasını geliştirebilir.

Uzun vadeli & Araştırma Sınırları:

  • Üretken Kentsel Planlama: Strada-LLM'yi, önerilen altyapı değişikliklerinin (yeni yollar, imar yasaları) trafik etkisini değerlendirmek için bir simülatör olarak kullanmak.
  • Çok Modlu Entegrasyon: Araç trafiğinin ötesine geçerek, yaya akışları, bisiklet paylaşım talebi ve toplu taşıma doluluk oranı dahil entegre hareketliliği modellemek; bu da heterojen grafik temsilleri gerektirir.
  • Nedensel Çıkarım: Korelasyondan nedenselliğe geçiş. Model, belirli bir şeridin kapatılmasının kesin etkisi gibi "ne olurdu" sorularını yanıtlayabilir mi? Bu, nedensel temsil öğrenimi alanındaki büyümeyle uyumludur.
  • Hareketlilik için Temel Model: Strada-LLM'nin mimarisi, kentsel ortamlardaki tüm uzamsal-zamansal tahmin görevleri için bir temel model oluşturmak üzere küresel trafik verileri üzerinde ölçeklendirilebilir ve önceden eğitilebilir.

7. Referanslar

  1. Moghadas, S. M., Cornelis, B., Alahi, A., & Munteanu, A. (2025). Strada-LLM: Graph LLM for traffic prediction. Proceedings of the 31st ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD '25).
  2. Vaswani, A., et al. (2017). Attention is All You Need. Advances in Neural Information Processing Systems 30 (NeurIPS 2017).
  3. Kipf, T. N., & Welling, M. (2017). Semi-Supervised Classification with Graph Convolutional Networks. International Conference on Learning Representations (ICLR).
  4. Li, Y., et al. (2018). Diffusion Convolutional Recurrent Neural Network: Data-Driven Traffic Forecasting. International Conference on Learning Representations (ICLR).
  5. Pareja, A., et al. (2020). EvolveGCN: Evolving Graph Convolutional Networks for Dynamic Graphs. Proceedings of the AAAI Conference on Artificial Intelligence.
  6. Wu, N., et al. (2023). TimesFM: A Foundation Model for Time Series Forecasting. Google Research. [Preprint].
  7. OpenStreetMap contributors. (2024). Planet dump. Retrieved from https://www.openstreetmap.org.
  8. California Department of Transportation (Caltrans). (2024). Performance Measurement System (PeMS). Retrieved from http://pems.dot.ca.gov.