TF-IDF VE YAPISAL ÖZELLİKLERE DAYALI URL TABANLI KİMLİK AVI TESPİTİNDE MAKİNE ÖĞRENİMİ VE ANSAMBL YÖNTEMLERİNİN KARŞILAŞTIRMALI ANALİZİ

Creative Commons License

ÖZMEN Ü., YILDIRIM E. O.

Black Sea Journal of Engineering and Science, cilt.9, sa.4, ss.1725-1736, 2026 (TRDizin)

Özet

Kimlik avı (phishing) saldırıları, kullanıcıların kimlik ve finansal bilgilerini hedef alan, hızla yaygınlaşan bir siber güvenlik tehdididir; bu nedenle saldırıların erken ve düşük maliyetle tespiti kritik önem taşımaktadır. Web sayfası içeriğinin analizine dayalı geleneksel yöntemler yüksek hesaplama maliyeti ve gecikme oluştururken, statik kara liste tabanlı yaklaşımlar yeni oluşturulan veya kısa ömürlü URL'ler karşısında yetersiz kalmaktadır. Bu çalışma, yalnızca URL bilgisinden yararlanan hibrit bir tespit hattı önermektedir: karakter düzeyindeki TF-IDF n-gram temsilleri; URL uzunluğu, sembol yoğunluğu, alt alan adı derinliği ve alan adı/TLD özellikleri gibi 30 yapısal göstergeyle birleştirilmektedir. Deneyler, 549.346 URL içeren Phishing Site URLs veri seti üzerinde yürütülmüş; tekrar eden ve geçersiz etiketli kayıtların temizlenmesiyle 507.191 benzersiz URL elde edilmiş, sınıf oranı korunarak %30'luk katmanlı bir alt küme (152.157 URL) %80 eğitim / %20 test biçiminde ayrılmıştır. Logistic Regression, SGDClassifier, RidgeClassifier, Complement Naive Bayes, Random Forest, LightGBM ve XGBoost modelleri ile bunların olasılık tabanlı soft-voting birleşimi değerlendirilmiştir. Sınıf dengesizliği doğrusal modellerde RandomOverSampler, ağaç tabanlı modellerde sınıf ağırlıklandırmasıyla ele alınmış; hiperparametreler katmanlı çapraz doğrulamayla (GridSearchCV ve RandomizedSearchCV) ayarlanmış ve karar eşikleri out-of-fold tahminler üzerinden F1 skorunu maksimize edecek biçimde optimize edilmiştir. Sonuçlar, Logistic Regression'ın %97,33 doğruluk ve 0,94 F1 ile en iyi sonucu verdiğini; Ridge ve soft-voting modellerinin de Bad sınıfı için 0,93– 0,94 F1 aralığında, 0,99'a ulaşan ROC-AUC değerleriyle güçlü performans sergilediğini göstermektedir. Bulgular, yüksek boyutlu URL özellik uzayında doğrusal modellerin etkili bir ayrım sağladığını ve optimize edilmiş, yalnızca URL tabanlı bir hattın güvenilir ve düşük maliyetli kimlik avı tespiti sunabileceğini ortaya koymaktadır.
Phishing attacks, which target users' credentials and financial data, are a rapidly growing cybersecurity threat, making their early and low-cost detection critical. Traditional approaches that analyze web page content introduce high computational cost and latency, while static blacklist-based methods fail against newly created or short-lived URLs. This study proposes a hybrid detection pipeline that relies solely on URL information: character-level TF-IDF n-gram representations are combined with 30 structural indicators such as URL length, symbol density, subdomain depth, and domain/TLD features. Experiments were conducted on the Phishing Site URLs dataset of 549,346 URLs; after removing duplicate and invalid-label records, 507,191 unique URLs were obtained, and a 30% stratified subset (152,157 URLs) was split into 80% training and 20% testing while preserving the class ratio. Logistic Regression, SGDClassifier, RidgeClassifier, Complement Naive Bayes, Random Forest, LightGBM, and XGBoost, together with a probability-based soft-voting ensemble, were evaluated. Class imbalance was addressed using RandomOverSampler for the linear models and class weighting for the tree-based models; hyperparameters were tuned via stratified cross-validation (GridSearchCV and RandomizedSearchCV), and decision thresholds were optimized on out-of-fold predictions to maximize the F1 score. The results show that Logistic Regression achieved the best performance with 97.33% accuracy and a 0.94 F1 score, while the Ridge and soft-voting models also performed strongly, with F1 scores in the 0.93–0.94 range for the Bad class and ROC-AUC values reaching 0.99. The findings demonstrate that linear models provide effective discrimination in the high-dimensional URL feature space and that an optimized, URL-only pipeline can deliver reliable and low-cost phishing detection.