Haborets O. A.Габорець О. А.2026-11-172026-11-17202621.05.01https://rep.dnuvs.ukr.education/handle/123456789/5464Габорець О. А. Explainable machine learning for reliable phishing website detection: a two-dataset experimental study / О. А. Габорець // Кібербезпека: освіта, наука, техніка. – Київ : Київський столичний університет імені Бориса Грінченка, 2026. – № 3 (35), 2026. – С. 48–63.Phishing website detection is frequently presented as a classification task in which high predictive performance is treated as sufficient evidence of operational usefulness. This approach is incomplete in law-enforcement and cybersecurity settings, where a model output must be interpretable, independently verifiable and separated from conclusions about authorship, intent or legal qualification. The study develops and evaluates a human- centred explainable artificial intelligence framework combining supervised classification with structured analyst-oriented explanations. Five classifierswere assessed on the UCI Phishing Websites benchmark, and a second experiment used the larger PhiUSIIL dataset. Phishing was consistently designated as the positive class. Extra Trees achieved test accuracy of 0.9774, precision of 0.9784, recall of 0.9704, F1-score of 0.9744 and ROC-AUC of 0.9948. Stratified bootstrap intervals quantified test uncertainty: the 95% interval was 0.9670–0.9812 for F1 and 0.9915–0.9976 for ROC-AUC. The Brier score was 0.0187 and ten-bin expected calibration error was 0.0089. TreeSHAP analysis of 400 hold-out observations identified certificate state and anchor behaviour as the dominant global contributors. Across five fitted folds, the mean pairwise Jaccard overlap of the ten leading features was 0.891 (SD 0.094). In a mode-replacement fidelity test, replacing the three leading SHAP features by their training modes reduced F1 from 0.9744 to 0.3543, whereas random three-feature replacement yielded mean F1 of 0.9478. Near-perfect PhiUSIIL performance was not interpreted as deployment readiness: grouped validation, an explicitly defined 18-feature lexical ablation and duplicate analysis exposed collection-specific separability; the lexical-only grouped Extra Trees model retained mean F1 of 0.9970. The proposed Phishing Threat Explanation Card converts a prediction into an auditable record of the score, threshold, leading indicators, verification actions, uncertainty and analyst disposition. The contribution is empirical and procedural: it reports a documented and auditable comparison, quantifies predictive uncertainty, calibration and explanation fidelity, diagnoses inflated benchmark performance and defines safeguards for human oversight. Виявлення фішингових вебсайтів часто розглядають як завдання класифікації, у якому високі прогностичні показники вважають достатнім підтвердженням практичної придатності моделі. Однак у правоохоронній діяльності та сфері кібербезпеки такий підхід є неповним, оскільки результат моделювання має бути зрозумілим, придатним до незалежної перевірки та відокремленим від висновків щодо авторства, умислу або юридичної кваліфікації. У дослідженні розроблено й експериментально оцінено орієнтовану на людину систему виявлення фішингових вебсайтів на основі пояснюваного штучного інтелекту, яка поєднує керовану класифікацію зі структурованими поясненнями для аналітика. П’ять моделей машинного навчання оцінено на наборі UCI Phishing Websites, а додатковий експеримент проведено на більшому наборі PhiUSIIL. В обох експериментах фішинг послідовно визначено позитивним класом. Модель Extra Trees забезпечила accuracy 0,9774, precision 0,9784, recall 0,9704, F1 0,9744 і ROC-AUC 0,9948. За результатами стратифікованого бутстреп-оцінювання 95% довірчий інтервал становив 0,9670–0,9812 для F1 та 0,9915–0,9976 для ROC-AUC. Показник Брієра дорівнював 0,0187, а очікувана похибка калібрування, розрахована за десятьма інтервалами, — 0,0089. TreeSHAP-аналіз 400 спостережень відкладеної тестової вибірки визначив стан сертифіката та поведінку посилань- якорів основними глобальними чинниками впливу. У п’яти фолдах середній попарний індекс Жаккара для множин десяти найважливіших ознак становив 0,891 за стандартного відхилення 0,094. У тесті відповідності пояснення моделі заміна трьох провідних SHAP-ознак їхніми модальними значеннями, визначеними на навчальній вибірці, знизила F1 з 0,9744 до 0,3543, тоді як випадкова заміна трьох ознак дала середній F1 0,9478. Майже ідеальні результати на наборі PhiUSIIL не розглянуто як свідчення готовності моделі до практичного впровадження: групована крос-валідація, абляція до чітко визначених 18 лексичних ознак URL та аналіз дублікатів виявили залежність роздільності класів від особливостей формування набору даних. Водночас модель Extra Trees, навчена лише на лексичних ознаках у межах групованої валідації, зберегла середній F1 0,9970. Запропоновано Картку пояснення фішингової загрози, яка перетворює прогноз на придатний до аудиту запис, що містить оцінку моделі, поріг ухвалення рішення, провідні індикатори, дії з незалежної перевірки, відомості про невизначеність і рішення аналітика. Науковий внесок дослідження має емпіричний і процедурний характер: здійснено документоване та придатне до аудиту порівняння моделей, кількісно оцінено прогностичну невизначеність, калібрування та відповідність пояснень моделі, виявлено чинники потенційного завищення результатів на бенчмаркових даних і визначено запобіжники для забезпечення належного людського контролю.enExplainable Machine Learning For Reliable Phishing Website Detection: A Two-Dataset Experimental StudyПояснюване машинне навчання для надійного виявлення фішингових вебсайтів: експериментальне дослідження на двох наборах данихArticle