a108814a56
Étape 2 — Fingerprinting HTTP/2 dans le pipeline ML : - Ajout du dictionnaire dict_browser_h2 (11 familles de navigateurs) dans 05_aggregation_tables.sql - Ajout du CTE h2_agg et 4 features HTTP/2 dans 07_ai_features_view.sql : h2_settings_known, h2_pseudo_order_match, h2_ja4_coherence, h2_settings_rare - Calcul du fingerprint_coherence_score (5 axes pondérés) dans la vue - Ajout du 6e axe axis_h2_coherence dans browser.py (poids rééquilibrés) - browser_h2.csv : 11 fingerprints Akamai → famille navigateur Étape 3 — Pré-filtre de cohérence sur la baseline humaine : - pipeline.py exclut les sessions avec fingerprint_coherence_score < seuil de la baseline d'entraînement - FINGERPRINT_COHERENCE_THRESHOLD configurable via env (défaut 0.25) - Log des sessions exclues pour analyse SOC Étape 4 — Détection de drift améliorée : - scoring.py : passage de 5 à 9 quantiles (p5…p95) - Ajout de la divergence KL en complément du test KS - Détection de drift adversarial (≥80% des features dérivent dans la même direction) - Split temporel strict pour la validation Étape 5 — Graphe bipartite JA4×ASN (§5.2) : - fleet.py : détection de flottes via NetworkX + Louvain (imports optionnels) - enrich_with_fleet_score() : ajout fleet_score + fleet_campaign_flag au DataFrame - cycle.py : appel après preprocess_df avec log du nombre de sessions en flotte - SQL migration 05_fleet_metrics_tables.sql : table fleet_detections (TTL 7j) - Dashboard : /fleet + /api/fleet (communautés détectées) + template fleet.html Étape 6 — Cross-domain Jaccard §5.8 : - 12_thesis_features.sql : CTE jaccard_paths → cross_domain_path_similarity - Signal : même chemins (/admin, /wp-login) sur plusieurs hosts = scanner Étape 7 — ExIFFI + erreurs AE par feature : - scoring.py : compute_exiffi_importance() par permutation, compute_ae_feature_errors() - pipeline.py : calcul ExIFFI sur X_test, mapping index → dict pour anomalies - build_reason() enrichi avec exiffi_top quand SHAP inactif Étape 8 — Méta-learner pour la pondération de l'ensemble : - scoring.py : classe MetaLearner (LogisticRegression, fallback poids fixes <1000 labels) - Collecte des labels depuis le cycle courant (known_bots, légitimes, Anubis) - pipeline.py : remplacement des poids fixes par MetaLearner.predict() Étape 9 — Métriques de performance et monitoring : - metrics.py : record_cycle_metrics() — taux anomalie, drift, corrélation, latence - SQL migration 05_fleet_metrics_tables.sql : table ml_performance_metrics (TTL 90j) - Dashboard : /health + /api/health + template health.html - cycle.py : appel record_cycle_metrics en fin de cycle (Complet + Applicatif) Tests : 36/36 bot-detector tests passent Co-authored-by: Copilot <223556219+Copilot@users.noreply.github.com>
94 lines
2.8 KiB
Python
94 lines
2.8 KiB
Python
"""HTML page routes served via Jinja2 templates."""
|
|
|
|
from __future__ import annotations
|
|
|
|
from fastapi import APIRouter, Request
|
|
from fastapi.templating import Jinja2Templates
|
|
|
|
router = APIRouter()
|
|
templates = Jinja2Templates(directory="backend/templates")
|
|
|
|
|
|
def _ctx(request: Request, page: str, **extra) -> dict:
|
|
return {"request": request, "active_page": page, **extra}
|
|
|
|
|
|
@router.get("/")
|
|
async def overview(request: Request):
|
|
return templates.TemplateResponse("overview.html", _ctx(request, "overview"))
|
|
|
|
|
|
@router.get("/detections")
|
|
async def detections(request: Request):
|
|
return templates.TemplateResponse("detections.html", _ctx(request, "detections"))
|
|
|
|
|
|
@router.get("/scores")
|
|
async def scores(request: Request):
|
|
return templates.TemplateResponse("scores.html", _ctx(request, "scores"))
|
|
|
|
|
|
@router.get("/traffic")
|
|
async def traffic(request: Request):
|
|
return templates.TemplateResponse("traffic.html", _ctx(request, "traffic"))
|
|
|
|
|
|
@router.get("/ip/{ip}")
|
|
async def ip_detail(request: Request, ip: str):
|
|
return templates.TemplateResponse("ip_detail.html", _ctx(request, "ip_detail", ip=ip))
|
|
|
|
|
|
@router.get("/classify")
|
|
async def classify(request: Request):
|
|
return templates.TemplateResponse("classify.html", _ctx(request, "classify"))
|
|
|
|
|
|
@router.get("/features")
|
|
async def features(request: Request):
|
|
return templates.TemplateResponse("features.html", _ctx(request, "features"))
|
|
|
|
|
|
@router.get("/models")
|
|
async def models(request: Request):
|
|
return templates.TemplateResponse("models.html", _ctx(request, "models"))
|
|
|
|
|
|
@router.get("/network")
|
|
async def network(request: Request):
|
|
return templates.TemplateResponse("network.html", _ctx(request, "network"))
|
|
|
|
|
|
@router.get("/campaigns")
|
|
async def campaigns_page(request: Request):
|
|
return templates.TemplateResponse("campaigns.html", _ctx(request, "campaigns"))
|
|
|
|
|
|
@router.get("/ja4/{fingerprint:path}")
|
|
async def ja4_detail_page(request: Request, fingerprint: str):
|
|
return templates.TemplateResponse("ja4_detail.html", _ctx(request, "ja4_detail", ja4=fingerprint))
|
|
|
|
|
|
@router.get("/cluster/{cid}")
|
|
async def cluster_detail_page(request: Request, cid: int):
|
|
return templates.TemplateResponse("cluster_detail.html", _ctx(request, "cluster_detail", cid=cid))
|
|
|
|
|
|
@router.get("/tactics")
|
|
async def tactics_page(request: Request):
|
|
return templates.TemplateResponse("tactics.html", _ctx(request, "tactics"))
|
|
|
|
|
|
@router.get("/reflists")
|
|
async def reflists_page(request: Request):
|
|
return templates.TemplateResponse("reflists.html", _ctx(request, "reflists"))
|
|
|
|
|
|
@router.get("/fleet")
|
|
async def fleet_page(request: Request):
|
|
return templates.TemplateResponse("fleet.html", _ctx(request, "fleet"))
|
|
|
|
|
|
@router.get("/health")
|
|
async def health_page(request: Request):
|
|
return templates.TemplateResponse("health.html", _ctx(request, "health"))
|