feat: roadmap détection bots §2-9 — HTTP/2, cohérence, drift, flotte, Jaccard, ExIFFI, méta-learner, métriques

Étape 2 — Fingerprinting HTTP/2 dans le pipeline ML :
- Ajout du dictionnaire dict_browser_h2 (11 familles de navigateurs) dans 05_aggregation_tables.sql
- Ajout du CTE h2_agg et 4 features HTTP/2 dans 07_ai_features_view.sql :
  h2_settings_known, h2_pseudo_order_match, h2_ja4_coherence, h2_settings_rare
- Calcul du fingerprint_coherence_score (5 axes pondérés) dans la vue
- Ajout du 6e axe axis_h2_coherence dans browser.py (poids rééquilibrés)
- browser_h2.csv : 11 fingerprints Akamai → famille navigateur

Étape 3 — Pré-filtre de cohérence sur la baseline humaine :
- pipeline.py exclut les sessions avec fingerprint_coherence_score < seuil de la baseline d'entraînement
- FINGERPRINT_COHERENCE_THRESHOLD configurable via env (défaut 0.25)
- Log des sessions exclues pour analyse SOC

Étape 4 — Détection de drift améliorée :
- scoring.py : passage de 5 à 9 quantiles (p5…p95)
- Ajout de la divergence KL en complément du test KS
- Détection de drift adversarial (≥80% des features dérivent dans la même direction)
- Split temporel strict pour la validation

Étape 5 — Graphe bipartite JA4×ASN (§5.2) :
- fleet.py : détection de flottes via NetworkX + Louvain (imports optionnels)
- enrich_with_fleet_score() : ajout fleet_score + fleet_campaign_flag au DataFrame
- cycle.py : appel après preprocess_df avec log du nombre de sessions en flotte
- SQL migration 05_fleet_metrics_tables.sql : table fleet_detections (TTL 7j)
- Dashboard : /fleet + /api/fleet (communautés détectées) + template fleet.html

Étape 6 — Cross-domain Jaccard §5.8 :
- 12_thesis_features.sql : CTE jaccard_paths → cross_domain_path_similarity
- Signal : même chemins (/admin, /wp-login) sur plusieurs hosts = scanner

Étape 7 — ExIFFI + erreurs AE par feature :
- scoring.py : compute_exiffi_importance() par permutation, compute_ae_feature_errors()
- pipeline.py : calcul ExIFFI sur X_test, mapping index → dict pour anomalies
- build_reason() enrichi avec exiffi_top quand SHAP inactif

Étape 8 — Méta-learner pour la pondération de l'ensemble :
- scoring.py : classe MetaLearner (LogisticRegression, fallback poids fixes <1000 labels)
- Collecte des labels depuis le cycle courant (known_bots, légitimes, Anubis)
- pipeline.py : remplacement des poids fixes par MetaLearner.predict()

Étape 9 — Métriques de performance et monitoring :
- metrics.py : record_cycle_metrics() — taux anomalie, drift, corrélation, latence
- SQL migration 05_fleet_metrics_tables.sql : table ml_performance_metrics (TTL 90j)
- Dashboard : /health + /api/health + template health.html
- cycle.py : appel record_cycle_metrics en fin de cycle (Complet + Applicatif)

Tests : 36/36 bot-detector tests passent

Co-authored-by: Copilot <223556219+Copilot@users.noreply.github.com>

shared/clickhouse/07_ai_features_view.sql

@@ -2,10 +2,28 @@
 -- 07_ai_features_view.sql — AI feature view with full Anubis enrichment
 -- Source: bot_detector/anubis/view_ai_features_anubis.sql
 -- Includes combined UA+IP priority logic and Anubis bot_name/action/category.
+-- §2  : Features HTTP/2 (dict_browser_h2, cohérence H2↔JA4, pseudo-headers)
+-- §3  : Score de cohérence de fingerprint cross-layer
 -- =============================================================================
 
 CREATE OR REPLACE VIEW ja4_processing.view_ai_features_1h AS
-WITH base_data AS (
+WITH
+
+-- §2 — Agrégation des fingerprints HTTP/2 par (heure, src_ip)
+-- Lecture directe depuis http_logs pour les colonnes ajoutées à l'étape 1
+h2_agg AS (
+    SELECT
+        toStartOfHour(time) AS window_start,
+        toIPv6(src_ip)      AS src_ip,
+        anyIf(h2_fingerprint, h2_fingerprint != '')   AS h2_fp,
+        anyIf(h2_pseudo_order, h2_pseudo_order != '') AS h2_pseudo_ord
+    FROM ja4_logs.http_logs
+    WHERE time >= now() - INTERVAL 24 HOUR
+      AND (h2_fingerprint != '' OR h2_pseudo_order != '')
+    GROUP BY window_start, src_ip
+),
+
+base_data AS (
     SELECT
         a.window_start, a.src_ip, a.ja4, a.host,
         toString(a.src_asn) AS asn_number,
@@ -92,7 +110,44 @@ WITH base_data AS (
         a.count_unusual_ct_val / greatest(a.count_post, 1) AS unusual_content_type_ratio,
         a.count_non_std_port_val / (a.hits + 1) AS non_standard_port_ratio,
         a.count_login_post_val / greatest(a.count_post, 1) AS login_post_concentration,
-        h.sec_ch_mobile_mismatch AS sec_ch_mobile_mismatch
+        h.sec_ch_mobile_mismatch AS sec_ch_mobile_mismatch,
+        -- §2 — Features HTTP/2 (fingerprint SETTINGS, cohérence H2↔JA4, pseudo-headers)
+        -- h2_settings_known : le fingerprint H2 est dans dict_browser_h2
+        IF(
+            COALESCE(h2.h2_fp, '') != '' AND
+            dictGetOrDefault('ja4_processing.dict_browser_h2', 'browser_family',
+                tuple(COALESCE(h2.h2_fp, '')), '') != '',
+            1, 0
+        ) AS h2_settings_known,
+        -- h2_pseudo_order_match : l'ordre des pseudo-headers correspond à la famille JA4 déclarée
+        CASE
+            WHEN COALESCE(h2.h2_pseudo_ord, '') = '' THEN 0
+            WHEN dictGetOrDefault('ja4_processing.dict_browser_ja4', 'browser_family',
+                     tuple(a.ja4), '') IN ('Chromium', 'Chrome', 'Edge', 'Safari')
+                 AND h2.h2_pseudo_ord = 'm,a,s,p' THEN 1
+            WHEN dictGetOrDefault('ja4_processing.dict_browser_ja4', 'browser_family',
+                     tuple(a.ja4), '') = 'Firefox'
+                 AND h2.h2_pseudo_ord = 'm,p,s,a' THEN 1
+            ELSE 0
+        END AS h2_pseudo_order_match,
+        -- h2_ja4_coherence : la famille navigateur H2 correspond à la famille JA4
+        IF(
+            COALESCE(h2.h2_fp, '') != '' AND
+            dictGetOrDefault('ja4_processing.dict_browser_h2', 'browser_family',
+                tuple(COALESCE(h2.h2_fp, '')), '') =
+            dictGetOrDefault('ja4_processing.dict_browser_ja4', 'browser_family',
+                tuple(a.ja4), '') AND
+            dictGetOrDefault('ja4_processing.dict_browser_ja4', 'browser_family',
+                tuple(a.ja4), '') != '',
+            1, 0
+        ) AS h2_ja4_coherence,
+        -- h2_settings_rare : fingerprint H2 non reconnu (potentiellement suspect)
+        IF(
+            COALESCE(h2.h2_fp, '') != '' AND
+            dictGetOrDefault('ja4_processing.dict_browser_h2', 'browser_family',
+                tuple(COALESCE(h2.h2_fp, '')), '') = '',
+            1, 0
+        ) AS h2_settings_rare
     FROM (
         SELECT
             window_start, src_ip, ja4, host, src_asn,
@@ -150,9 +205,21 @@ WITH base_data AS (
         WHERE window_start >= now() - INTERVAL 24 HOUR
         GROUP BY window_start, src_ip
     ) h ON a.src_ip = h.src_ip AND a.window_start = h.window_start
+    LEFT JOIN h2_agg h2 ON h2.src_ip = a.src_ip AND h2.window_start = a.window_start
 )
 SELECT
     *,
     -(sum((hits / (total_ip_hits + 1)) * log2((hits / (total_ip_hits + 1)) + 0.000001)) OVER (PARTITION BY src_ip)) AS temporal_entropy,
-    sum(uniq_ja3_per_row) OVER (PARTITION BY src_ip) / greatest(distinct_ja4_count, 1) AS ja3_diversity_ratio
+    sum(uniq_ja3_per_row) OVER (PARTITION BY src_ip) / greatest(distinct_ja4_count, 1) AS ja3_diversity_ratio,
+    -- §3 — Score de cohérence de fingerprint cross-layer [0.0, 1.0]
+    -- Combine : famille navigateur connue, cohérence H2↔JA4, cohérence TLS,
+    -- présence Accept-Language, et absence de mismatch UA/CH.
+    toFloat32(
+        CASE WHEN browser_family != '' THEN 0.25 ELSE 0.0 END
+        + COALESCE(h2_ja4_coherence, 0) * 0.20
+        + (1 - COALESCE(alpn_http_mismatch, 0)) * 0.15
+        + (1 - COALESCE(sni_host_mismatch, 0)) * 0.10
+        + COALESCE(has_accept_language, 0) * 0.15
+        + (1 - COALESCE(ua_ch_mismatch, 0)) * 0.15
+    ) AS fingerprint_coherence_score
 FROM base_data;