Feat: Détection menaces HTTP via vues ClickHouse + simplification shutdown

Nouvelles vues de détection (sql/views.sql) :
- Identification hosts par IP/JA4 (view_host_identification, view_host_ja4_anomalies)
- Détection brute force POST et query params variables
- Header fingerprinting (ordre, headers modernes manquants, Sec-CH-UA)
- ALPN mismatch detection (h2 déclaré mais HTTP/1.1 parlé)
- Rate limiting & burst detection (50 req/min, 20 req/10s)
- Path enumeration/scanning (paths sensibles)
- Payload attacks (SQLi, XSS, path traversal)
- JA4 botnet detection (même fingerprint sur 20+ IPs)
- Correlation quality (orphan ratio >80%)

ClickHouse (sql/init.sql) :
- Compression ZSTD(3) sur champs texte (path, query, headers, ja3/ja4)
- TTL automatique : 1 jour (raw) + 7 jours (http_logs)
- Paramètre ttl_only_drop_parts = 1

Shutdown simplifié (internal/app/orchestrator.go) :
- Suppression ShutdownTimeout et logique de flush/attente
- Stop() = cancel() + Close() uniquement
- systemd TimeoutStopSec gère l'arrêt forcé si besoin

File output toggle (internal/config/*.go) :
- Ajout champ Enabled dans FileOutputConfig
- Le sink fichier n'est créé que si enabled && path != ''
- Tests : TestValidate_FileOutputDisabled, TestLoadConfig_FileOutputDisabled

RPM packaging (packaging/rpm/logcorrelator.spec) :
- Changelog 1.1.18 → 1.1.22
- Suppression logcorrelator-tmpfiles.conf (redondant RuntimeDirectory=)

Nettoyage :
- idees.txt → idees/ (dossier)
- Suppression 91.224.92.185.txt (logs exemple)

Co-authored-by: Qwen-Coder <qwen-coder@alibabacloud.com>

packaging/rpm/logcorrelator-tmpfiles.conf

@@ -1,5 +0,0 @@
-# systemd-tmpfiles config for logcorrelator
-# Recrée /run/logcorrelator avec le bon propriétaire à chaque démarrage,
-# même si /var/run est un tmpfs vidé au reboot.
-# Format: type path mode user group age
-d /run/logcorrelator 0755 logcorrelator logcorrelator -

packaging/rpm/logcorrelator.spec

@@ -61,9 +61,6 @@ install -m 0644 %{_builddir}/etc/systemd/system/logcorrelator.service %{buildroo
 # Install logrotate config
 install -m 0644 %{_builddir}/etc/logrotate.d/logcorrelator %{buildroot}/etc/logrotate.d/logcorrelator
 
-# Install tmpfiles.d config (recrée /run/logcorrelator au boot avec le bon propriétaire)
-install -m 0644 %{_sourcedir}/logcorrelator-tmpfiles.conf %{buildroot}/usr/lib/tmpfiles.d/logcorrelator.conf
-
 %post
 # Create logcorrelator user and group
 if ! getent group logcorrelator >/dev/null 2>&1; then
@@ -101,11 +98,9 @@ if [ ! -f /etc/logcorrelator/logcorrelator.yml ]; then
     chmod 640 /etc/logcorrelator/logcorrelator.yml
 fi
 
-# Reload systemd and apply tmpfiles
+# Reload systemd and start service
 if [ -x /bin/systemctl ]; then
     systemctl daemon-reload
-    # Crée /run/logcorrelator immédiatement avec le bon propriétaire
-    systemd-tmpfiles --create /usr/lib/tmpfiles.d/logcorrelator.conf 2>/dev/null || true
     systemctl enable logcorrelator.service
     systemctl start logcorrelator.service
 fi
@@ -141,10 +136,55 @@ exit 0
 /var/log/logcorrelator
 /var/lib/logcorrelator
 /etc/systemd/system/logcorrelator.service
-/usr/lib/tmpfiles.d/logcorrelator.conf
 %config(noreplace) /etc/logrotate.d/logcorrelator
 
 %changelog
+* Wed Mar 11 2026 logcorrelator <dev@example.com> - 1.1.22-1
+- Feat(outputs): file output enabled/disabled toggle
+  Ajout du champ enabled: true/false dans outputs.file de la configuration.
+  Le sink fichier n'est cree que si enabled: true ET path: defini.
+  Permet de desactiver completement la sortie fichier tout en gardant stdout/clickhouse.
+  Tests: TestValidate_FileOutputDisabled, TestLoadConfig_FileOutputDisabled
+
+- Fix(systemd): arret immediat sans vidage de queue
+  orchestrator.Stop() ne vide plus les buffers (events en transit perdus).
+  Suppression de ShutdownTimeout et de la logique de flush/attente.
+  systemd TimeoutStopSec=30 gere l'arret force si besoin.
+  Simplification: cancel() + Close() uniquement.
+
+- Feat(sql): TTL et compression ZSTD sur tables ClickHouse
+  http_logs_raw: TTL 1 jour, compression ZSTD sur raw_json
+  http_logs: TTL 7 jours, compression ZSTD sur champs texte volumineux
+  Parametre ttl_only_drop_parts = 1 pour optimiser les suppressions
+
+* Mon Mar 09 2026 logcorrelator <dev@example.com> - 1.1.21-1
+- Update: vues ClickHouse et schema SQL
+  Ajout de bots.sql pour l'identification des bots (User-Agent parsing)
+  Ajout de tables.sql pour les tables de reference
+  Mise a jour de mv1.sql (vue materialisee) avec nouvelle structure de correlation
+  Documentation views.md enrichie avec exemples de requetes et schema complet
+
+* Mon Mar 09 2026 logcorrelator <dev@example.com> - 1.1.20-1
+- Fix(rpm): suppression de systemd-tmpfiles.conf redondant
+  RuntimeDirectory=logcorrelator dans le service systemd gere deja /run/logcorrelator
+  automatiquement. La commande systemd-tmpfiles --create causait des erreurs sur
+  les systemes avec /var/lib/mysql existant (fichier au lieu de repertoire).
+  Suppression de /usr/lib/tmpfiles.d/logcorrelator.conf et de systemd-tmpfiles --create.
+
+* Mon Mar 09 2026 logcorrelator <dev@example.com> - 1.1.19-1
+- Fix(systemd): stop/restart immediat sans attendre vidage queue
+  L'arret du service ne vide plus les buffers (events en transit perdus).
+  systemd TimeoutStopSec=30 gere deja l'arret force si besoin.
+  Simplification de orchestrator.Stop() : cancel() + Close() uniquement.
+  Suppression de ShutdownTimeout devenu inutile.
+
+* Mon Mar 09 2026 logcorrelator <dev@example.com> - 1.1.18-1
+- Fix(outputs): file output enabled: false ne coupait pas l ecriture du fichier
+  Le champ Enabled manquait dans FileOutputConfig. Le sink fichier etait cree
+  meme avec enabled: false tant que path etait defini. Desormais, la condition
+  verifie explicitement enabled && path != "" dans main.go et Validate().
+  Test: TestValidate_FileOutputDisabled et TestLoadConfig_FileOutputDisabled ajoutes.
+
 * Fri Mar 06 2026 logcorrelator <dev@example.com> - 1.1.17-1
 - Fix(correlation): champ keepalives non peuple dans ClickHouse
   Le champ KeepAliveSeq de NormalizedEvent n'etait pas transfere dans les Fields