Data Collection et Live Discover de Sophos Endpoint
La Data Collection and Investigation Policy contrôle deux fonctions indépendantes : les connexions Live Response et l’envoi de la télémétrie Endpoint dans le Sophos Data Lake. Live Discover utilise ensuite soit les données actuelles d’un appareil connecté, soit les données historiques du Data Lake.
Ces fonctions nécessitent Sophos EDR, XDR ou MDR. Live Response dispose de droits propres et est également traité dans l’article distinct consacré à la réponse.
Live Endpoint ou Data Lake
| Source | Caractéristique |
|---|---|
| Live Endpoint | état actuel, uniquement sur des appareils sélectionnés et connectés |
| Data Lake | télémétrie historique, tous les appareils, y compris ceux actuellement hors ligne |
Les requêtes Live Endpoint reposent sur osquery et sont exécutées directement sur les appareils cibles. Les requêtes Data Lake portent sur la télémétrie envoyée par les appareils, peuvent être planifiées et accèdent, selon la licence, à un maximum de 30 ou 90 jours de données.
Dans Live Discover, la période Data Lake détermine l’intervalle historique interrogé. Elle ne constitue pas un calendrier d’exécution. Une requête unique peut couvrir au maximum 30 jours. Pour 90 jours, plusieurs requêtes délimitées sont utilisées.
Contrôler l’envoi vers le Data Lake
L’envoi est activé par défaut pour Endpoint Protection. Il peut être limité à certains groupes sous My Products > Endpoint > Policies > Data Collection and Investigation.
Sa désactivation réduit les Detections disponibles et les possibilités d’investigation historique. Une exception Event Collection n’est utilisée que sur instruction de Sophos Support, car elle réduit la télémétrie et donc les capacités de détection ou d’analyse.
Après l’activation, le trafic réseau peut augmenter temporairement. Dans les segments sensibles ou sur les liaisons à faible débit, observer donc la modification dans un groupe pilote.
Event Journals sur l’appareil
Sophos enregistre localement des Event Journals sur les appareils Windows, macOS et Linux. Ils fournissent les données pour les Endpoint Queries. Il n’existe pas de durée de conservation fixe : elle dépend de la plateforme, de l’activité et du stockage configuré.
Sous Global Settings > Products and Services > Endpoint and Server > Event Journals, la taille maximale peut être définie entre 300 et 30'000 Mo. La valeur par défaut est de 5'250 Mo. Il est aussi possible de limiter un pourcentage du disque. Lorsque les deux limites s’appliquent, Sophos utilise la plus petite.
La configuration centrale de ces limites n’est disponible qu’avec une licence XDR ou MDR complète. Les Event Journals locaux existent toujours sur les appareils Windows, macOS et Linux protégés, mais leurs seuils ne peuvent pas être adaptés à l’échelle du tenant sans la licence appropriée.
Le paramètre vaut pour tous les appareils concernés et ne peut pas être personnalisé par Endpoint. Une réduction peut supprimer des données de journal existantes et raccourcir la période d’investigation.
Rétention et limites de stockage
XDR conserve les données du Data Lake jusqu’à 90 jours, EDR jusqu’à 30 jours. Un paquet Storage facultatif étend la durée à un an. Il s’agit d’un maximum : lorsque le pool de stockage est épuisé, les anciennes données sont supprimées plus tôt.
Chaque appareil peut envoyer au maximum 2 Go par jour. Une fois la limite atteinte, l’envoi est suspendu jusqu’à la réinitialisation. Les données non envoyées ne sont pas transmises ultérieurement, mais peuvent éventuellement rester disponibles pour une requête Endpoint directe.
Le pool Endpoint comprend en moyenne 20 Mo par licence et par jour. En cas de dépassement permanent, la durée historique réellement disponible diminue. Un tenant annoncé pour 90 jours peut donc contenir moins de données interrogeables.
Trouver la cause d’une limite quotidienne d’Upload
Le Data Lake Upload provient des Hydration Queries régulières sur les appareils. Lorsqu’un Endpoint atteint sa limite quotidienne, identifiez la Query produisant le plus de données au lieu de contourner la limite. Sous Threat Analysis Center > Live Discover, créez en Designer Mode une Data Lake Query sur xdr_data et regroupez upload_size par query_name, meta_hostname et jour.
Pour un appareil et une date, utilisez ce modèle :
SELECT
query_name,
sum(upload_size) / (1000.0 * 1000) AS total_upload_size_mb
FROM xdr_data
WHERE date_trunc('day', ingestion_timestamp) = date '$$date$$'
AND meta_hostname = '$$hostname$$'
GROUP BY query_name, date_trunc('day', ingestion_timestamp)
ORDER BY total_upload_size_mb DESC
Définissez date et hostname dans Variable Editor comme une date au format YYYY-MM-DD et un nom d’appareil. Regroupez ensuite la plus grande Hydration Query avec un champ adapté du schéma actuel, par exemple Process Path, User ou Parent Process. Cela révèle l’activité locale qui génère trop de résultats. Ne bloquez pas un processus uniquement pour son volume de télémétrie ; examinez d’abord cause, légitimité et configuration.
Choisir et tester une requête
Sous Threat Analysis Center > Live Discover, des requêtes Endpoint et Data Lake prêtes à l’emploi sont disponibles. System Impact montre l’influence observée d’une requête. Toute requête nouvelle ou modifiée est d’abord testée sur un seul appareil pilote et une courte période.
Designer Mode permet de créer des requêtes osquery ou SQL. Sophos Support aide pour les requêtes Sophos prédéfinies et le chemin des données, mais pas pour le développement fonctionnel de requêtes personnalisées quelconques. La Community et Professional Services sont prévus à cet effet.
Les résultats proposent des Pivots, Enrichments et Actions. Un SHA-256 suspect peut ainsi mener à une autre requête, un contrôle Intelix ou VirusTotal, un Threat Graph ou Live Response.
Limites de protection
Sophos limite les requêtes afin de protéger les Endpoints et le tenant :
- UI : au maximum 15 requêtes par minute,
- requêtes planifiées et API réunies : 1'000 par jour et 10 par minute,
- watchdog Endpoint : interruption au-delà de 30 % de CPU pendant 12 secondes ou de 256 Mo de RAM,
- au maximum 10 Mo de données de réponse par appareil et requête,
- au maximum 1 Mo par ligne,
- au maximum 100'000 lignes pour l’ensemble des appareils répondants.
Un résultat vide peut donc aussi provenir d’une taille de ligne dépassée. La section Telemetry sous le résultat indique l’état, System Impact et le volume transmis par appareil.
Délimiter systématiquement Query cancelled
Query cancelled n’est pas une erreur propre à HAFNIUM. Sous Windows, le Memory Watchdog peut interrompre une Live Query. Dans SophosLiveQueryService.log, identifiez le Query Name et la Resource Error, réduisez la période, par exemple de 15 à 7 jours, puis retestez sur un appareil. Si l’erreur persiste, raccourcissez encore ou affinez la requête.
Après un Downgrade de Sophos Core Agent 2025.2 vers une ancienne version LTS ou FTS, SophosOsquery.exe peut ne pas démarrer en raison d’une modification de File Attestation. Le log contient alors Exception whilst running LiveQueryRunner. Dans ce cas précis, redémarrez l’appareil ; réécrire la Query ne résout pas la limite de version.
AI Search
AI Search génère des requêtes Data Lake à partir de langage naturel. Les Detections et données Endpoint Windows peuvent être recherchées sans écrire soi-même la syntaxe SQL. Le tableau de résultats affiche au maximum 1'000 entrées.
La recherche commence également par quelques heures ou une journée. Les grandes périodes peuvent ralentir ou échouer. La requête SQL générée est contrôlée avant de considérer le résultat comme complet.
Catégories personnalisées et requêtes planifiées
Les Queries réutilisables sont classées dans des catégories personnalisées clairement nommées. Description, systèmes pris en charge, source de données, Variables et sortie attendue font partie de la documentation de la Query. Une requête copiée n’est pas considérée fiable au seul motif que son SQL s’exécute correctement.
Les Scheduled Queries conviennent aux hypothèses et contrôles récurrents. Schedule, Target Devices, Data Lake Scope, destinataire des résultats et conservation sont définis consciemment. Des Queries trop larges ou trop fréquentes peuvent atteindre les limites et générer beaucoup de télémétrie personnelle.
Les Investigation E-mail Notifications sont configurées séparément dans les Threat Analysis Center Preferences. Elles ne remplacent pas une Central Alert Rule et nécessitent un destinataire surveillé.
Exploitation et protection des données
La télémétrie Data Lake et Live Discover peuvent contenir des noms de processus, lignes de commande, utilisateurs, hachages de fichiers, adresses IP et autres données d’exploitation. Les rôles, la finalité, la rétention et l’export sont donc documentés.
Les catégories de requêtes organisent les recherches courantes. La suppression d’une catégorie personnalisée ne supprime pas les requêtes qu’elle contient ; elles restent disponibles sous All Queries ou dans d’autres catégories.
Articles connexes
L’isolation et Live Response sont expliqués dans Isoler et examiner un Endpoint Sophos avec Live Response. L’évaluation ultérieure des Detections et Threat Graphs est traitée dans l’article distinct consacré aux investigations XDR.