Sophos Endpoint Data Collection en Live Discover

De Data Collection and Investigation Policy beheert twee onafhankelijke functies: Live Response Connections en de upload van Endpoint Telemetry naar de Sophos Data Lake. Live Discover gebruikt daarna actuele gegevens van een verbonden apparaat of historische gegevens uit Data Lake.

Deze functies vereisen Sophos EDR, XDR of MDR. Live Response heeft eigen rechten en wordt daarnaast in het afzonderlijke Response-artikel behandeld.

Snelle procedure voor Classic: Kies onder Threat Analysis Center > Live Discover eerst de juiste Data source en vervolgens Query category en Query. Beperk voor een Endpoint Query de doelapparaten bewust onder Devices en kies daarna Run Query. Het resultaat is pas betrouwbaar als de resultaatrijen en Telemetry overeenkomen met de gekozen bron, periode en verwachte apparaten.

Controleer vóór de query of de tenant Threat Analysis Center of Security Operations gebruikt. Threat Analysis Center blijft beschikbaar als Classic view. Security Operations scheidt Data Lake Search voor historische gegevens van Live Endpoint Search voor query’s op verbonden apparaten. De bestaande Live Discover-stappen, SQL-voorbeelden, planningsinformatie en interfacelimieten hieronder beschrijven Classic, tenzij expliciet een andere interface wordt genoemd. Een tenantupgrade maakt ze niet automatisch ongeldig en vertaalt ze niet automatisch naar QL.

Security Operations: Data Lake Search

Onder Security Operations > Data Lake Search kun je met drie methoden de Detections en gebeurtenissen van de tenant doorzoeken. Deze interface gebruikt Advanced Search query language, oftewel QL; kopieer Classic-Data-Lake-SQL er niet ongewijzigd in.

• AI Search vertaalt een vraag in natuurlijke taal naar een query. Voer een vraag of vooraf opgestelde prompt in, kies Search en controleer de gegenereerde query samen met de resultaten. Browse Prompts of View All opent de prompts; Sophos Only, categoriefilters en een zoekterm beperken de selectie. Verfijn zo nodig de prompt en zoek opnieuw.
• Query Builder bouwt de query visueel op uit velden en operatoren. Stel datum en periode in vóór Search of Shift + Enter. Gebruik voor een eerste controle een korte periode met een bekende gebeurtenis en controleer of bron en filters die gebeurtenis daadwerkelijk meenemen.
• Query Editor laat je eigen QL-query’s schrijven. Basics toont de basis van de syntaxis en voorbeelden; Cheat Sheet toont operatoren en functies. Search Help biedt contextgebonden Build With Me-hulp voor schema’s en velden. Stel ook hier datum en periode in vóór Search of Shift + Enter. SQL-voorbeelden uit de latere Classic-gedeelten zijn geen QL-sjablonen.

De vastmaakknop naast de methodenaam stelt de gewenste zoekmethode in. Elke uitgevoerde zoekopdracht wordt automatisch in de zoekgeschiedenis van de tenant opgenomen; een uitgevoerde zoekopdracht is dus niet alleen een lokaal concept. Beperk prompts en query’s tot de onderzoeksvraag en voer geen geheimen in. Een lege resultaattabel heeft pas betekenis na controle van periode, bron en filters; zij bewijst niet dat er geen incident is.

Kies in AI Search en Query Editor Save Query om op te slaan; kies in Query Builder eerst Save Search. Vul naam en categorie in, voeg optioneel een beschrijving en Bookmark this Query toe en rond af met Save Query. Open de opgeslagen query opnieuw onder Saved Queries en controleer deze. Een bladwijzer plaatst de query ook in My Bookmarked Queries.

Full Screen vergroot de resultatenweergave. Het menu in de kolomkop biedt Pin, Autosize, Reset, Filter en opties om kolommen te tonen of te verbergen; wijzig de volgorde door kolomkoppen te verslepen. Via Actions boven de tabel kun je alle resultaten of een geselecteerde deelverzameling exporteren. Controleer daarna de exportstatus en download op Data Exports. Documenteer een gefilterde weergave of deelselectie-export niet als de volledige onderzoeksomvang.

Houd Live Endpoint Search en historische API’s uit elkaar

Live Endpoint Search voert nog steeds osquery-achtige SQL-query’s uit op actuele, verbonden endpoints. De Live Discover-migratie van REST naar GraphQL betreft dit livepad, niet historische Data Lake-query’s. Dat de LES-catalogus opgeslagen query’s met bron dataLake kan tonen, bewijst niet dat LES Data Lake-query’s kan uitvoeren. Migreer een bestaande historische API-integratie daarom niet alleen op basis van deze migratiehandleiding.

Sinds 12 oktober 2026 is de Search GraphQL API v1 gepubliceerd voor historische QL-zoekopdrachten in het Fusion Data Lake. Het proces bestaat uit zoekstart, statuscontrole en gepagineerde resultaatophaling; het staat los van LES en de osquery-achtige live-SQL daarvan. Het Search GraphQL-runbook beschrijft requests, Search-URN, deelresultaten, cursors, vervaltijd en vergelijking met een bestaande SQL-client. Data Lake Search blijft het interactieve pad en de XDR Query API blijft beschikbaar. Noch deze publicatie noch de LES-migratiehandleiding vertaalt Classic-SQL automatisch naar QL of vereist een onmiddellijke API-overgang.

Bestaande REST-clients en een optionele LES-overgang

Live Discover REST is uitdrukkelijk uitgezonderd van de uitfasering van de Classic Cases/Detections APIs. Een bestaande client hoeft niet alleen vanwege deze aankondiging te worden aangepast. Voor een nieuwe Live Endpoint-client of een bewust geplande overstap wordt LES afzonderlijk beoordeeld; de historische XDR Query API en de hierboven behouden Classic-SQL-query’s blijven daarvan gescheiden.

LES koppelt de doelapparaten vóór het starten van de query aan een sessie: voer eerst createLiveDiscoverSession uit, bewaar de geretourneerde sessienaam en wijs vervolgens de geselecteerde apparaten met endpointSessions aan de sessie toe. Start pas daarna runLiveDiscoverQuery met deze naam als sessionId en het nog steeds vereiste matchEndpoints: { all: false }. Gebruik geen directe filters in matchEndpoints als verkorte route, ook niet als het schema die toestaat: de migratiehandleiding noemt alleen de sessieprocedure als ondersteunde integratiemethode. Begin met één goedgekeurd pilotapparaat en een nauw begrensde SQL-query die alleen leest; vergelijk de doeltoewijzing, uitvoeringsstatus, resultaatrijen en Telemetry.

Vóór de overgang worden opgeslagen query- en categorie-ID’s op overdraagbaarheid gecontroleerd; de handleiding bevestigt niet dat deze ongewijzigd kunnen worden overgenomen. Bespreek ook de bewaring van resultaten en de latere beschikbaarheid van voltooide uitvoeringen, evenals een vervanging voor het bestaande beheer van Enrichment Pivots, met de API-verantwoordelijke. LES accepteert slechts één filtergroep per selectieaanroep; de betekenis van meerdere bestaande REST-filtergroepen mag niet worden geraden. tamperProtectionEnabled wordt tamperProtection als lijst, en losse string-/JSON-filters vereisen een afzonderlijke controle van de waarden.

De paginatie voor uitvoeringen, de catalogus en resultaten wordt telkens afzonderlijk geïmplementeerd. Resultaten bevatten de SQL-uitvoerkolommen als JSON-gecodeerde string additionalColumns; metadata.columns beschrijft namen en typen. Geef voor vervolgpagina’s de aangeleverde pages.nextKey ongewijzigd terug als params.pageFromKey. HTTP 200 is niet voldoende: controleer ook het GraphQL-errors-array en de daadwerkelijke uitvoerings-/endpointstatus. LES deelt de limiet van 1'000 uitvoeringen per dag en 10 per minuut met geplande query’s; de REST-API noemt daarentegen 500 uitvoeringen per dag en 10 per minuut. Deze API-specifieke waarden vervangen niet zonder meer de hieronder beschreven Classic-interfacelimieten. Houd tijdens de pilot nog steeds rekening met de gegevensomvang, de Device Watchdog en de resultaatlimieten.

Live Endpoint of Data Lake

Live Endpoint Queries zijn gebaseerd op osquery en worden rechtstreeks op doelapparaten uitgevoerd. Data Lake Queries werken met door apparaten geüploade telemetrie, kunnen worden gepland en hebben afhankelijk van de licentie toegang tot maximaal 30 of 90 dagen gegevens.

Een Data Lake Time Span in Live Discover bepaalt het bevraagde historische bereik. Het is geen uitvoeringsschema. Eén Query kan maximaal 30 dagen omvatten. Voor 90 dagen worden meerdere begrensde Queries gebruikt.

Queries selecteren en testen

Onder Threat Analysis Center > Live Discover zijn voorbereide Endpoint- en Data Lake Queries beschikbaar. De procedure houdt bron, Query en doel bewust van elkaar gescheiden:

1. Kies onder Data source Endpoint voor de actuele toestand van verbonden apparaten of Data Lake voor eerder geüploade historische telemetrie.
2. Kies onder Query category een categorie en onder Query de gewenste Query. Controleer in de Query-details welke besturingssystemen worden ondersteund en welke System Impact Sophos voor de Query aangeeft.
3. Selecteer voor een Endpoint Query onder Devices eerst één pilotapparaat. Gebruik zo nodig Show filters en vernieuw daarna de lijst met geselecteerde apparaten. Stel voor een Data Lake Query in plaats daarvan een korte, bekende periode in.
4. Kies Run Query en wacht op het resultaat.

Test een nieuwe of gewijzigde Query eerst op één pilotapparaat of over een korte Data Lake-periode. De resultaatrijen moeten overeenkomen met het gekozen apparaat of de gekozen periode. Controleer onder Telemetry ook of het doel heeft geantwoord, hoe hoog de System Impact was en hoeveel gegevens zijn overgedragen. Blijft het resultaat leeg, controleer dan eerst Data source, de periode, het ondersteunde besturingssysteem en bij Endpoint Queries de verbindingsstatus van het apparaat. Controleer bij een Data Lake Query ook of upload is ingeschakeld onder My Products > Endpoint > Policies > Data Collection and Investigation, of voor servers onder My Products > Server.

Designer Mode staat eigen osquery- of SQL Queries toe. Sophos Support helpt bij voorbereide Sophos Queries en het gegevenspad, maar niet bij de inhoudelijke ontwikkeling van willekeurige Custom Queries. Daarvoor zijn Community en Professional Services beschikbaar.

Query Results bieden Pivots, Enrichments en Actions. Een verdachte SHA-256 kan zo leiden tot een volgende Query, een Intelix- of VirusTotal-controle, een Threat Graph of Live Response.

Wie DNS Protection-gegevens bevraagt, vindt de selectie DNS Protection, het bijbehorende Data Lake-schema en de DNS-specifieke controles in Sophos DNS Protection-rapporten en Live Discover analyseren.

Data Lake-uploads beheren

De upload is voor Endpoint Protection standaard geactiveerd. Onder My Products > Endpoint > Policies > Data Collection and Investigation kan hij voor groepen worden beperkt.

Uitschakeling vermindert beschikbare Detections en historische Investigation. Een Event Collection-uitzondering wordt alleen op aanwijzing van Sophos Support gebruikt, omdat deze telemetrie en daarmee Detection- of Investigation-mogelijkheden vermindert.

Na activering kan het netwerkverkeer tijdelijk toenemen. Observeer de wijziging daarom eerst in een pilotgroep bij kleine verbindingen of gevoelige segmenten.

Event Journals op het apparaat

Sophos slaat Event Journals lokaal op Windows-, macOS- en Linux-apparaten op. Ze leveren gegevens voor Endpoint Queries. Er bestaat geen vaste bewaartermijn; die hangt af van platform, activiteit en geconfigureerde opslag.

Onder Global Settings > Products and Services > Endpoint and Server > Event Journals kan de maximale grootte tussen 300 en 30.000 MB worden ingesteld. Standaard is 5.250 MB. Optioneel kan daarnaast een percentage van de schijf worden begrensd. Als beide gelden, gebruikt Sophos de lagere waarde.

Centrale configuratie van deze limieten is alleen beschikbaar met een XDR-, MDR- of MDR Plus-licentie. Lokale Event Journals bestaan nog steeds op beschermde Windows-, macOS- en Linux-apparaten, maar zonder de juiste licentie kunnen hun drempelwaarden niet tenantbreed worden aangepast.

De instelling geldt voor alle getroffen apparaten en kan niet per Endpoint afwijken. Een verlaging kan bestaande Journal Data verwerpen en de onderzoeksperiode verkorten.

Bewaring en opslaglimieten

XDR bewaart Data Lake-gegevens maximaal 90 dagen, EDR maximaal 30 dagen. Het optionele pakket Central Data Storage – 1 yr breidt dit uit tot één jaar. Deze perioden zijn maxima; als de Storage Pool is uitgeput, worden oudere gegevens eerder verwijderd.

Per apparaat kan maximaal 2 GB per dag worden geüpload. Bij het bereiken van de limiet pauzeert de upload tot de reset. In Windows wordt de limiet om middernacht lokale tijd gereset; in Linux elke 24 uur nadat de XDR-agent is gestart. Niet-geüploade gegevens worden later niet alsnog verzonden, maar blijven beschikbaar voor een directe Endpoint Query.

De Endpoint Pool omvat gemiddeld 20 MB per licentie per dag. Bij permanente overschrijding neemt de praktisch beschikbare historie af. Een tenant met formeel 90 dagen kan daarom minder bevraagbare gegevens bevatten.

De oorzaak van een dagelijkse Upload Limit vinden

De gebeurtenis Data Lake uploads stopped because the daily limit reached verschijnt op Windows Endpoints en Windows- of Linux-servers. Geplande Hydration Queries op het afzonderlijke apparaat produceren deze uploads. XDR en MDR hebben beide een dagelijkse limiet van 2 GB per apparaat. Daarna worden tot de volgende dag geen nieuwe Hydration Query-gegevens geüpload; het quotum wordt gereset en de Queries hervatten tot het einde van de dag of de limiet opnieuw is bereikt.

Meld u aan bij Sophos Fusion (voorheen Sophos Central) en ga naar Threat Analysis Center > Live Discover om de Hydration Query met het grootste uploadvolume te vinden. Schakel Designer Mode in, kies Create a new query, voer een naam in en kies Data Lake als Source. Open Show variable editor, geef beschrijvende namen en voeg de typen Device Name en Date toe. Vul apparaatnaam en datum YYYY-MM-DD in en voer uit:

SELECT
  query_name,
  sum(upload_size) / (1000.0 * 1000) AS total_upload_size_bytes_mb
FROM xdr_data
WHERE date_trunc('day', ingestion_timestamp) = date (from_unixtime($$date$$))
  AND meta_hostname = '$$hostname$$'
GROUP BY query_name, date_trunc('day', ingestion_timestamp)
ORDER BY total_upload_size_bytes_mb DESC

Deze Query zonder variabelen rangschikt desgewenst alle apparaten en Queries per dag; vervang de voorbeelddatum:

SELECT
  query_name,
  meta_hostname,
  date_trunc('day', ingestion_timestamp) AS date,
  sum(upload_size) / (1000.0 * 1000) AS total_upload_size_bytes_mb
FROM xdr_data
WHERE date_trunc('day', ingestion_timestamp) >= date '2021-09-17'
GROUP BY query_name, meta_hostname, date_trunc('day', ingestion_timestamp)
ORDER BY total_upload_size_bytes_mb DESC

Het grootste resultaat wijst de te onderzoeken Hydration Query aan, niet automatisch een proces dat moet worden geblokkeerd. Controleer in de actuele Sophos Data Lake Schema Viewer welke kolommen ze vult en groepeer op een bruikbare kolom. Is running_processes_windows_sophos de grootste, splits dan op procespad:

SELECT
  path,
  sum(upload_size) / (1000.0 * 1000) AS total_upload_size_bytes_mb
FROM xdr_data
WHERE date_trunc('day', ingestion_timestamp) = date '$$date$$'
  AND meta_hostname = '$$hostname$$'
  AND query_name = 'running_processes_windows_sophos'
GROUP BY path, date_trunc('day', ingestion_timestamp)
ORDER BY total_upload_size_bytes_mb DESC

In het Sophos-voorbeeld leverde die Query circa 72 MB en veroorzaakte één gestart procespad meer dan 50 procent van de dagelijkse upload; werkelijke procesnamen waren verborgen omdat ze omgevingsspecifiek zijn. Pas nadat de dominante activiteit bekend is, kunt u queryvoorwaarden toevoegen of andere daadwerkelijk gevulde kolommen zoals Command Line, User Name of Parent Process onderzoeken om het resultaatvolume te verlagen. Onderzoek oorzaak, legitimiteit en configuratie vóór wijzigen of blokkeren.

Guardrails

Sophos beperkt Queries om Endpoints en tenant te beschermen:

• UI: maximaal 15 Queries per minuut,
• Scheduled en API Queries samen: 1.000 per dag en 10 per minuut,
• Endpoint Watchdog: afbreken bij meer dan 30 procent CPU gedurende 12 seconden of meer dan 256 MB RAM,
• maximaal 10 MB antwoordgegevens per apparaat en Query,
• maximaal 1 MB per rij,
• maximaal 100.000 rijen van alle antwoordende apparaten.

Een leeg resultaat kan daarom ook door een overschreden rijgrootte ontstaan. Telemetry onder het Query Result toont status, System Impact en overgedragen datavolume per apparaat.

Query cancelled systematisch afbakenen

Query cancelled is geen HAFNIUM-specifieke fout. In Windows kan de Memory Watchdog een Live Query stoppen. Bepaal in SophosLiveQueryService.log Query Name en Resource Error, verklein vervolgens de periode, bijvoorbeeld van 15 naar 7 dagen, en test opnieuw op één apparaat. Blijft het probleem bestaan, verkort verder of filter de Query inhoudelijk scherper.

Na een Downgrade van Sophos Core Agent 2025.2 naar een oudere LTS- of FTS-versie kan SophosOsquery.exe door gewijzigde File Attestation niet starten. Het log bevat dan Exception whilst running LiveQueryRunner. Herstart in dit specifieke geval het apparaat; herschrijven van de Query lost de versiegrens niet op.

AI Search

In de Classic-weergave onder Threat Analysis Center > AI Search genereert AI Search Data Lake-query’s uit natuurlijke taal. Detections en Windows-endpointgegevens kunnen worden doorzocht zonder zelf SQL-syntaxis te schrijven. De resultaattabel toont maximaal 1.000 treffers. Neem deze platform- en resultaatlimieten niet zonder meer over voor de hierboven beschreven nieuwe Data Lake Search.

Begin ook hier met enkele uren of één dag. Grote tijdsbereiken kunnen langzaam worden of mislukken. Controleer de gegenereerde SQL Query voordat het resultaat als volledig wordt beoordeeld.

Eigen categorieën en geplande Queries

Plaats herbruikbare Queries in duidelijk benoemde eigen categorieën. Beschrijving, ondersteunde besturingssystemen, gegevensbron, variabelen en verwachte uitvoer horen bij de Query-documentatie. Een gekopieerde Query geldt niet automatisch als betrouwbaar omdat de SQL syntactisch correct wordt uitgevoerd. Sophos rolt eigen categorieën geleidelijk uit; de functie is daarom mogelijk nog niet in elke tenant zichtbaar.

Scheduled Queries zijn geschikt voor terugkerende hypothesen en controles en zijn alleen beschikbaar voor Data Lake Queries. Stel frequentie, dag, einddatum en bevraagde periode bewust in. Elke beheerder kan maximaal 100 actief geplande Queries of rapporten met deze gedeelde indeling hebben. Te brede of zeer frequente Queries kunnen daarnaast de algemene limieten bereiken en grote hoeveelheden persoonsgegevens in telemetrie genereren.

Beheer en privacy

Data Lake Telemetry en Live Discover kunnen procesnamen, Command Lines, gebruikers, File Hashes, IP Addresses en andere operationele gegevens bevatten. Rollen, doel, bewaring en export worden daarom gedocumenteerd.

Query Categories ordenen vaak gebruikte Queries. Het verwijderen van een eigen categorie verwijdert de daarin opgenomen Queries niet; ze blijven onder All Queries of andere categorieën beschikbaar.

Verwante artikelen

Een Sophos Endpoint isoleren en met Live Response onderzoeken legt Isolation en Live Response uit. Sophos Endpoint XDR: Investigation en Threat Graph behandelt de aansluitende beoordeling van Detections en Threat Graphs.

Veelgestelde vragen

Voor de actuele Security Operations-interface legt Data Lake Search en export schemakeuze, eventvensters van 31 dagen, de aparte Raw-grens en huidige exports uit. De hierboven behouden Classic-limieten worden niet op deze interface toegepast.