Unendliche Weiten der Log-Formate – Klarsicht im Log-Dschungel

Ob aus Compliance-Gründen, für die IT-Sicherheit (SIEM) oder zu Digitalisierungszwecken – das tägliche Logvolumen wächst exponentiell. Eine immer größer werdende Anzahl an Logquellen in unterschiedlichsten Formaten gilt es zu sammeln, auszuwerten und abzuspeichern. Gleichzeitig dürfen die Kosten für Logmanagement-Lösungen nicht explodieren. Mit Cribl stellen wir einen Ansatz vor, um Klarsicht im Log-Dschungel zu schaffen.

Datenanbindung

Eine der größten Herausforderungen in unseren Projekten rund ums Logmanagement liegt in der Datenanbindung. Die unterschiedlichen Arten, Logdaten zu sammeln, werden durch neue Technologien, einen starken Wandel in Richtung Cloud-Lösungen und Containerisierung immer zahlreicher. Statt einem zentralen Syslog-Server kommen mittlerweile zusätzlich Datenströme über Kafka, AWS Kinesis, Azure Event Hubs und diverse andere Systeme an unterschiedlichen Perimetern in der IT-Landschaft eines Unternehmens an. Gleichzeitig gibt es eine Vielzahl an Logformaten, welche für eine sinnvolle Auswertung in ein gemeinsames Format überführt werden müssen. Cribl stellt hierfür eine breite Auswahl an Konnektoren bereit und spricht zusätzlich nativ die Sprache der Splunk Universal Forwarder und Elastic Agenten sowie der diversen Elastic Beats.

Parsing und Normalisierung

Eingehende Daten auszuwerten und in ein sinnvolles Format zu überführen, ist auch mit unseren Logmanagement-Lösungen Splunk und Elastic möglich. Da hier jedoch an vielen Stellen ausschließlich über Konfigurationsdateien gearbeitet wird und dementsprechend die Auswirkungen der Änderungen erst nach einem Deployment festzustellen sind, ist die Komplexität und der Aufwand im Parsing von Logdaten größer als nötig. Mit Cribl können Logdaten direkt aus dem Datenstrom gegriffen und als Basis für die Entwicklung des Parsings genutzt werden. Die Änderungen sind jederzeit nachvollziehbar dargestellt und ein Deployment findet erst statt, wenn die Ergebnisse der Erwartung entsprechen. Zusätzlich sind Anreicherungen von Ereignissen über Lookups oder DNS-Anfragen möglich.

Reduce

Ein oft geforderter Anwendungsfall ist zudem die Reduzierung von Loginformationen auf das Wesentliche. Durch die Aggregation von Logströmen können kostspielige Auswertungen wie Netzwerkverhalten optimiert werden. Es können Ereignisse zusammengefasst und lediglich die aggregierten Informationen an die Zielsysteme weitergegeben werden. Sampling kann unter anderem genutzt werden, um Staging- und Integrations-Umgebungen mit einer geringeren Anzahl an Logdaten zu versorgen.

Ein weiteres Beispiel ist das Entfernen wertloser Informationen aus Logereignissen. So lassen sich beispielsweise bei Windows-XML-Events durch das Entfernen leerer Felder und das Verkürzen von Feldnamen das Datenvolumen einer Nachricht um 1/3 bis 2/3 reduzieren, wie es ausführlich hier bei Cribl beschrieben wird.

Routing

Eine weitere Anforderung unserer Kunden besteht oft darin, die gesammelten Daten nicht nur einem zentralen System zur Verfügung zu stellen, sondern in mehreren. Denn neben dem Produktivsystem kommen häufig noch Entwicklungssysteme oder Umgebungen einzelner Abteilungen zum Einsatz, die teilweise unterschiedliche Anforderungen an die Daten stellen. Mit Cribl können Daten gezielt geroutet und individuell an die Bedürfnisse der jeweiligen Zielsysteme angepasst werden.

Replay

Aus Compliance-Gründen müssen Originalereignisse häufig unverändert und langfristig gespeichert werden. Für die Umsetzung von Use Cases sind diese Informationen aber größtenteils nicht nötig und müssen als solche nicht grundlegend im Logmanagement vorliegen. Mit Cribl können die unveränderten Originalevents in einen kostengünstigen S3-Speicher über Jahre hinweg archiviert werden. Sollte für eine Auswertung der Zugriff auf einen Teil dieser Daten nötig sein, werden diese mit Cribl Replay ausgelesen und zeitnah im Logmanagement zur Verfügung gestellt. Dadurch reduzieren sich die benötigten Ressourcen und Lizenzkosten im Logmanagement massiv und die internen oder externen Anforderungen sind erfüllt.

Fazit

Cribl gibt uns Werkzeuge und Methoden an die Hand, um die Aufwände in der Anbindung von Datenquellen zu reduzieren und zu vereinfachen. Unsere Kunden erhalten mehr Kontrolle über ihre Datenströme und können einen größeren Anteil der notwendigen Schritte ohne großen Einarbeitungsaufwand selbstständig durchführen und dabei auf ihre individuellen Anforderungen eingehen.

Unsere Experten beraten Sie gerne!