{"id":732,"date":"2015-01-06T16:11:19","date_gmt":"2015-01-06T14:11:19","guid":{"rendered":"http:\/\/www.mediamill.de\/blog\/?p=732"},"modified":"2014-12-30T02:11:47","modified_gmt":"2014-12-30T00:11:47","slug":"anonymisieren-von-ip-adressen-in-einer-apache-log-datei-mithilfe-von-sed","status":"publish","type":"post","link":"https:\/\/www.mediamill.de\/blog\/2015\/01\/06\/anonymisieren-von-ip-adressen-in-einer-apache-log-datei-mithilfe-von-sed\/","title":{"rendered":"Anonymisieren von IP-Adressen in einer Apache Log Datei mithilfe von sed"},"content":{"rendered":"

Ziel:<\/strong> Man m\u00f6chte die IP-Adressen in einer Apache Logdatei anonymisieren, indem man das letzte Byte oder die zwei letzten Byte der IP-Adresse durch 0 ersetzt.<\/p>\n

L\u00f6sungsm\u00f6glichkeit:<\/strong> Zeilenweises Durchsuchen der Logdatei mit dem Unix Werkzeug\u00a0sed<\/em>. Suchen der IP-Adressen und Ersetzen der Fundstellen mit der anonymiserten IP-Adresse.
\nZ. B. soll die IP-Adresse 123.123.123.123<\/strong> durch die Adresse 123.123.0.0<\/strong> ersetzt werden.<\/p>\n

Dazu kann man folgenden Einzeiler verwenden:<\/p>\n

sed -i -e 's\/\\([0-9]\\{1,3\\}\\)\\.\\([0-9]\\{1,3\\}\\)\\.\\([0-9]\\{1,3\\}\\)\\.\\([0-9]\\{1,3\\}\\)\/\\1\\.\\2\\.0\\.0\/' access_log_ssl.log<\/pre>\n
Hier der Versuch einer Erkl\u00e4rung, ohne zu tief auf die regul\u00e4ren Ausdr\u00fccke, die in dem sed<\/em>-Skript verwendet werden, einzugehen.<\/p>\n
Vereinfacht sieht das sed<\/em>-Skript wie folgt aus:<\/p>\n
sed -i -e 's\/SUCHMUSTER\/ERSETZUNG\/g' access_log.log<\/pre>\n
-e<\/strong> = Parameter der angibt, dass ein sed<\/em>-Script folgt
\n’s\/SUCHMUSTER\/ERSETZUNG\/g‘<\/strong> = sed<\/em>-Skript
\nSUCHMUSTER<\/strong> = Muster, nach dem gesucht werden soll
\nERSETZUNG<\/strong> = Text, mit dem das Suchmuster ersetzt werden soll
\n<\/span>access_log.log<\/strong> = Eingabedatei
\n-i<\/strong> = Inplace Bearbeitung – die \u00c4nderungen werden direkt an der Eingabedatei ausgef\u00fchrt<\/p>\n
Sollen die \u00c4nderungen in einer Kopie gespeichert werden, dann wird sed<\/em> ohne den -i Parameter benutzt und die Ausgabe in eine neue Datei umgeleitet.<\/p>\n
sed -e 's\/SUCHMUSTER\/ERSETZUNG\/g' access_log.log > bearbeitet.log<\/pre>\n
In diesem Fall bleibt die Eingabedatei unver\u00e4ndert und die \u00c4nderungen werden in der Datei bearbeitet.log<\/em> gepeichert.<\/p>\n
Jetzt zu dem konkreten Beispiel:<\/p>\n
Der besseren Lesbarkeit halber wurden die vielen Maskierungen mit dem Zeichen \\ entfernt. Diese werden aber in dem eigentlichen sed<\/em>-Skript ben\u00f6tigt.<\/p>\n
Hier das Suchmuster in unserem sed<\/em>-Skript:<\/p>\n
([0-9]{1,3}).([0-9]{1,3}).([0-9]{1,3}).([0-9]{1,3})<\/pre>\n
[0-9]<\/strong> = Die Zeichen 0-9, also 0123456789  werden an dieser Stelle gesucht
\n{1,3}<\/strong> = Die Zeichen [0-9] m\u00fcssen 1 bis 3 mal auftreten
\n([0-9]{1,3})<\/strong> = Die Klammern kennzeichnen eine Einheit in dem Suchmuster, auf die anschlie\u00dfend beim Ersetzten zugegriffen werden kann
\n([0-9]{1,3}).([0-9]{1,3}).([0-9]{1,3}).([0-9]{1,3})<\/strong> = Das Muster muss vier Mal, getrennt duch einen Punkt, hintereinander auftreten.<\/p>\n
Damit hat man aber keine hundertprozentige Sicherheit, dass nur g\u00fcltige IPv4 Adressen von dem Suchmuster gefunden werden. Ung\u00fcltige Adressen wie z.B. 999.999.999.999 w\u00fcrden duch das Suchmuster auch gefunden.
\nF\u00fcr unseren Anwendungsfall reicht das vereinfachte Suchmuster aber vollkommen aus.<\/p>\n
Jetzt zu dem ersetzen Teil des sed<\/em>-Skripts. Auch hier sind die Maskierungen durch das Zeichen \\ weggelassen.<\/p>\n
\\1.\\2.0.0<\/pre>\n
\\1<\/strong> = Die erste mit Klammern definierte Einheit im Suchmuster
\n\\2<\/strong> = Die zweite mit Klammern definierte Einheit im Suchmuster; analog dazu k\u00f6nnte man noch \\3 und \\4 f\u00fcr die dritte und vierte Einheit im Suchmuster benutzen. \\1.\\2.\\3.\\4 w\u00fcrde die urspr\u00fcngliche IP unver\u00e4ndert ausgeben.
\n0<\/strong> = Die Ziffer 0<\/p>\n
Der Ersetzen-Teil des sed<\/em>-Skripts bedeutet also, dass eine gefundene IP-Adresse mit ihren ersten zwei Bytes und mit einer Null als drittes und viertes Byte ersetzt werden sollen.<\/p>\n","protected":false},"excerpt":{"rendered":"
Ziel: Man m\u00f6chte die IP-Adressen in einer Apache Logdatei anonymisieren, indem man das letzte Byte oder die zwei letzten Byte der IP-Adresse durch 0 ersetzt. L\u00f6sungsm\u00f6glichkeit: Zeilenweises Durchsuchen der Logdatei mit dem Unix Werkzeug\u00a0sed. Suchen der IP-Adressen und Ersetzen der Fundstellen mit der anonymiserten IP-Adresse. Z. B. soll die IP-Adresse 123.123.123.123 durch die Adresse 123.123.0.0 […]<\/p>\n","protected":false},"author":3,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[1,10,11,52,28,17,16,29,7],"tags":[],"class_list":["post-732","post","type-post","status-publish","format-standard","hentry","category-allgemein","category-apache","category-apache2","category-bash","category-bash-snippets","category-regex","category-regulaere-ausdruecke","category-textbearbeitung","category-unix-befehle"],"_links":{"self":[{"href":"https:\/\/www.mediamill.de\/blog\/wp-json\/wp\/v2\/posts\/732","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.mediamill.de\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.mediamill.de\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.mediamill.de\/blog\/wp-json\/wp\/v2\/users\/3"}],"replies":[{"embeddable":true,"href":"https:\/\/www.mediamill.de\/blog\/wp-json\/wp\/v2\/comments?post=732"}],"version-history":[{"count":8,"href":"https:\/\/www.mediamill.de\/blog\/wp-json\/wp\/v2\/posts\/732\/revisions"}],"predecessor-version":[{"id":1045,"href":"https:\/\/www.mediamill.de\/blog\/wp-json\/wp\/v2\/posts\/732\/revisions\/1045"}],"wp:attachment":[{"href":"https:\/\/www.mediamill.de\/blog\/wp-json\/wp\/v2\/media?parent=732"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.mediamill.de\/blog\/wp-json\/wp\/v2\/categories?post=732"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.mediamill.de\/blog\/wp-json\/wp\/v2\/tags?post=732"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}