Archiv der Kategorie: Bash Snippets

Anonymisieren von IP-Adressen in einer Apache Log Datei mithilfe von sed

Ziel: Man möchte die IP-Adressen in einer Apache Logdatei anonymisieren, indem man das letzte Byte oder die zwei letzten Byte der IP-Adresse durch 0 ersetzt.

Lösungsmöglichkeit: Zeilenweises Durchsuchen der Logdatei mit dem Unix Werkzeug sed. Suchen der IP-Adressen und Ersetzen der Fundstellen mit der anonymiserten IP-Adresse.
Z. B. soll die IP-Adresse 123.123.123.123 durch die Adresse 123.123.0.0 ersetzt werden.

Dazu kann man folgenden Einzeiler verwenden:

sed -i -e 's/\([0-9]\{1,3\}\)\.\([0-9]\{1,3\}\)\.\([0-9]\{1,3\}\)\.\([0-9]\{1,3\}\)/\1\.\2\.0\.0/' access_log_ssl.log

Hier der Versuch einer Erklärung, ohne zu tief auf die regulären Ausdrücke, die in dem sed-Skript verwendet werden, einzugehen.

Vereinfacht sieht das sed-Skript wie folgt aus:

sed -i -e 's/SUCHMUSTER/ERSETZUNG/g' access_log.log

-e = Parameter der angibt, dass ein sed-Script folgt
’s/SUCHMUSTER/ERSETZUNG/g‘ = sed-Skript
SUCHMUSTER = Muster, nach dem gesucht werden soll
ERSETZUNG = Text, mit dem das Suchmuster ersetzt werden soll
access_log.log = Eingabedatei
-i = Inplace Bearbeitung – die Änderungen werden direkt an der Eingabedatei ausgeführt

Sollen die Änderungen in einer Kopie gespeichert werden, dann wird sed ohne den -i Parameter benutzt und die Ausgabe in eine neue Datei umgeleitet.

sed -e 's/SUCHMUSTER/ERSETZUNG/g' access_log.log > bearbeitet.log

In diesem Fall bleibt die Eingabedatei unverändert und die Änderungen werden in der Datei bearbeitet.log gepeichert.

Jetzt zu dem konkreten Beispiel:

Der besseren Lesbarkeit halber wurden die vielen Maskierungen mit dem Zeichen \ entfernt. Diese werden aber in dem eigentlichen sed-Skript benötigt.

Hier das Suchmuster in unserem sed-Skript:

([0-9]{1,3}).([0-9]{1,3}).([0-9]{1,3}).([0-9]{1,3})

[0-9] = Die Zeichen 0-9, also 0123456789 werden an dieser Stelle gesucht
{1,3} = Die Zeichen [0-9] müssen 1 bis 3 mal auftreten
([0-9]{1,3}) = Die Klammern kennzeichnen eine Einheit in dem Suchmuster, auf die anschließend beim Ersetzten zugegriffen werden kann
([0-9]{1,3}).([0-9]{1,3}).([0-9]{1,3}).([0-9]{1,3}) = Das Muster muss vier Mal, getrennt duch einen Punkt, hintereinander auftreten.

Damit hat man aber keine hundertprozentige Sicherheit, dass nur gültige IPv4 Adressen von dem Suchmuster gefunden werden. Ungültige Adressen wie z.B. 999.999.999.999 würden duch das Suchmuster auch gefunden.
Für unseren Anwendungsfall reicht das vereinfachte Suchmuster aber vollkommen aus.

Jetzt zu dem ersetzen Teil des sed-Skripts. Auch hier sind die Maskierungen durch das Zeichen \ weggelassen.

\1.\2.0.0

\1 = Die erste mit Klammern definierte Einheit im Suchmuster
\2 = Die zweite mit Klammern definierte Einheit im Suchmuster; analog dazu könnte man noch \3 und \4 für die dritte und vierte Einheit im Suchmuster benutzen. \1.\2.\3.\4 würde die ursprüngliche IP unverändert ausgeben.
0 = Die Ziffer 0

Der Ersetzen-Teil des sed-Skripts bedeutet also, dass eine gefundene IP-Adresse mit ihren ersten zwei Bytes und mit einer Null als drittes und viertes Byte ersetzt werden sollen.

Aktivieren des Bash-Completion-Features auf einem Debian-System

Wenn das Bash-Completion-Feature auf Debian-Systemen richtig funktioniert, kann man z. B. die Dienste beim Service-Kommando mit der Tabulatortaste vervollständigen.

Beispiel für die Befehlsvervollständigung:

service ap<Tab>
service apache2 rel<Tab>
service apache2 reload

Wenn auf einem Debian-System die Vervollständigung von Befehlen mittels der Tabulatortaste nicht funktioniert, kann es sein, dass das Paket Bash-Completion nicht installiert ist.

Um zu überprüfen, ob das Bash-Completion-Paket installiert ist, kann man folgenden Befehl benutzen:

dpkg -l bash-completion | tail -1

Die Ausgabe des Befehls sollte dann wie folgt aussehen:

ii  bash-completion 1:2.0-1 all programmable completion for the bash shell

Bleibt diese Ausgabe leer, dann ist das Paket Bash-Completion nicht installiert. Es lässt sich mit folgendem Befehl installieren:

apt-get install bash-completion

Sollte die Bash-Vervollständigung trotz installiertem Paket Bash-Completion nicht funktionieren, kann es daran liegen, dass das Vervollständigungs-Feature noch nicht aktiviert wurde. Bei Debian kann man diese Funktion in der Datei /etc/bash.bashrc aktivieren. Man muss nur die Kommentarzeichen vor folgenden Zeilen entfernen:

###Vorher
#if ! shopt -oq posix; then
#  if [ -f /usr/share/bash-completion/bash_completion ]; then
#    . /usr/share/bash-completion/bash_completion
#  elif [ -f /etc/bash_completion ]; then
#    . /etc/bash_completion
#  fi
#fi

###Nachher
if ! shopt -oq posix; then
  if [ -f /usr/share/bash-completion/bash_completion ]; then
    . /usr/share/bash-completion/bash_completion
  elif [ -f /etc/bash_completion ]; then
    . /etc/bash_completion
  fi
fi

Damit diese Einstellung aktiv wird, muss man sich am System ab- und wieder anmelden.

Quelle: http://serverfault.com

Sortierte Ausgabe von du -h (Kombinieren von du -h und sort)

Eine Ergänzung zu dem Artikel „Unter Linux eine Liste der größten Dateien ausgeben

Ich habe schon öfters nach einer Möglichkeit gesucht, die Ausgabe des Linux-Befehls du mit dem Parameter „-h“ (für human-readable) sortiert nach der Größe ausgeben zu lassen. Sortieren ohne die Option „-h“ ist kein Problem.

# du /var –max-depth=1 |sort -nr
686528 /var
575840 /var/lib
62848 /var/log
46628 /var/cache
872 /var/adm
156 /var/spool
128 /var/run
28 /var/lock
8 /var/tmp
4 /var/X11R6
4 /var/opt
4 /var/games
4 /var/crash

Nur die Anzeige ist nicht so übersichtlich. Ein „normales“ Sortieren funktioniert bei du -h aber nicht, da die unterschiedlichen Einheiten nicht berücksichtigt werden.

# du -h /var –max-depth=1 |sort -nr
872K /var/adm
671M /var
563M /var/lib
156K /var/spool
128K /var/run
62M /var/log
46M /var/cache
28K /var/lock
8,0K /var/tmp
4,0K /var/X11R6
4,0K /var/opt
4,0K /var/games
4,0K /var/crash

Auf folgender Seite fand ich eine Lösung für die Kombination von du -h und sort.

du | sort -nr | cut -f2- | xargs du -hs

Natürlich kann die Ausgabe noch mit weiteren du Parametern und einer direkten Pfadangabe kombiniert werden.

# du /var –max-depth=1 | sort -nr | cut -f2- | xargs du -hs
671M /var
563M /var/lib
62M /var/log
46M /var/cache
872K /var/adm
156K /var/spool
128K /var/run
28K /var/lock
8,0K /var/tmp
4,0K /var/X11R6
4,0K /var/opt
4,0K /var/games
4,0K /var/crash

E-Mail versenden per Bash Shell Script

Ich war gerade mal wieder auf der Suche nach dem Syntax, um per Linux Bash Shell eine Mail zu versenden:

Direkte Eingabe des Mailtextes:

echo "MAILTEXT" | mail -s "BETREFF" EMPFÄNGERADRESSE

z.B.

echo "Das ist der Text der Testemail" | mail -s "Das ist der Betreff der Testemail" user@example.com

Mailtext aus einer Datei:

mail -s "BETREFF" EMPFÄNGERADRESSE < DATEI

z.B.

mail -s "Ich bin eine Mail" user@example.com < /etc/hosts

Quelle: http://www.linux-club.de

Unter Linux eine Liste der größten Dateien ausgeben

Folgende Problemstellung: Es soll unter Linux eine nach Dateigröße sortierte Liste von Dateien ermittelt werden, die eine bestimmte Größe überschreiten.

find /srv -type f -size +50000k

Mit dem Find-Befehl wird eine Liste aller Dateien im Verzeichnis /srv und den darin enthaltenen Unterverzeichnissen ermittelt, die größer als 50000 Kb sind. Das Ergebnis ist noch nicht ganz zufriedenstellend, da nur die Dateien ausgegeben werden, nicht aber ihre Größe. Ebenfalls sind die Dateien noch nicht sortiert. Dies lässt sich erreichen, indem man das Ergebnis des Find-Befehls mithilfe des Befehls xargs mit dem ls Befehl kombiniert.

find /srv -type f -size +50000k| xargs ls -lahS

Jetzt erhält man die gewünschte Liste mit den Dateien im Verzeichnis /srv, die größer als 50000Kb sind – sortiert nach der Dateigröße.

Minimal CPU Benchmark für Linux

Nachdem ich heute zwei unterschiedliche virtuelle Server von Strato geordert hatte, suchte ich nach einer Möglichkeit, mit wenig Aufwand die CPU-Leistung der virtuellen Server zu vergleichen. Im Forum www.linux-club.de fand ich einen Einzeiler, mit dem die Zeit ermittelt wird, die Zahl Pi auf 1000 Stellen zu berechnen.

time echo "scale=1000; 4*a(1)" | bc -l

Hier noch ein paar Ergebnisse:

Root KVM vServer Netcup S v6
4,99€ / Monat
40GB HD RAID1
2GB RAM
1 vCore  Westmere E56xx/L56xx/X56xx (Nehalem-C) cpu MHz : 2000.000

(25.08.2015)
real 0m0.613s
user 0m0.592s
sys 0m0.016s

(29.10.2015)
real 0m0.631s
user 0m0.620s
sys 0m0.004s

(29.10.2016)
real 0m0.660s
user 0m0.628s
sys 0m0.028s

Root Server Linux Small (bkm-v1411.1.29)  (Hardware)
19,00 €/Monat
500GB HD Raid 1
4 GB Ram
Dual-Core AMD Opteron(tm) Processor 1214 HE cpu MHz : 1000.000

(29.12.2014)
real 0m0.764s
user 0m0.760s
sys 0m0.000s

(29.10.2015)
real 0m0.763s
user 0m0.756s
sys 0m0.000s

Strato Virtual Server Linux V20-49 (1609.1de)
10,00€/Monat
300GB HDD
Min 2GB RAM, max 4GB RAM
2 vCores (Intel(R) Xeon(R) CPU E5-2680 v2 @ 2.80GHz  cpu MHz:1998.828 )

(29.10.2016)
real 0m0.376s
user 0m0.375s
sys 0m0.000s

 

Virtual Server Linux Level 1 Site (Wandel.1406.ERG)
8,99 €/Monat
200GB HDD
Min 2GB RAM, max 4GB RAM
2 vCores (Quad-Core AMD Opteron(tm) Processor 2347 HE cpu MHz : 379.443)

(29.12.2014)
real 0m2.272s
user 0m0.932s
sys 0m0.004s

 

Virtual Server Linux Level 1 Site (Wandel.1406.ERG)
8,99 €/Monat
200GB HDD
Min 2GB RAM, max 4GB RAM
2 vCores (Intel(R) Xeon(R) CPU E5-2680 v2 @ 2.80GHz cpu MHz : 239.648)

(29.12.2014)
real 0m2.638s
user 0m1.069s
sys 0m0.005s

(29.10.2016)
aktuelle CPU MHz: 1998.828!!!
real 0m0.412s
user 0m0.394s
sys 0m0.012s

 

Virtual Server Linux Level 1 Site (Wandel.1406.ERG)
8,99 €/Monat
200GB HDD
Min 2GB RAM, max 4GB RAM
2 vCores (Intel(R) Xeon(R) CPU E5-2680 v2 @ 2.80GHz cpu MHz : 559.179)

(29.12.2014)
real 0m1.032s
user 0m0.388s
sys 0m0.044s

(29.10.2015)
real 0m1.100s
user 0m0.394s
sys 0m0.000s

Strato Virtual Server Linux Level 1 (v1304.1)
7,99 €/Monat
50GB HDD
Min 1GB RAM, max 2GB RAM
1 x Quad-Core AMD Opteron(tm) Processor 2347 HE 1425.000 MHz (physikalische CPU, nicht die nutzbaren Kerne)

(31.10.2013)
real 0m1.225s
user 0m0.921s
sys 0m0.005s

Strato Virtual Server Linux Level 2UP
14,90 €/Monat
100GB HD
Min 2GB RAM, max 4GB RAM
1 x Octo-Core AMD Opteron(tm) Processor 6128 1500.105 MHz (physikalische CPU, nicht die nutzbaren Kerne)

(31.10.2013)
real 0m1.278s
user 0m0.969s
sys 0m0.006s

(02.12.2012)
real    0m1.476s
user    0m1.224s
sys     0m0.023s

V-PowerServer S (v5.1)
7,90 €/Monat
25GB HDD
2048 MB RAM (physikalisch)
1 x Quad-Core AMD Opteron(tm) Processor 2347 HE 1431.598 MHz (physikalische CPU, nicht die nutzbaren Kerne)

(31.10.2013)
real 0m1.267s
user 0m0.958s
sys 0m0.008s

(01.12.2012)
real 0m1.674s
user 0m1.324s
sys 0m0.008s

STRATO V-PowerServer S (v4.1)
9,90 €/Monat
(20.02.2010)
real 0m1.793s
user 0m1.405s
sys 0m0.035s

(09.05.2011)
real 0m1.371s
user 0m1.090s
sys 0m0.006s

STRATO V-PowerServer L (v4.3)
29,90 €/Monat
50GB HDD
4096 MB RAM (physikalisch)
2 x Quad-Core AMD Opteron(tm) Processor 2347 HE 1670.198 MHz (physikalische CPU, nicht die nutzbaren Kerne)

(31.10.2013)
real 0m0.953s
user 0m0.942s
sys 0m0.002s

(01.12.2012)
real 0m0.950s
user 0m0.940s
sys 0m0.005s

(09.05.2011)
real 0m0.987s
user 0m0.978s
sys 0m0.008s

(20.02.2010)
real 0m0.680s
user 0m0.674s
sys 0m0.007s

STRATO V-PowerServer L (v5.3)
24,90 €/Monat

(09.05.2011)
real 0m1.074s
user 0m1.067s
sys 0m0.008s

STRATO V-PowerServer A (v2.5)
(20.02.2010)
real    0m0.875s
user    0m0.866s
sys     0m0.007s

STRATO PowerServer MR (v4.3)  (Hardware)

(20.02.2010)
real    0m1.695s
user    0m1.688s
sys     0m0.008s

ThinClient mit Via 800 Mhz CPU

(20.02.2010)
real    0m9.423s
user    0m6.800s
sys     0m0.020s

Raspberry Pi

(10.02.2013)
real    0m4.566s
user   0m3.730s
sys     0m0.020s

PC mit Intel Core 2 CPU 1600 Mhz CPU

(02.12.2012)
real    0m0.600s
user    0m0.596s
sys     0m0.004s

Dell Poweredge 2950  (Hardware)
Dual-Quad Core Intel(R) Xeon(R) CPU E5430 @ 2.66GHz  cpu MHz : 2660.011

(29.12.2014)
real 0m0.489s
user 0m0.488s
sys 0m0.000s

Intel Atom  (Hardware)
Quad Core Intel(R) Atom(TM) CPU D525 @ 1.80GHz cpu MHz : 1800.150

(29.10.2015)
real 0m1.759s
user 0m1.752s
sys 0m0.004s

Strato Server Cloud VM
1CPU 1GB Ram 20GB HDD
Intel(R) Xeon(R) CPU E5-2630 0 @ 2.30GHz cpu MHz : 2300.050

(29.10.2015)
real 0m0.666s
user 0m0.652s
sys 0m0.008s

Wie in der Überschrift erwähnt, ist dies nur ein Minimal CPU Benchmark. Er liefert nur als Momentaufnahme grobe Anhaltspunkte über die Geschwindigkeit der CPU (eines CPU Cores) und ersetzt keineswegs einen vollständigen Benchmark, der alle Systemkomponenten einbezieht.

Kombination der Linux/Unix Befehle find und ls mit xargs

Ich wollte die Dateigröße aller Logdateien verschiedener vhosts eines Webservers anschauen. Mit

find /srv/ -name access_log.log

konnte ich mir die Logdateien anzeigen lassen. Nähere Informationen zu den Dateien inklusive Dateigröße erhoffte ich mir von folgendem Befehl:

/srv/ -name access_log.log | ls-alh

Die Pipe funktionierte leider nicht so, wie ich es erwartete. Ich bekam nur die Liste der Dateien im aktuellen Ordner. Eine Internetrecherche brachte dann die richtige Befehlskombination:

find /srv/ -name access_log.log| xargs ls -lah

Variablen bei sed-Ausdrücken

Problem: Beim Suchen und Ersetzen eines Strings in einer Textdatei mit dem Linux-Programm sed (Stream Editor) trat das Problem auf, dass bei der Verwendung von Shellvariablen als Suchmuster der gewünschte Text, also der Wert der Variablen, nicht durch den Zieltext ersetzt wurde. Ein Test ohne Variablen funktionierte aber ohne Probleme.

sed ’s/suchmuster/zieltext/g‘ Eingabedatei > Ausgabedatei
mv Ausgabedatei Eingabedatei

ersetzte den Text „suchmuster“ in der „Eingabedatei“ mit dem Text „zieltext“ und schrieb das Ergebnis in die „Ausgabedatei“.

Folgendes funktionierte aber nicht:

suchmuster=“das ist der quelltext“
zieltext=“das ist der zieltext“
sed ’s/$suchmuster/$zieltext/g‘ Eingabedatei > Ausgabedatei
mv Ausgabedatei Eingabedatei

Der Text „das ist der quelltext“ wurde nicht durch den Text „das ist der zieltext“ ersetzt.

Lösung: Durch eine Suchmaschinenrecherche fand ich die Lösung. Sed wertet den Inhalt von Variablen nicht aus, wenn man einfache Anführungszeichen (‚) beim Erstellen des Ausdrucks verwendet. Ersetzt man die einfachen Anführungszeichen durch doppelte Anzührungszeichen („), werden zuerst die Variablen expandiert und dann erst der Sed-Ausdruck ausgeführt.

Der funktionierende Code sah dann so aus:

suchmuster=“das ist der quelltext“
zieltext=“das ist der zieltext“
sed s/$suchmuster/$zieltext/g Eingabedatei > Ausgabedatei
mv Ausgabedatei Eingabedatei

Quelle: http://www.unixboard.de

Bash: Löschen von Zeilen aus einer Datei, die ein bestimmtes Suchmuster enthalten

Das Löschen von bestimmten Zeilen aus einer Datei kann mithilfe einer temporären Datei und dem Kommandozeilentool grep geschehen. Grep gibt alle Zeilen einer Textdatei aus, die einem bestimmten Suchmuster entsprechen. Die Option -v von grep negiert die Ausgabe von grep. Es werden dann nur Zeilen einer Datei ausgegeben, die ein bestimmtes Suchmuster nicht enthalten. Die Ausgabe auf dem Bildschirm kann man nun in eine temporäre Datei umleiten. Im Anschluss daran kann man die Originaldatei mit der temporären Datei überschreiben. Nun hat man eine Datei, aus der diejenigen Zeilen entfernt wurden, die ein bestimmtes Suchmuster enthielten.

grep -v  suchmuster originaldatei > tempdatei
mv tempdatei originaldatei