blog/shl@INTERDOSE

Wer viel mit git zu tun hat, dem sei dieser Artikel im aktuellen Linux Magazin ans Herz gelegt.

Wie erhält der neu gekaufte Laptop schnellstmöglich Kopien aller aktiv genutzten git-Repositories? Ein Meta-Repository führt eine Projektliste und Perl-Skripte automatisieren alle Aufspür- und Klonvorgänge.

git, GTD

Momentan kämpfe ich mit verschiedenen Perl-Modulen auf einer OpenSolaris Box (snv_111b, also 2009/05) und um Euch meine Kopfschmerzen zu ersparen, hier mein Spickzettel:

Vorbereitung:
pfexec pkg install ss-dev
export PATH=$PATH:/opt/SunStudioExpress/bin/
pfexec rm /usr/gnu/bin/cc
pfexec ln -s /opt/SunStudioExpress/bin/cc /usr/gnu/bin/cc

Pakete aus CPAN installieren:
perl -MCPAN -e "install <Paket>"

Für’s Protokoll: ich habe keine Ahnung von perl oder CPAN. Alles was hier steht ist potentiell ganz großer Mist. Für Kommentare bin ich jetzt schon dankbar.

CPAN, perl, Solaris

Things ist ein großartiges Produkt. (Punkt! Dem ist nichts hinzuzufügen!)
Nutzer von .Mac bzw. MobileMe können mit der Hilfe der iDisk und etwas git-Magie™ allerdings noch ein Stückchen mehr awesome bauen, nämlich ein Sync der Things-Datenbank über mehrere Macs.

Vorgeplänkel:

• Wenn Du Things auf mehr als einem Mac nutzen möchtest, dann kaufe bitte eine entsprechende Anzahl von Lizenzen.
• Ja, ich meine das ernst – die Buben aus Stuttgart haben wahnsinnig gute Arbeit geleistet, sowas muß man einfach würdigen.
• Ich gehe davon aus, daß Du ein lauffähiges git auf Deinem Mac hast, Anleitungen hierzu gibt es genug im Netz.
• Ich habe vor langer Zeit den symlink /Volumes/iDisk erstellt, um einen generischen Zugriffspfad zu haben. In den kompletten Zeilen weiter unten referenziere ich diesen Pfad. Der Name Deiner iDisk ist Dein Benutzername, ersetze also entsprechend iDisk mit $Du.

Let’s get dirty!
Auf dem Mac mit installiertem und genutztem Things erstellen wir ein git-Repository. Things legt seine Datenbank als XML in ~/Library/Application Support/Cultured Code/Things ab, und damit das Setup einfach bleibt, nutzen wir auch genau diesen Pfad für das Repository.
cd ~/Library/Application\ Support/Cultured\ Code/Things
git init
git add .
git commit -a -m "initial commit"

Sobald das neu erstellte Repository existiert und mit den bisherigen Daten gefüllt ist, erstellen wir erst ein neues Repository auf der iDisk (--bare weil wir in diesem Repository nicht arbeiten wollen, sondern es nur als “Server” benutzt wird) und pushen die Daten dort hin.
git clone --bare . /Volumes/iDisk/Repository/things.git
git remote add idisk /Volumes/iDisk/Repository/things.git
git push idisk master
Der Name “iDisk” für das remote-Repository ist hierbei frei gewählt.

Das folgende Shell-Script wird in Zukunft die oben angesprochene Magie™ für uns übernehmen, daher bitte einmal copy&paste, chmod +x und mit dem gewünschten Zeitpunkt in die crontab des eigenen Users eintragen.

1
2
3
4
5
6

#!/bin/bash
DATE=`date`
cd ~/Library/Application\ Support/Cultured\ Code/Things
git pull idisk master
git commit -a -m "Auto Sync - $DATE"
git push idisk master

Bis hier haben wir ein Backup-System mit Versionshistorie, aber von einem zweiten Mac war bisher noch nicht die Rede, oder? Also…

Schickt die Clone herein!

Auf dem zweiten oder siebzenten Mac Things installieren und mit der leeren Datenbank beenden.

cd ~/Library/Application\ Support/Cultured\ Code
mv Things Things.dist
git clone /Volumes/iDisk/Repository/things.git


Und auch auf diesem Apfel lassen wir das obige Shell-Script per cron laufen. Ich empfehle hier die Zeitpunkte nicht zu nah aneinander zu legen, so daß Kollisionen bestmöglich vermieden werden.

Kollisionen:
Auch wenn git mit Kollisionen umgehen kann, dieser Weg sollte nur so weit als Sicher bezeichnet werden, als das nur ein Mensch an einem Mac parallel arbeitet. Mit etwas mehr Magie™ läßt sich sicherlich ein Weg finden, die Things Datenbank bei Änderungen aus mehreren Quellen entsprechend zu mergen, aber diese Anforderung stellte sich bei der Motivation dieser Anleitung nicht. Für Vorschläge bin ich immer offen.

Egal was Du tust, sichere Deine Daten! Ich bin zwar kein Fießling, und absichtlich werden hier niemals Fehler zu finden sein, aber wer blind ein rm -rf / abtippt, dem ist nicht mehr zu helfen. Sichere Deine Daten, denke nach was Du tust, teste was man testen kann.

Inspiriert von:

• Syncing Things with git and Launchd
• Git, iDisk und so

Das gleiche funktioniert natürlich auch mit Dropbox.

Apple, Dropbox, git, GTD

Um die Web-Hilfe von git auf OpenSolaris nutzen zu koennen ist leider etwas Handarbeit noetig.

git clone git://git.kernel.org/pub/scm/git/git.git
cd git
make quick-install-html
pfexec mkdir -p /usr/share/doc/git-doc
cd /usr/share/doc/git-doc
pfexec mv ~/share/doc/git-doc/* .

Nun funktioniert z.B. git help --web init wie erwartet, und der Browser wird geoeffent um die Hilfe-Seite anzuzeigen.
Wenn das git-Repository sonst nicht mehr benoetigt wird kann es natuerlich anschliessend wieder geloescht werden. Ebenso ~/share, sofern keine anderen Daten dort gelagert werden.

Solaris

Problemstellung:

• die Daten eines auf MacOS X erstellten ZPools sollen auf eine OpenSolaris-Maschine uebertragen werden.

Gedankengang #1:
Es war schon spaet abends, wirklich nachgedacht wurde nicht, klein Sebastian startet ein rsync und denkt “so lang wird das schon nicht dauern”. Problematik dabei ist bzw. war allerdings, dass auf dem Pool u.A. auch diverse OpenSource-Projekte und -Sammlungen im Quelltext vorlagen, so z.B. pkgsrc, was ohne mit der Wimper zu zucken zu mehreren Millionen kleinen Files fuehrt. Ebenfalls kam der kleine Sebastian nicht auf die Idee fuer das rsync ein LAN-Kabel anzuschliessen und schickte den kompletten Datenstrom ueber WLAN durch die Luft. (Immerhin zwar n, aber im Vergleich zu Gigabit-Ethernet immernoch langsam.) Einigen wir uns auf keine so gute Idee, auch wenn sie zum Ziel gefuehrt hat.

rsync -avzP -e "ssh -p 22" /Volumes/tank/* shl@<ziel>:/tank/transfer

Gedankengang #2: (ein paar Tage spaeter)
Die Daten sind auf dem neuen Pool angekommen – so weit so gut. Und damit es noch einen Lern-Erfolg gibt, machen wir das jetzt nochmal in richtig. Damit ich den – in diesem Falle – ueberfluessigen Layer Netzwerk los werde, schliesse ich die USB-Platten vom Mac direkt an die OpenSolaris-Box an. Hierfuer muss der Pool allerdings erst umbenannt werden, da eine Maschine nicht zwei Pools des gleichen Namens mounten kann.

sudo zpool export tank
sudo zpool import oldtank tank
sudo zpool export oldtank

Die Schritte im Detail: wir exportieren den Pool, damit wir ihn per import <neu> <alt> umbenennen koennen und exportieren ihn nochmals, damit wir ihn an die andere Kiste anschliessen koennen. Hier noch ein

pfexec zpool import oldtank

und zumindest das erste Problem ist gegessen.

ZFS bietet von Haus aus eine durchdachte Moeglichkeit an um Daten von A nach B zu schieben, naemlich zfs send | zfs receive. Durch die Pipe (|) kann man hier auch prima z.B. ssh als Transport-Medium nutzen. Allerdings kann zfs send nur Snapshots uebertragen – aber bei einem Filesystem was effektiv still steht (hier oldtank) tut das ja nun wirklich nicht weh.

Das folgende Script habe ich die letzten Monate auf meinem Mac zum snapshot’en benutzt. In groben Zuegen basiert es auf Jeff’s Snapshot-Script, allerdings erstellen wir hier keinen Timestamp sondern einen hoffentlich eindeutigen String fuer die Snapshots die wir kopieren moechten, in diesem Falle “NOWITSTHETIME“.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

#!/bin/bash
 
FS=`zfs list -t filesystem | grep oldtank | awk '/^[a-z0-9]+\//{ print $1}'`
#NOW=`date +%Y-%m-%d`
NOW=NOWITSTHETIME
 
for I in $FS; do
 echo "Snapshot'ing ${I}@$NOW ..."
 zfs snapshot ${I}@$NOW
 if [ $? = 0 ]; then
  echo "success!"
 else
  echo "failed ($?)!"
 fi
done

Im naechsten Script – ich entschuldige mich im Vorfeld fuer die massive und z.T. unnoetige Nutzung von grep, aber mir gefaellt das halt so – schicken wir die eben erstellten Snapshots nach tank/transfer2 (vorher natuerlich anlegen, sonst wird das nix…):

1
2
3
4
5
6
7

#!/bin/bash
 
for i in `zfs list -rH -t snapshot | awk '{print $1}' | grep oldtank | grep -v tank/transfer2/oldtank | grep NOWITSTHETIME`
do
echo "sending Snapshot" $i "to transfer2"
pfexec zfs send $i | pfexec zfs receive tank/transfer2/$i
done

Fragt sich nun natuerlich: was haben wir gewonnen?
zfs send serialisiert den Datenstrom, was z.B. dazu fuehrt, dass es vollkommen egal ist, ob wir mit Millionen von kleinen Dateien oder drei grossen 1TB-Files arbeiten. Ebenfalls koennen wir uns den kompletten Weg der Daten sicher ueber deren Zustand sein, denn wir vertrauen durchweg auf die Integritaetschecks von ZFS. Wenn gewuenscht (ich habe nicht wirklich einen Sinn darin gesehen) kann man durch die Pipes noch z.B. gzip einbauen, oder eben Transport-Mechanismen wir ssh oder sonstwas nutzen. Konstrukte wie

zfs send tank@BRIEFTAUBE > file
Benutze file mit Brieftaube
cat file | zfs receive tank@BRIEFTAUBE

sind genauso moeglich. Und auch die Nutzung als Backup ist durchaus eine Ueberlegung wert.
Um zur urspruenglichen Problemstellung zurueck zu kommen: im Vergleich zur Methode #1 ist die Loesung mit zfs send eindeutig schneller. Und – zumindest ich – habe damit ein besseres Gefuehl.

Beide Scripte sind per git auf github verfuegbar.
(git clone git://github.com/shl/zfssnapsend.git)

Apple, Solaris, ZFS

Wiedermal hat mich Jakob auf die richtige Idee gebracht. ACLs innerhalb einer AFS-Zelle können auch IP-basiert genutzt werden.

Was bedeutet das nun:
Hier wird nicht der User bzw. Kerberos-Prinzipal mit ACLs versehen, sondern die Quell-IP des anfragenden Systems.

Anstatt

pts createuser JohnDoe
pts adduser JohnDoe Marketing
fs setacl $foo $bar $baz

wird für eine einzelne IP (z.B. einen dedizierten Server für einen Dienst, der sich nicht wirklich kerberisieren lässt)

pts creategroup HardToKerberize
pts createuser 172.23.42.666
pts adduser 172.23.42.666 HardToKerberize
fs setacl $foo $bar $baz

Um die Übersicht zu behalten bietet es sich an, neben exzessiver Dokumentation der eigenen Zelle (ja, das war ein Zaunpfahl), für IPs Gruppen zu erstellen, allein schon weil OpenAFS nicht mit der CIDR-Notation klar kommt.

Und bevor nun jemand ganze IP-Ranges von Hand eintippt:

1
2
3
4
5
6
7
8
9
10
11
12

#!/usr/bin/env python
# encoding: utf-8
 
def main():
  print "pts creategroup LAN-172.31"
  for i in range(0, 256):
    for j in range(0, 256):
      print "pts createuser 172.31." + str(i) + "." + str(j)
      print "pts adduser 172.31." + str(i) + "." + str(j) + " LAN-172.31"
 
if __name__ == '__main__':
	main()

Natürlich – wie immer – erst denken, dann anpassen, dann abtippen, dann ausführen.

OpenAFS, python

Bekannt, daß die Z-Shell Tetris kann?

autoload -U tetris
zle -N tetris
bindkey "^Xt" tetris

Ein beherzter Druck auf [CTRL]-[X]-[T] und los geht der Spaß!

Danke Stefan.

Shell

Wenn auf unixoiden Systemen etwas nicht auf Anhieb funktioniert, dann lohnt sich immer ein Blick in die Log-Dateien. Z.B. /var/log/syslog und /var/log/messages ggf. auch unter /var/adm/log zu finden.

Ich kann das gar nicht oft genug betonen.

Andreas hat sich die Mühe gemacht die grml.org Z-Shell Config um eine kleine aber tolle Funktion zu erweitern: growl notifications.

Mit diesem Patch (Download vom lokaler Mirror) wird bei einer definierbaren Gruppe von Befehlen eine Growl-Notification versendet, sobald die Ausführung abgeschlossen ist.

In der Zeile 2011 wird die Liste der growlifizierten Kommandos definiert.

GROWL_COMMANDS=(rsync scp cp sleep svn git)

Diese Zeile entsprechend erweitern oder kürzen, ganz nach eigenem Geschmack. sleep ist praktisch zum testen.

Danke, Andreas!

Apple, Shell

Jakob hat sich die Mühe gemacht und gescriptet:

I’m wondering for quite some time now, why there is no simple method the check whether the sum of the volume quotas exceeds the available disk space for each paritition on an AFS fileserver.

Und das Ergebnis (zu finden in seinem Blog) funktioniert prima.
Danke Jakob.

OpenAFS