Folgendes spontan gewähltes Beispiel: Ich bin in einem Projekt bei $AG involviert, in dem die Groupware** aktualisiert werden soll – die Datenmigration von Postgres/Tomcat zu Mysql/eigene Serveranwendung läuft dabei über ein Tool, welches – im Unterschied zur Groupware selbst – nicht im Code vorliegt. Wie erwartet (und ob der Komplexität solcher Migrationen auch wahrscheinlich kaum anders möglich) spackt das Tool nun rum; bei den Versuchen brach mal der Export mit kaum aussagekräftigen Fehlermeldungen ab, der Import ist vollkommen inkonsistent – die selben Daten an unterschiedlichen Tagen eingespielt brechen mal inkonsequent ab, mal läuft es augenscheinlich größtenteils fehlerfrei durch; konstant ist nur, dass weder Kalendereinträge noch abgelegte Dateien beim Import mitgenommen werden.

Und ja – jetzt wäre es einfach nur genial, den Code einfach nachlesen zu können. Ich bin kein Programmierer (und will es auch nie werden), aber wenn ich in Freiburg bei der zurückgesourcten*** Qualitätssicherung der hauseigenen Software etwas gelernt habe ist es das Schätzen der Möglichkeit, einfach mal anzuschauen, was denn da die Coder dem Admin wieder auf den Tisch gelegt haben. Für mich wird Closed Source nie wieder eine Alternative sein, keine Doku kann im Falle des Falles mit dem stöbern im Quelltext mithalten.

Völlig themenfremde Nebenfrage (weil ich den Umschlag gerade aufmachte): Ist es normal, dass Headhunter-Unternehmen einem nach einer erfolgreichen Vermittlung handgeschriebene Geburtstagskarten schicken? Als (glücklicherweise nicht mehr) IT-Einkäufer kenne ich ja das Weihnachtskartendrama – aber auch bei sehr engen Lieferanten waren im Höchstfall nur die Unterschriften noch manuell erstellt.

*) nicht, dass nicht alle anderen auch Trolle sind…
**) der Laden sitzt auch in Nürnberg. diese Stadt wird irgendwann brennen.
***) an mich :) Geo: Schöne Grüße an Ivo :)

Die Kombination geht nicht – es ist recht desaströs, wenn das iPhone im Firmennetzwerk hängt und der DHCP-Server der Routersoftware den stabilen Netzwerkbetrieb beeinträchtigt.

Gar nicht geht ist leugnen, so eine Software habe ich nicht oder auch die Geschäftsführung verwendet iPhones sowie auch wintest6* ist ein virtueller Rechner, der hat keine MAC ist eine ganz schlechte Tour. Aber alle Vorurteile wieder bestätigt: Ein Windows-Admin, der auch Apple-Produkte verwendet kann einfach nur unbedarft sein.

*) der zur MAC-Adresse hinterlegte Rechnername im Netz

Die Netzstruktur sieht ungefähr so aus

[LAN1 mit Monitoringserver] – [Router] – [LAN2 mit USV]

und das Gesamtsystem verhält sich – komisch.

Vom LAN2 aus kann ich alle Dienste (http, snmp, telnet) der USV problemlos erreichen, von LAN1 aus ist es, ähm, anders.

telnet geht, snmp nicht – so weit so einfach. bei http lädt (reproduzierbar von verschiedenen Rechnern aus) nur die index.html mit der Frameset-Definition, alle anderen Objekte (HTML-Seiten wie auch beispielsweise die Grafiken) laden nicht (bzw nur der HTTP-Header).

Mir sind die Ideen ausgegangen, der Router blockiert angeblich gar nichts, die Netzwerkeinstellungen auf der USV sind korrekt. Kennt irgendjemand ein Routingproblem, welches nur UDP/161 und TCP/80 (hier aber nur bei Ressourcen != index.html…) betrifft? ich scheue noch etwas davor zurück, der Technik-Abteilung zu sagen, dass sie im Standort von LAN2 mal alles runterfahren müssen um ein power cycle auf der USV zu fahren…

*) in gewisser Hinsicht fühlt sich das hier wie das Gegenteil von dem an. Kaum denke ich mal einen guten Überblick zu haben ploppen irgendwoher weitere Server in mein Gesichtsfeld…

Die Servermigration haben wir von einem Berater durchführen lassen, hätte ich doch mal drauf bestanden, auch die Workstation-Neuinstallationen durch diesen machen zu lassen: Ich weiß jetzt schon, dass ich den letzten Bus verpasse.

Diesen Dreck nie wieder anfassen zu müssen ist einer der größten Vorteile meines Arbeitgeberwechsels.

Hängengeblieben bin ich dann bei Zabbix, die Inbetriebnahme war so weit so schmerzlos (fertige Pakete in den Repos von Debian Etch und Lenny sowie CentOS 5.3), die grundsätzliche Konfiguration ist recht simpel und straightforward**, wobei ich bei weitem noch nicht die Möglichkeiten der Software ausnutze, an sich teste ich nur ob sich ein Server in die ewigen Jagdgründe verabschiedet hat und generiere daraus Panikbenachrichtigungen***. Sicher wäre das schneller mit einer Handvoll selbstgestrickten Skripten gegangen, aber ich wollte eine Lösung einführen, auf die ich langfristig aufbauen kann. NICHTS hält länger als ein Provisorium…

Das einzige wirklich fehlende war dann noch die Überwachung vom Überwachungsserver selbst – das ganze Ding soll dazu dienen, dass ich seit Wochen mal wieder in Ruhe schlafen kann ohne mich in Albträumen über abkackende Server zu stürzen; somit ist klar, dass ich auch den Wächter überwachen muß.

Prinzipiell lassen sich Zabbix-Server-Instanzen auch kaskadieren, aber für meine kaum 3 Dutzend Server wäre es absoluter Overkill, gleich zwei Zabbixe zu betreiben (und dann immer noch nicht mitkriegen, wenn der Strom ausfällt…), damit mußte etwas einfacheres her.

Was ich jetzt habe ist ein dreistufiges Monitoring:
1. Zabbix überwacht aktiv alle internen Server (entweder über den Agent-Dienst auf den Servern oder – wenn der nicht installierbar ist – ganz simpel von außen über Ping und offene Ports)
2. Auf dem Mailserver (auch im internen Netz) läuft per cron ein simples Skript, das den Zabbix-Agent auf dem Zabbix-Server abfragt (sinnigerweise nach der Anzahl laufender zabbix_server-Prozesse :)), Herzstück des ganzen ist das:

echo -e “proc.num[zabbix_server]“\n\n; sleep 5) | telnet [Zabbix-Server] 10050 2>&- | cut -s -d D -f 2 | cut -b 9-

Damit wird nur per Telnet auf dem Port 10050 (der Default bei Zabbix Agents) ein Item abgefragt, in diesem Fall die Anzahl laufender Prozesse mit dem Name “zabbix_server”. Der Rest dient nur dazu, die Ausgabe vom Zabbix-Agent in nutzbare Form zu bringen, die Ausgabe vom Telnet-Teil sieht ungefähr so aus:

Trying [IP-Adress]…
Connected to [Zabbix-Server].
Escape character is ‘^]’.
ZBXD[ein paar Byte Binärschlonz]23

Das erste cut wirft die ersten 3 Zeilen raus (der Trenner “D” ist ja nicht vorhanden) und splittet die vierte Zeile, Ergebnis ist dann [Binärschlonz]23. Das zweite cut erlöst mich dann noch von dem Zabbix-Protokoll-eigenen paar Bytes nichtdruckbare Zeichen und ich habe ein einfache Integerzahl. Und mit der lässt sich in einem Skript schon einiges anstellen :) Meine Benachrichtigungen habe ich dann so definiert, dass alles von >0 gut ist, kriege ich als Ergebnis eine 0 (kein laufender Zabbix-Server-Prozess) oder irgendwas anderes (ein leeres Ergebnis heißt, dass keine Verbindung aufgebaut werden konnte beispielsweise) stimmt was nicht und die Paniknachricht wird generiert.
3. Auf einem angemieteten Server bei $großemHostingAnbieter haben wir noch einen root-Server laufen, der fragt dann über ein ähnlich simplen Bash-Skript ab, ob Port 25 (=smtp) auf der externen Adresse von unserem Netz erreichbar ist.

So ist im großen und ganzen eine lückenlose Überwachung möglich, der Zabbix-Server selbst überwacht alle meine internen Boxen, der Mailserver hat ein Auge auf die Zabbix-Box und ein Rechner draußen in der Wolke bewacht den Mailserver. Nicht 100%ig valide, aber für die SLAs von uns (und meinem Schlaf :)) reicht das erst mal.

*) sorry wenn jemand was politisches erwartet hat, aber was sollte ich dem noch hinzufügen können?
**) im großen und ganzen, allerdings scheint sich das Übertragungsformat zwischen V 1.1.4 (bei Etch) und V 1.4.6 (Lenny) ziemlich geändert zu haben, für ein paar obskurere Monitoring-Sachen auf einigen Servern war ich gezwungen das Source-DEB von Lenny unter Etch neu zu backen
***) auch die sind so simpel wie möglich gestrickt: Es werden Mails an $großenFreemailProvider generiert und von da aus per Filter auf Absender und Betreff per SMS-Benachrichtigung an mich weitergeleitet

Ich möchte, dass sendmail alle lokalen Mails über den zentralen MTA verschickt, der als Smart Host für alle meine Systeme dient – und alle Mails sollen maskiert werden, also nicht verschickt unter dem eigentlichen Servername (bei mir dann @blablubb.dmz.firma.tld) sondern eben als @firma.tld. Prinzipiell ja recht einfach, dafür gibt es ja in der sendmail.mc die ganzen Masquerade-Settings (beschrieben z.B. da) – ABER Mails vom Benutzer root werden standardmäßig nie maskiert, weshalb die mein MTA immer gedropt hat, und Interesse daran, meine ganze Mail-Domain-Struktur wegen einem dämlichen sendmail anzupassen hatte ich dann doch nicht. Dieses ganze Feature läuft dann unter dem Schlagwort “exposed” und hat die – prinzipiell nicht dummer – Idee, root-Mails nie zu maskieren, um die Herkunft zweifelsfrei einem Host zuordnen zu können.

Aber warum ist es nicht möglich, dieses Setting per m4 (und eine eigene Skriptsprache nur zum erzeugen einer Conf finde ich schon recht weird…) zu überschreiben? Umgekehrt geht das, mit EXPOSED_USER(`usernames’) lassen sich weitere Benutzer aus dem Masquerading ausklammern, aber ich will ja eben exakt die Gruppe C{E} (die alle exposed users beinhaltet) aus der sendmail.cf kleiner machen.

Mir ist dazu nichts eingefallen, jetzt konfiguriere ich eben sendmail doch direkt in der sendmail.cf und ignoriere diese tollen m4-Makros. Narf.

Aber heute hat sich Microsoft selbst übertroffen, das .net-Update hat eine Größe von über 200mb!?! Das ist ein beschissesene Anwendungsframework, was zum Geier ist da drin? Porn? Der Source von Windows 7? Ein Posix-Emulator, damit das Zeug in einer stabilen Umgebung laufen kann?

*) Titel bei Peter’s Blog geklaut, den Link dazu gab mir Matthias

Drückt mir die Daumen, dass dies die massiven Performanceprobleme behebt…

Heute abend dann Crash um den ganzen Blödsinn zu vergessen – wer Lust?

so und nicht anders hat ein Datenbankserver auszusehen – jetzt muß mein Kollege nächste Woche nur noch seinen Java-Web-Start-HTTP-Schlonz vom Server kratzen und ich kann die Drecksbox endlich töten und neuaufsetzen.

Das will ich eigentlich seit 18 Monaten tun, so langsam wird es Zeit…

Unser Client baut eine HTTP-Verbindung zum Server auf – diese nach der Protokollversion 1.1 persistent , das heißt, das die Verbindung nicht geschlossen wird, sondern über die gesamte Sitzungsdauer offen bleibt. Anders als bei V 1.0 ist eine persistente Verbindung in 1.1 default und kann nur noch explizit _nicht_ angefordert werden, und da begann dann das Problem…

Unser Client versucht also einen Verbindungsaufbau, in der Annahme, dass natürlich die Verbindung offen bleibt, was aber dieser spezielle Proxy nicht unterstützt und daher den Request (gültig) beantwortet und dann ein Connection: Close in den Header klatscht, was wir nicht abfangen.

In der RFC 2616 liest sich das dann so:

8.1.1 HTTP implementations SHOULD implement persistent connections.

14.10 HTTP/1.1 applications that do not support persistent connections MUST include the “close” connection option in every message.

Die wichtigen Wörter sind dann auch schon groß geschrieben – should und must. Der Proxy verhält sich (leider) standardkonform, nutzt aber eine Ausnahmeregelung, an die wohl keiner unserer Coder gedacht hatte.

Na dann, zurück an’s Zeichenbrettzur IDE.