Als Aktualisierung diverse Jahre später: Aus den 8 Kernen auf einmal Blech mit Xen sind inzwischen im größeren Virtualisierungscluster gut 400 Kerne geworden (mit Proxmox VE, verteilt über 9 Hosts, mit gut einem TB RAM und einem Ceph drunter mit etwa 200 TB Storage).
Wir hatten in der Unternehmensgruppe einen, wie heißt das heutzutage?, Sicherheitsvorfall. Die haben sich da einen Trojaner eingefangen, wohl ähnlich zu der bei Heise so erfolgreich eigesetzten. So weit so schlecht, großer Geschrei allerorten, die üblichen Aktionismen und Kompetenzgerangeleien (glücklicherweise habe ich die ersten zwei Wochen nicht mitgekriegt – weil mein Arbeitgeber selbst nicht direkt betroffen war, wurde ich nicht im Urlaub genervt). Die Nutzlast hat einerseits sehr zeitnah angefangen, Dateien zu verschlüsseln, hat sich aber auch durch’s Netz gefressen und Windosen geöffnet (angeblich auch voll gepatchte Win10-Kisten) – und dabei sehr wahrscheinlich auch ein Domadmin-Konto übernommen.
Beteiligt bin ich jetzt aber am Aufbau einer neuen Infrastruktur, damit die dort saubere Systeme neu aufsetzen können, die dann vielleicht auch sauber bleiben.
Auftritt $manager vom Mutterschiff. Mit einem Cyber im Funktionstitel.
Billie Grace Ward from New York, USA [CC BY 2.0 (https://creativecommons.org/licenses/by/2.0)]
Jetzt hatte aber Cyber Cyber überhaupt kein Problem damit, dass der Exchange-Server weiterhin voll in Betrieb ist, weil sich nach seinen Informationen „die Malware nicht per Mail verbreitet“. Ähm, whut? Der mit hoher Wahrscheinlichkeit kompromittierte Host darf weiterhin als Mailserver arbeiten? Weil das, mit Glück!, nicht dazu führt, dass sich der Trojaner weiterverbreitet? Und das Schlangenöl meinte, es sähe alles fuper aus?
🙈 🙉 🙊
Ist ja nur eine unter KRITIS fallende Klitsche. Kannste nix machen, ne?
Hochgeplöppt in den letzten Tagen:
– Zwei sehr große Versicherungskonzerne können gzip-Archive nicht verarbeiten
– Ein führender Diagnostik-Anbieter verlangt, dass SMBv1 mit NetBios genutzt wird
Kann man sich nicht ausdenken, so was.
Ein Kollege hat (in Pseudocode) so was auf einem Produktionssystem ausgerollt:
if ( test == true && host.ip == 10.2.3.4 ) {
set loglevel = DEBUG
}
set loglevel = DEBUG
Blöd, wäre aber alles halb so wild.
Hätte es nicht den Server alle paar Stunden volllaufen lassen mit unnützen Gigabytes an Log-Müll. Und hätte er die immer panischeren Mails von sehr vielen unterschiedlichen Personen mal gelesen. Nach einer Woche. Gemacht hat er m.W. nie etwas.
Auf dem Server habe ich es heute gefunden und provisorisch repariert. Als sehr deutlich Nichtprogrammierer.
Warum habe ich mir eigentlich die Arbeit gemacht, eine als „hoch“ eingeschätzte Sicherheitslücke möglichst zeitnah auf den Servern zu fixen? Der Bugfix hat einen „kritische“ Lücke gerissen…
Auf Twitter und Facebook habe ich ja Das Scheissprojekt schon erwähnt.
Über die Migration hat uns die Anrufung höherer (tieferer? anderer?) Mächte hinweggerettet.
Für einen stabilen Systembetrieb hat diese Involvierung der Mächtigen noch nicht ausgereicht, als Optimierung scheint mir das rituelle Opfern eine Ziege zielführend. Ich werde berichten, ob sich die anderen Unternehmen in der Gruppe diesen Tipp zu Herzen nehmen.
(Softwarename habe ich mal rauszensiert, aus Gründen.)
Netz-Doku eines dazugekauften Unternehmens:
VLANs: ✓
Spanning Tree ✓
Nachdem drüber gesprochen wurde:
VLANs: Unsere „DMZ“ nutzt ein anderes privates Netz, ansonsten ist alles ein LAN
Spanning Tree: Wir haben einmal im Switch STP angeschaltet und es ging nichts mehr. Wie, das muss konfiguriert werden?
Nichts für schwache Nerven!
Hat doch im Zuge des OpenSSL-Fuckups mein Tor-Knoten alle Flags verloren :(
Anders als Fefe tippe ich (bis zum Beweis des Gegenteils) eher auf Inkompetenz („mit Payload ist das viel besser weil komplexer – Enterprise-Development ich komme!11!!elf„) und bei Schneier entwickelt sich eine interessante Diskussion zum Thema.
Dank konservativer und/oder (zu) langsamer Updates sind „meine“ Server im Job alle nicht betroffen – Debian oldstable ftw ;)
2*3 Stunden Fahrt, 2 Stunden Meeting (Plan, Ist war dann +20 bzw. +35 min und eine Stunde überzogen)
Im Vorfeld dachte ich vor allem an die gar grässliche Diskrepanz zwischen An-/Abreise und Arbeitszeit, war dann aber doch erstaunlich effektiv und könnte im Gesamtprojekt tatsächlich Ressourcen sparen helfen.