Flirting with disaster-Fehler in Software

Es passierte 1979 in Norad...

NORAD ist die zentrale Führungsstelle für die Luftverteidigung und Frühwarnung der amerikanischen und kanadischen Luftstreitkräfte. Sie ist auch für die Weltraum-überwachung und die Verfolgung von gestarteten Interkontinentalraketen zuständig...
Dort kam es aufgrund eines Defektes zu einer aufsehenerregenden Fehlmeldung.
Der Bildschirm meldete über 2000 sowjetische Atomraketen im Anflug. Wegen
der ungeheuren Menge der "angreifenden" Raketen gingen die Miltärs von einem
Fehler aus, den allerdings die Software herausgefiltert haben sollte. Tatsächlich
kompensierte die Software einen Defekt, ließ aber einige fehlerhafte Bits durch,
die sich dann in die Daten mischten...

Nur 4 Jahre später gab es in der Sowjetunion einen ähnlichen Fehler. Der Computer
meldete, das von einer Basis in den USA 5 Atomraketen gestartet worden seien.
Der zuständige Offizier, dessen Meldung über den Einsatz von Vergeltungsmaßnahmen
mitzuentscheiden hatte, fand es merkwürdig, das die USA mit nur 5 Raketen einen
solchen Konflikt beginnen sollten. Die Software in der Basis arbeitete fehlerfrei. Es stellte sich heraus, das der Beochbachtungsattelit das Problem war, der die Reflexion von Sonnenlicht auf Wolken irrtümlich als gestartete Raketen interpretiert hatte...

Das nur wenige Bits und Bytes über eine Katastrophe entscheiden können, zeugt
beinahe schon von einem heimlichen Willen zur Selbstvernichtung. Nun wurden
diese Pannen behoben, aber was wäre denn gewesen, wenn die Zahl der Raketen
glaubwürdiger gewesen wäre und andere Offiziere Dienst gehabt hätten ?

Die Geschichte der Technik ist auch eine Geschichte der Softwarefehler. Nicht jeder
Fehler fällt auf oder verursacht gleich gewaltige Probleme, ärgerlich ist es aber doch,
wenn man am Flughafen warten muß, weil die neue Software nicht mit zu vielen
Gepäckstücken fertig wird oder es Probleme mit Überweisungen gibt. Wer weiß,
welche Fehler noch so alles in den Systemen schlummern und auf die Tasten- oder
Wertekombination warten, die sie ans Licht des Tages bringt ?

Schätzungen zufolge soll es alle 4000 Computerzeilen mindestens einen Fehler geben...

wolf359 schrieb:Das nur wenige Bits und Bytes über eine Katastrophe entscheiden können, zeugt
beinahe schon von einem heimlichen Willen zur Selbstvernichtung

Der Thread wurde inspiriert durch den neuen Terminator?

Skynet lässt grüßen.

Aber in besagtem Beispiel war es ja nicht zwangsläufig das Programm, sondern auch die "Augen" des Computers (Beobachtungsatteliten) verwantwortlich für die Fehleinschätzung.

Oder es ist der Ghost in the Shell ;)

@Comguard2

Die Lichtreflexionen wurden ja von der Software des Satelliten als Raketen interpretiert, der die Raketenwarnung an die Basis weitergeleitet hat. Wenn ich so etwas lese, dann
laufen mir kalte Schauer über den Rücken. Dann bin ich froh, wenn es in unserer hoch-
technisierten Welt doch irgendwo noch ein paar Menschen gibt, die nicht blind auf
jeden Wert vertrauen, der aus einem Computer stammt. Aber es müssen ja nicht
immer so entscheidende Dinge sein, es kann ja auch Fehler geben, die nicht so
unmittelbar auffallen und deren Folgen man erst später merkt, wenn sie überhaupt
bemerkt werden...

@wolf359:
ich fidne es immer wieder erstaunlich, wie die leute von computertechnik perfektion erwarten, obwohl diese doch von menschen priogrammiert werden und diese eben auch fehler machen.

solche krassen fehler gab's in der vergangenheit auch, man denke nur mal an die kubakrise.

heutzutage kann man das besser abfangen, zumindestens da wo es nötig ist. und man darf eben nie die programmierer dahinter vergessen. bspw. ging mal eine ariane 5 (trägerrakete) verloren, weil man die automatischen tests ausgeschaltet hatte, weil man dachte: was bei der ariane 4 funktioniert hat, muss ja auch bei der ariane 5 gehen ;). letzten endes hat natürlich der softwarefehler zum versagen geführt, der aber eindeutig auf menschliches versagen zurück zu führen ist.

@Zoddy

Wahrscheinlich dachte man, das es an dieser Software nichts mehr zu verbessern
gibt, das galt aber eben nur im Hinblick auf Ariane 4. Das ist in gewisser Weise
verständlich, da sich an den prinzipiellen Zusammenhängen bei einem Raketenstart
eigentlich nichts ändert, nur weil man eine andere Rakete nimmt. Vielleicht wurde die Software etwas zu sehr Ariane 4 und deren Besonderheiten "auf den Leib geschrieben",
was aus einem allgemeinen Programm für Raketenstarts ein spezielles für Ariane 4 machte, mit der es dann natürlich so perkfekt zurechtkam, das man dachte es gäbe
nichts mehr daran zu verbessern...

Genaugenommen hat sich das ungefähr so abgespielt...

"1996 Der Ariane-Flug 501
Teile der Programmierung der Ariane-4-Rakete werden für den Nachfolger Ariane 5 übernommen, unter anderem ein Modul, das dazu da ist, Zahlenwerte zu konvertieren. Allerdings sind die Motoren der neuen Ariane schneller – das führt dazu, dass das Modul die Berechnungen nicht mehr bewältigen kann und den Bordcomputer zum Absturz bringt.
Und nicht nur den Computer: Auf Flug 501 stürzen praktisch gleichzeitig Haupt- und Backup-Rechner ab. Als Resultat überlastet die Steuerung die Motoren, 40 Sekunden nach dem Start bricht die Rakete auseinander."

Quelle: Netzeitung

hier ein interessantes Quiz mit Auflösung zu dem Thema:

http://portal.gmx.net/de/themen/digitale-welt/quiz/3543192,cc=000007148100035431921i5ZhD.html

@wolf359

mir ist auch ein Fall in der SU bekannt.

Laut Bildschirm flogen angeblich 5 Raketen auf die SU. Der zuständige Offizier reagierte aber nicht!

Und zwar mit der Begründung : "Wenn Amerika angreifen würde dann nicht mit 5 sonder mit 200 Raketen"

Gott sei dank hat er einen klaren Kopf behalten ..

Es war ein Fehlalarm

werd mal nach der Quelle kurz schauen

so hier mal der Link:


http://www.atomwaffena-z.info/atomwaffen-geschichte/atomwaffenunfaelle/fehlalarm/index.html (Archiv-Version vom 15.06.2009)

@wolf359

vergiss mein Beispiel seh grad du hast es schon aufgeführt :D

sry zu schnell gelesen

@hollawaldfee

Dein Link zeigt ja noch mehr atomare Beinahe-Katastrophen, als ich bisher kannte.
Ich muß sagen, das ich mich dadurch nicht unbedingt wohler fühle...

Das hier ist auch scharf...

"Ebenfalls sehr beunruhigend ist die Geschichte der Minuteman-Rakete aus dem Jahr 1984, die "unerlaubt" starten wollte. Wegen eines Computerfehlers erhielt die Rakete in Cheyenne, Wyoming, den Startbefehl. Um den Start zu verhindern, wurde ein gepanzertes Auto auf dem Silo geparkt!"

Oder das...

"Am 5. Oktober 1960 meldete ein Frühwarnradar auf Grönland einen massiven sowjetischen Angriff ballistischer Raketen auf dem Weg in die USA. Ein Fehler im Computersystem entfernte zwei Nullen aus den Messkomponenten des Radars. Es wurde damit der Raketenangriff bei einer Entfernung von 2.500 Meilen dargestellt. In Wirklichkeit handelte es sich um die 250.000 Meilen entfernte Spiegelung des Mondlichts."

Mann...

@wolf359

interessant sind auch die Atomwaffenunfälle , einige auch in Deutschland ...

und mit menschlichen fehlern fühlt ihr euch alle wohler ;)?

die beiden schwersten unfälle in kerntechnischen anlagen (das ewig geheim gehaltene majak und der berühmte vorfall von tschernobyl) sind auf menschliches versagen zurück zu führen. und das waren nicht nur fast-gefahren, sondern tatsächlich ausgelöste super-gaus.

@wolf359:
ist eigentlich fats egal, wie die details aussahen, oder wie es zu diesen fragwürdigen entscheidungen kam. fakt ist nur: sie gehen auf menschliches versagen zurück. gerade in diesem falle wäre es leicht verhinderbar gewesen. sie benutzten für solche wichtigen anlagen die programmiersprache ada, deren compiler eine reihe an automatischen tests bietet um die integrität in einem sehr hohen level zu gewähren. diese tests wurden abgeschaltet, obwohl jeder programmierer schon als absoluten grundsatz wissen sollte: nur weil sich etwas extrem ähnlich ist, verhält sich nicht auch automatisch gleich.

es gibt auch andere beispiele, die ähnlich sind: in schweden und norwegen (bestimmt auch finnland) fahren riesige güterzüge - komplett vollautomatisch. die steuerungssoftware ist ebenso in ada geschrieben (wie gesagt ada ist DIE sprache für solche anwendungsbereiche). hier wurde die tests auch viel zu früh abgeschaltet und garnicht in der wirklichkeit, sondern nur in einem simulator getestet. so passierte es dann öfer mal, das nach dem winter plötzlich züge fehlten, die man dann erst aufwendig suchen musste, wo sie denn nun eigentlich hingefahren sind. man kann dabei nur froh sein, das diese züge ausschließlich auf eigenen netzen fahren, sonst wäre es sehr wahrscheinlich, das einer dieser verfahrenen züge auch in einen passagierzug hinein gedüst wäre.

Schätzungen zufolge soll es alle 4000 Computerzeilen mindestens einen Fehler geben...

Das geht noch besser.

Es gibt zwei Grundsätze:

1. Keine Software ist frei von Fehlern

2. Jede Software lässt sich um mindestens eine Zeile kürzen

Daraus folgt: Jede Software lässt sich auf eine Zeile reduzieren, die nicht funktioniert.

@Zoddy

Das wäre auch ziemlich problematisch, wenn man vollautomatische Züge mit einer
unzuverlässigen Software gemischt mit Personenzügen fahren lassen würde. Wenigstens
hält dieses Problem die Betreiber der Bahn wohl davon ab, ihre Systeme auch für
Personenzüge oder gar den gesamten Schienenverkehr komplett auf Automatik
umzustellen. Eine Simulation ist nicht die Realität, aber es wäre wohl auch schwierig
gewesen, mit einer Unzahl von vollen Güterzügen quer durch die Landschaft eine
komplette Probefahrt zu machen. Jetzt heißt es wohl "learning by doing...", wahrschein-
lich verbessern jetzt die Programmierer mit jedem auftretenden Fehler die Software
ein kleines Stück mehr...

@GilbMLRS

Software ist leider für unsere moderne Welt unentbehrlich. Das Problem ist wohl, das
auch die Programmierer oft unter Zeitdruck stehen. In der Regel gilt wohl der Spruch:
"Hauptsache es funktioniert", denn was funktioniert, das lässt sich auch verkaufen.
Natürlich gibt es zumeist auch Testläufe und Simulationen, aber diese können meist
nicht jede denkbare Situation nachstellen, sondern stellen in der Regel die alltäglichen
Ereignisse im Umfeld der Software nach und es gibt eben auch oft nicht alltägliche
Ereignisse, die nicht berücksichtigt worden sind, weil sie den Programmierern einfach
nicht bekannt waren. Dazu kommen die Bedienungsfehler, die oft daher resuliteren,
das ein Programm, das den Programmierern in der Funktion vollkommen einleuchtet,
den Anwendern noch lange nicht einleuchten muß...

@wolf359:
schätzungsweise auch nicht gefährlicher als ein menschlicher zugführer. wie gesagt, erwartet von software nicht immer perfektion, schließlich wurde sie von menschen gemacht und die machen nun einmal fehler.

alles das, was du schreibst kann man auch auf eine nichtdigitale welt ummünzen. am besten ist eben meiner meinung nach eine mischung. nicht vollkommenes verlassen auf die software (zumindestens nicht, wenn dabei erhebliche schäden an gegenständen oder noch schlimmer an lebewesen entstehen könnte), aber eben eine mehr oder weniger weitreichende ergänzung um unsere eigenen schwachstellen auszugleichen.

@Zoddy

Wie gesagt, Software ist unerlässlich...
Es ist nur so, das wir uns immer mehr auf das Verlassen, was eine Software uns
als Ergebnis präsentiert, und wenn die Software sagt, da seinen Raketen, und die
Software dafür gemacht worden ist, uns diese Auskunft zu geben, dann haben
wir einen guten Grund anzunehmen, das es sich tatsächlich um Raketen handelt,
auch wenn sie das sich spiegelnde Mondlicht als Raketen interpretiert. Der Fehler,
der menschliche Fehler, wurde viel früher gemacht, in dem besondere Lichtverhältnisse
nicht als solche in der Software berücksichtigt wurden. Natürlich ist auch dies unser
Fehler, der aber im Falle der Software hunderttausendfach wiederholt werden
könnte, um irgendwann eine Katatstrophe verursachen zu können, wenn ein
allzutechnikgläubiger Mensch, einer als allzuperfekt angenommenen Software
vertraut, die einen glaubhaften, aber falschen Wert liefert...

Natürlich sind Menschen immer anfällig für menschliche Fehler, aber es sind nicht immer dieselben Fehler, wie diejenigen, die noch in so mancher Software schlummern. Wenn eine Software immer zuverlässig Werte liefert, so nimmt man an, das sie es auch
weiterhin tun wird, bis dann die Ausnahmesituation entsteht, an dem die Software eben
keine zuverlässigen Werte mehr liefert, und da ihr der Verstand fehlt, kann sie
ihren Fehler auch nicht korrigieren...

Mein name ist john, john connor,
die meisten wuerden sagen ich bin verrueckt aber ich weiss es besser...
ich habe es gesehen, das ende muss kommen, wird kommen, sie sind DA.
dumm dudumm dumm
duruuuu duuuuruuuu dududuuuuuu duuuu duuuu
(terminator song)
haha ich liebe diesen flim

zum thema, heute erst iminternet auch, GPS systeme koennten von 2010 an probleme machen

und um euer Unbehagen noch ein gbißchen zu verstärken möchte ich auf den, mittlerweile schon massiven, Einsatz von (kampf-)Roboter in den Armeen dieser Welt hinweisen. NEIN, ich schaue kein Terminator, ich lese Militärzeitschriften.

siehe dazu:

http://images.google.com/images?hl=de&client=opera&rls=de&hs=pam&ei=qyIJSqSSGoS9-AaQkuzaCw&resnum=1&q=kampfroboter&um=1&ie=UTF-8&ei=rSIJStfqFsOO-AaonvHXCw&sa=X&oi=image_result_group&resnum=1&ct=title

Wikipedia: Militärroboter

http://www.welt.de/wissenschaft/roboter/article2154364/Bundeswehr_bekommt_Drei_Tonnen_Kampfroboter.html

und hier. "friendldy fire by Kampfroboter
http://www.chip.de/news/Militaer-Roboter-toetet-neun-eigene-Soldaten_29184906.html (Archiv-Version vom 09.02.2009)

http://www.shortnews.de/start.cfm?id=757301


und für alle die sowas nicht dem Militär alleine überlassen wollen sondern sich wenigstens ihre eigene Drohne selbst bauen wollen, gibts hier massig Futter :-)
http://diydrones.com/

ach ja, hoier eine etwas oberflächige aber dafür umassende Auflistung was so alles im Einsatz ist:
http://tech.de.msn.com/ratgeber_praxis/hardware_galerie.aspx?cp-documentid=16559268 (Archiv-Version vom 12.05.2009)