Was das Kind angeht, kann ich aus eigener Beobachtung (wenn auch nicht am eigenen Kinde), der Mitarbeit im Stalkinghilfeverein und der jahrzehntelangen Berufserfahrung meiner Freundin in der Betreuung verhaltensgestörter und akut bedrohter Kinder leider einen ziemlich gegenteiligen Standpunkt einnehmen:
Ein bislang weitgehend unbekannter Elternteil wird einem Kind nicht in Form einer emotionalen Lücke fehlen.
Ein Kind im Mittelpunkt einer elterlichen Auseinandersetzung wird allerding große, meist bleibende psychische und mitunter auch körperliche Schäden davontragen.
Je weiter dabei neurotische oder psychopathische Verhaltensweisen bei mindestens einem Elternteil ausgeprägt sind (z.B. eine bipolare Störung), desto schlimmer werden sie in Konfliktsituationen hervortreten, und desto schlimmer wird es auch das Kind treffen.
Solange rundherum alles möglichst ruhig ist im Sinne eines nicht offen lodernden, sondern schlimmstenfalls unterschwellig schwelenden Konflikts, läuft die Sache für Mutter (oder Vater) und Kind meistens relativ glatt; psychische Krankheit hin oder Neurose her.
Räumliche Distanz zum anderen Elternteil kann dabei enorm hilfreich sein, weil sie eben Trigger vermeidet.
Wenn in diesem Fall die Mutter das Kind nicht vernachlässigt oder verprügelt und ihr eigenes Leben zumindest halbwegs auf die Reihe bekommt, geht es beiden mit hoher Wahrscheinlichkeit wesentlich besser, als in einer ständigen Auseinandersetzung mit dem Vater (und ja: zum völligen Ausrasten reichen da bereits begleitete Besuchszeiten).
Der Vater leidet womöglich sehr, kommt damit aber als Erwachsener weitaus besser klar, als ein Baby mitten in der kochenden Emotionssuppe.
Das Baby wird ihn nicht sonderlich vermissen; ihm fehlt schlimmstenfalls irgendwann eine männliche Identifikationsfigur.
Den feinfühligen Umgang mit solchen Situationen, vor allem eben im Hinblick auf das Kindeswohl, versauen übrigens ausgerechnet die Jugendämter mit schöner Regelmäßigkeit und schlafwandlerischer Sicherheit. Wie gesagt: meine Freundin lebt davon (und dafür) und leitet seit über 25 Jahren eine entsprechende Einrichtung; die Geschichten der Betroffenen sind oft haarsträubend - bis hin zu nur knapp verhinderten Ehrenmorden, wo die Jugendämter den Umgang mit beiden Elternteilen für wichtig hielten und vorangetrieben haben...
@Fergi36, sei froh, dass sich das Amt da bislang raushält. Wenn Du einigermaßen zurechtkommst und die Mutter euren Sohn nicht mißhandelt, lass es für die nächsten sechs bis zehn Jahre möglichst auch so. Schlimm für Dich, aber höchstwahrscheinlich eben weit weniger schlimm für Deinen Sohn.