Diritto di visita: i giorni devono essere seguiti in maniera fiscale?

Buonasera, sono divorziato con un figlio di 16 anni e mezzo che vedo regolarmente e con cui ho un ottimo rapporto. Ultimamente ho cambiato lavoro e sono diventato turnista ( si alternano turni dalle 6 alle 14, dalle 14 alle 22 e dalle 21 alle 7 del mattino seguente) Di conseguenza, come a me pare ovvio cerco di vedere il ragazzo quando sono libero anche cambiando giorno rispetto a quello che normalmente facevo. ( ad esempio lo prendevo sempre di martedì fino alla mattina successiva ma ho il turno dalle 14 alle 22 allora lo prendo il giorno successivo). In questo modo il tempo trascorso insieme è lo stesso di prima ma ciò fa arrabbiare la mia ex moglie che mi ha minacciato di portarmi davanti al giudice se non rispetto alla lettera i giorni concordati a prescindere dal fatto che io lavori o meno, affidando a qualcuno in questo secondo caso il ragazzo. Chiedo se ciò è legittimo. Io credo che la ratio del diritto di visita sia quella di consentire a me e mio figlio di vederci e stare insieme è chiaro che questo non avverrebbe se lo prendessi con me quando sono a lavoro non potendomelo tra l altro, come è normale, portare dietro... Grazie in anticipo per la risposta