Ultime due mensilità di affitto: posso non pagarle?

Salve a tutti, tra due mesi lascerò la casa in cui sono in affitto, dato che qst mese inizierò a pagare il mutuo ho chiesto al mio proprietario di casa se può scalare l’affitto dal Deposito cauzionale che lui ha in mano. Lui si è rifiutato inziando a inventare scuse e appigliandosi al fatto che in casa ce muffa (cosa che io gli avevo fatto presente già tempo fa e lui se ne è totalmente fregato) secondo me voleva fare il furbo tenendosi i soldi. Ora mi chiedo se non pago gli ultimi due affitti può far qualkosa nei kiei confronti? Comunque i soldi li ha già in mano e la casa a parte i problemi di umidità che non e colpa mia è in ottime condizioni più volte gli ho chiesto di venire a casa a vederla ma si e sempre rifiutato inventato scuse.