mancata restituzione seconda chiave locazione appartamento

buonasera, in data 28/02/2022 ho concluso un contratto di locazione di un appartamento con restituzione di una sola chiave del blindato di ingresso. La seconda chiave l'ho trattenuta in attesa di ricevere la restituzione della caparra. La caparra non è stata restituita per intero in quanto il proprietario ha trattenuto una quota relativa a spese condominiali non pagate nel corso del contratto di locazione. Tali spese le avevo trattenute per disservizi condominiali (esempio per 8 mesi il cancello pedonale è rimasto aperto in quanto il proprietario rinviava la riparazione). Ora che il contratto è concluso e che l'appartamento è stato affittato a nuovi inquilini, il proprietario mi chiede la restituzione della chiave altrimenti mi addebiterà il costo per il cambio di serratura. Chiedo quindi come devo comportarmi e se il proprietario può veramente rivalersi su me anche se il contratto è già stato chiuso il 28/02/22. Grazie