Mutuo: Il proprietario non restituisce la caparra

Buongiorno, le descrivo la mia attuale situazione. Volevo acquistare un'immobile, ho firmato un atto tra privati (senza clausola vessatoria in caso di mutuo non erogato dalla banca) e come caparra un assegno da 5000 euro datato. Dopo la perizia della banca, l'immobile è stato valutato la metà del valore richiesto dal proprietario e quest'ultimo ha rifiutato categoricamente l'acquisto a quella cifra. Sotto consiglio del propretario sono andato in un altra banca a fare la stessa richiesta di mutuo sperando che la casa fosse valutata di più. Per altre cause non sono riuscito a fare una nuova richiesta di mutuo alla seconda banca. Sono passati circa due mesi, e in tutto questo tempo il proprietario non mi ha restituito l'assegno di caparra della mia prima richiesta di mutuo. Io, invece, ho chiuso la pratica di mutuo nella prima banca. Oggi, dopo un lungo periodo di silenzio da parte del proprietario, ho ricevuto dal suo avvocato una diffida dove mi viene chiesto di rogitare o in caso mi rifiutassi, lui si riserva il diritto di incassare l'assegno di caparra (datato ormai nel passato), che non mi è stato mai riconsegnato dopo la prima richiesta di mutuo. Ora come dovrei comportarmi? Come faccio a recuperare il mio assegno? Conviene che risponda al suo avvocato? C'è una legge che mi tutela in questo caso? Grazie attento risposta.