Affitto: Proprietario può usare il mio giardino senza permesso?

Salve, vorrei un parere su un problema di una casa in affitto. Attualmente resiedo in affitto in una casa la cui proprietaria vive in Svizzera e ha dei parenti che abitano a due passi da me. È stato affittato solo parte dell'immobile (piano terra e giardino). So già che i parenti possono entrare in giardino per salire nella parte di abitazione non affittata ma il problema è che girano tranquilli in giardino spostando anche le mie cose dicendo che lo possono tranquillamente fare, inoltre fanno tranquillamente lavori in giardino senza il mio permesso. Il quesito è: possono farlo? Essendo io il conduttore unico di questo non dovrebbero chiedere il permesso a me per farlo? Grazie