Terreno di proprietà utilizzato dal vecchio proprietario: ci perdo qualcosa?

Buongiorno, nel 2005 ho acquistato un terreno edificabile nel mio paese. Il precedente proprietario da diversi anni utilizza il mio terreno e quelli adiacenti che sono rimasti di sua proprietà per coltivare grano senza chiedere alcuna autorizzazione. Non ho mai detto nulla perchè in questo modo contribuisce a tenere pulito il suolo. Vorrei sapere se questa sua attività possa causare problemi sulla mia proprietà (ad esempio perdere la proprietà stessa del terreno o altro). Cordiali saluti