Имеют ли права охранники тюрьмы задерживать меня, только потому что я проходил рядом с тюрьмой?

Недалеко от нашего дачного поселка есть лагерь строгого режима. я там проезжал на велосипеде, поставил велик и пешком прошел по округе, но вдруг ко мне подбежали охранники с этого лагеря и хотели задержать и сдать в отдел до выяснения. а там за выяснением и статья может нарисоваться.
что мне делать? имеют ли право так поступать сотрудники, они говорят что нельзя подходить ближе 50 м но даже если будешь соблюдать это правило все-равно задержать могут.