Соседи правы?

Переехали мы в свой дом в сентябре.пока не огородились, тк нет на это финансов.планируем на лето. По документам у нас с левой стороны дома 4,85м до соседей, а у них на метр меньше. Но по факту так не выходит как оказалось… и этот метр они предложили поделить пополам, не вызывая специалистов. Огораживаться они не собирались, мол, тоже денег нет. Но тут решили огородиться, поэтому и территорию разметили. Из-за метра пополам ругаться не стали. Ставят они забор, молчат, и тут сегодня говорят, что мы должны отдать половину суммы от забора на нашей меже с ними, зная, что мы не планировали ставить забор в ближайшее время из-за финансов+та часть забора будет стоять лицевой стороной к их двору. Получается, мы всё равно должны будем оплатить половину?