根据我国相关土地法规定，集体荒地属于集体所有，个人或单位擅自占用建房属于违法行为。因此，租户在集体荒地上建房是违法的。

即使该租户在某些情况下获得了“三证”（土地使用证、建设工程规划许可证、建设工程施工许可证），但这并不能掩盖他们非法占用集体荒地建房的事实。

因此，让其搬离是合法的，以恢复集体土地的合法使用。