这个不算违法，如果你通知他了，他把钥匙弄丢了，你可以带个开锁的去把它开了，或者他不在不在当地或去别的地方了，你有充分的理由可以去把车开回来了。