Ну во-первых, зачем ты регистрируешь 2 одинаковых хоткея?
Достаточно было бы и того, что в main(). Убери второй.
Во-вторых, проверка как бы работает, но работает не так, как ты хотел. У тебя регистрируется хоткей при условии, что не открыт чат или диалог.
И в третьих, в хоткее, который в main(), сделай эти проверки перед:
sampSendChat, а не перед RegisterHotKey.