Во-первых, getCharPlayerIsTargeting() возвращает два значения, а это значит, что нужно сперва сохранить эти значения (или только одно нужное) в какую-нибудь переменную, чтобы затем использовать в if:
local result, target = getCharPlayerIsTargeting(playerHandle) -- нижнее подчеркивание (_)...