Xor от калкора является минималистичным шифрованием, и трафик никак не сжимает.
Код Хаффмана может использоваться для сжатия строк, ты должен явным образом использовать его при записи/чтении из битстрима.
Дополнительных сжатий и прочего не происходит.
RakNet работает поверх протокола UDP, который не заботится о доставке и порядке пакетов, также следует учитывать фрагментацию.
Если тебе все же захочется нормально прочитать трафик ракнета через хук функций связанных с сокетами, придется как минимум половину РакНет выдернуть и пристроить к этим хукам, сомневаюсь что тебе нужны эти головные проблемы, да и с точки зрения производительности такое решение плохое.