Ну, смотри
Изучить тебе надо:
С++ | Советую по метаниту, там все с нуля
WinApi | По книгам разным или по документации винды
Ассемблер MASM | Тоже по метаниту
Реверс-Инжиниринг | Денис Юричев(книга)
Криптография | Ярощенко(вот тут нужна алгебра, так как шифрование строится на математических...