Varför blev inte Baltikum en del av Sverige?

Varför förblev Baltikum löst kopplat till Sverige under stormaktstiden, och inte en integrerad del av riket?