Posso morar no imóvel e depois financiar o restante pela Caixa?

O certo é registrar o contrato de compra e venda para depois receber as chaves.

Pode sim.

O financiamento deve ocorrer após o valor de entrada.

Recomendo já tentar a aprovação de seu financiamento com a Caixa Econômica Federal, pois, como será que fará o pagamento em caso de reprova de seu financiamento? Aliás, não recomenda-se dar valor nenhum em mão sem que haja o devido respaldo, no seu caso também a aprovação do financiamento e a garantia de que o imóvel é seu.

Pode por escritura de cláusula resolutiva, se não pagar o financiamento, perde o imóvel para quem comprou.

Pode; porém não será mais considerado imóvel novo.

Se não tinha nem habite -se imagino que o imóvel não tem matricula. Para financiamento, os bancos exigem a documentação regularizada.

Pode sim como houve a permissão mas trate de agilizar o seu financiamento o mais rápido possível.