Rejeição
324 - CNPJ do destinatário já autorizado para download
Causa
Quando for emitida uma NF-e e o CNPJ do destinatário (Campo: dest / CNPJ - ID: E02) for informado no Grupo de Autorização para obter XML (Campo: autXML / CNPJ - ID: GA02), será retornado a rejeição "324 - CNPJ do destinatário já autorizado para download".
Exemplo:
Foi emitida NF-e com CNPJ do destinatário informado no Grupo de Autorização para obter XML. Nessa situação a NF-e será rejeitada pelo motivo 324.

Veja regra de validação da Sefaz:
Como Resolver
Deve-se remover a pessoa que contenha o CNPJ do destinatário informado da aba "Pessoas Autorizadas baixar XML". Abaixo é possível visualizar qual aba do sistema pertence essas informações:

A seguir, também é possível visualizar o grupo que deverá ser removido:

Obs.: Os exemplos anexados nesse artigo não representam uma situação real.
Feita a correção, basta reenviar a NF-e para processamento.
Observação
O grupo autXML poderá ser repetido no XML até 10 vezes. É necessário remover apenas o grupo que contém o CNPJ do destinatário informado, se houver outros, pode mantê-los.
Referência
- Manual de Orientação do Contribuinte - http://www.nfe.fazenda.gov.br/portal/exibirArquivo.aspx?conteudo=9hd38oni4Nc=