Importando arquivos de dados no SQL*Loader
Postado por Adauto Santos
Frequentemente, nos deparamos com a necessidade de importar uma massiva quantidade de informação para uma tabela em um Banco de Dados, seja pela necessidade de transpor dados de um sistema legado para um novo sistema ou ainda apenas para processar aquele dado para uma tomada rápida de decisão.
Caso você tenha acesso a um Banco de Dados Oracle você pode utilizar o SQL*Loader para executar essa ação. A ferramenta é extremamente simples de ser usada, basta apenas ter o arquivo texto e configurar um arquivo com as diretrizes para a leitura e consequente importação. Pronto! Você irá conseguir importar uma quantidade massiva de informação em poucos segundos.
O comando
Para utilizar o SQL*Loader você precisa ter acesso a um Banco de Dados Oracle e na linha de comando do seu terminar digitar:sqlldr userid=usuario/senha@banco control=arquivo_diretrizes.txt
Simples assim!
O comando irá utilizar o usuário e senha do Banco de Dados, acessando a instância fornecida no "@" (é opcional, mas você precisa ter a descrição do TNS caso possua mais de um banco de dados), sendo que o arquivo de controle fornecido no parâmetro "control=" é responsável por fornecer a lógica necessária para a leitura do arquivo.
Um exemplo de arquivo de controle pode ser observado no exemplo que se segue:
arquivo_diretrizes.txt
load data infile 'arquivo_a_ser_importado.txt' append into table ENDERECO fields terminated by ';'' (seq, nome, email, cidade, cd_cep)
arquivo_a_ser_importado.txt
1;Adauto Santos;adauto@senseitreinamentos.com.br;Maringá;87010100 2;Nicole Souza Costa;nicole@senseitreinamentos.com.br;Sarandi;87020100 3;Martim Ribeiro Gomes;martim@senseitreinamentos.com.br;Marialva;87030100 4;Luana Castro Alves;luana@senseitreinamentos.com.br;Cafelândia;87040100 5;Alvito Solange Bivar;alvito@senseitreinamentos.com.br;Astorga;87050100 6;Belchior Edite Rufino;belchior@senseitreinamentos.com.br;Paiçandu;87060100 7;Luiza Silva Azevedo;luiza@senseitreinamentos.com.br;Nova Esperança;87070100
Tabela ENDERECO
CREATE TABLE ENDERECO ( SEQ NUMBER(11), NOME VARCHAR2(70), EMAIL VARCHAR2(100), CIDADE VARCHAR2(100), CD_CEP NUMBER(8) );
Pronto! Você já possui um mecanismo eficiente para ler um arquivo texto separado por ponto-e-vírgula, para uma tabela em Banco de Dados, com um arquivo de controle que por sua vez pode ser adaptado e modificado para as mais diversas necessidades (você irá se surpreender com a performance de importação).
Entretanto, caso queira se profundar mais no assunto o artigo continua :)
A explicação
Como visto na seção anterior o SQL*Loader processa um arquivo, à partir das regras fornecidas por outro arquivo. Para isso o arquivo em questão deverá ser obrigatoriamente legível (não é possível ler um arquivo binário) e ele precisa ser pré-formatado com delimitadores, um arquivo não-formatado pode ser até lido, mas ele tornará a configuração do arquivo de controle mais difícil (ou até mesmo inviável).
As colunas serão preenchidas da maneira que estiverem dispostas no arquivo e elas precisam ter o mesmo tipo de dado da tabela, caso contrário elas não serão importadas. Para saber quais linhas não foram importadas pode-se utlizar opção "badfile" como se segue:
load data infile 'arquivo_a_ser_importado.txt' badfile 'linhas_que_nao_foram_importadas.txt" append into table ENDERECO fields terminated by ';'' (seq, nome, email, cidade, cd_cep)
O SQL*Loader pode ser executado de qualquer computador que o tenha instalado, sendo assim o processo de carga é caracterizado como qualquer outro Processo de Usuário do Oracle. Logo, ele abrirá a sessão pelo Processo de Servidor, irá inserir cada linha como se fosse um INSERT em separado, o buffer cache será utilizado e os fluxos de REDO e UNDO serão escritos e etc. Contudo, é possível utilizar o mecanismo direto que irá simplesmente gravar os dados diretamente no DATAFILE acima da marca d'água da tabela que se deseja gravar. Para isso basta apenas passar o parâmetro DIRECT, como se segue:
sqlldr userid=usuario/senha@banco control=arquivo_diretrizes.txt direct=true
Por motivos óbvios o caminho direto é mais rápido (como você verá na seção de testes), porém possui algumas desvantagens entre elas destacam-se: as chaves estrangeiras precisam ser desativadas e a tabela será bloqueada durante o processo para DMLs de outas sessões.
Meus testes
adaasdasdasdads
| Tam/Qtde. Registro | SQL*Loader Convencional | SQL*Loader Direto |
| 1.107.288 | 58 segs. | 8 segs. |
| 2.214.576 | 1 min. e 45 segs. | 8 segs. |
| 3.321.864 | 2 min. e 38 segs. | 8 segs. |
| 4.429.152 | 3 min. e 42 segs. | 12 segs. |
| 5.536.440 | 4 min. e 32 segs. | 17 segs. |
Referências
https://docs.oracle.com/cd/B19306_01/server.102/b14215/ldr_concepts.htm
