Em estatística, imputação é o processo de substituição de dados faltantes por valores substituídos. Ao substituir um ponto de dados, é conhecido como “imputação de unidade”; ao substituir um componente de um ponto de dados, isso é conhecido como "imputação de item". Existem três problemas principais causados pela falta de dados: a falta de dados pode introduzir uma quantidade substancial de vieses, tornar o tratamento e a análise dos dados mais árduos e criar reduções na eficiência. Como os dados faltantes podem criar problemas para a análise de dados, a imputação é vista como uma forma de evitar as armadilhas envolvidas na exclusão em lista de casos que possuem valores faltantes. Ou seja, quando um ou mais valores estão faltando para um caso, a maioria dos pacotes estatísticos descarta qualquer caso que tenha um valor faltante, o que pode introduzir vieses ou afetar a representatividade dos resultados. A imputação preserva todos os casos, substituindo os dados faltantes por um valor estimado com base em outras informações disponíveis. Uma vez imputados todos os valores em falta, o conjunto de dados pode então ser analisado utilizando técnicas padrão para dados completos.Gelman, Andrew, and Jennifer Hill. Data analysis using regression and multilevel/hierarchical models. Cambridge University Press, 2006. Ch.25 Tem havido muitas teorias adotadas pelos cientistas para explicar a falta de dados, mas a maioria delas introduz vieses. Algumas das tentativas bem conhecidas de lidar com dados faltantes incluem: imputação de hot deck e cold deck; exclusão listwise e pairwise; imputação média; fatoração de matriz não negativa; imputação de regressão; última observação realizada; imputação estocástica; e imputação múltipla.

Exclusão em lista (caso completo)

De longe, o meio mais comum de lidar com dados faltantes é a exclusão em lista (também conhecida como caso completo), que ocorre quando todos os casos com valor faltante são excluídos. Se os dados estiverem faltando completamente aleatoriamente, a exclusão listada não adiciona nenhum viés, mas diminui a potência da análise ao diminuir o tamanho efetivo da amostra. Por exemplo, se 1.000 casos forem coletados, mas 80 tiverem valores ausentes, o tamanho efetivo da amostra após a exclusão em lista será 920. Se os casos não estiverem faltando completamente aleatoriamente, então a exclusão em lista introduzirá viés porque a subamostra de casos representada pelos dados faltantes não é representativa da amostra original (e se a amostra original era em si uma amostra representativa de uma população, os casos completos também não são representativos dessa população). Embora a exclusão em lista seja imparcial quando os dados ausentes desaparecem completamente aleatoriamente, esse raramente é o caso na realidade.

A exclusão de pares (ou "análise de casos disponíveis") envolve a exclusão de um caso quando este não possui uma variável necessária para uma determinada análise, mas inclui esse caso nas análises para as quais todas as variáveis necessárias estão presentes. Quando a exclusão de pares é utilizada, o N total para a análise não será consistente entre as estimativas de parâmetros. Devido aos valores incompletos de N em alguns pontos no tempo, embora ainda se mantenha a comparação completa de casos para outros parâmetros, a exclusão de pares pode introduzir situações matemáticas impossíveis, como correlações superiores a 100%.

A principal vantagem da exclusão completa de casos sobre outros métodos é a sua simplicidade e facilidade de implementação. Essa é uma das principais razões pelas quais a exclusão completa de casos é o método mais popular para lidar com dados faltantes, apesar de suas muitas desvantagens.

Imputação múltipla Para lidar com o problema do aumento de ruído devido à imputação, Rubin (1987) desenvolveu um método para calcular a média dos resultados em múltiplos conjuntos de dados imputados para levar isso em consideração. Todos os métodos de imputação múltipla seguem três etapas.

Imputação – Semelhante à imputação simples, os valores ausentes são imputados. No entanto, os valores imputados são extraídos m vezes de uma distribuição, em vez de apenas uma vez. Ao final desta etapa, devem existir m conjuntos de dados completos. Análise – Cada um dos m conjuntos de dados é analisado. Ao final desta etapa, devem existir m análises. Agrupamento – Os m resultados são consolidados em um único resultado, calculando a média, a variância e o intervalo de confiança da variável de interesse ou combinando simulações de cada modelo separado.

A imputação múltipla pode ser usada em casos onde os dados estão faltando completamente ao acaso, faltando ao acaso e faltando não ao acaso, embora possa ser enviesada neste último caso. Uma abordagem é a imputação múltipla por equações encadeadas (MICE), também conhecida como "especificação totalmente condicional" e "imputação múltipla por regressão sequencial". A MICE foi projetada para dados faltantes ao acaso, embora haja evidências de simulação que sugerem que, com um número suficiente de variáveis auxiliares, ela também pode funcionar com dados que não estão faltando ao acaso. No entanto, a MICE pode apresentar problemas de desempenho quando o número de observações é grande e os dados possuem características complexas, como não linearidades e alta dimensionalidade.

Referências

Categoria:Codificação de dados estatísticos Categoria:Inferência estatística