ME414 - Estatística para Experimentalistas

Uma amostra aleatória de 500 pessoas responde um questionário sobre filiação partidária (partido $A$ ou $B$) e atitude mediante um programa de racionamento de energia. Os resultados estão apresentados na tabela de contingência a seguir:

Os dados indicam que a opinião sobre racionamento de energia é independente da filiação partidária?

Podemos medir quantitativamente a associaçãoo entre as duas características?

Primeiramente, consideremos a tabela de um ponto de vista descritivo, transformando as contagens em proporcões.

• Proporções por caselas

Através das tabelas de proporções e gráficos de barras, observam-se diferenças aparentes nas distribuições ao longo das linhas, colunas ou das proporções totais das respostas.

Por exemplo, com relação às proporções por linha, observa-se que as proporções diminuem ao longo da primeira linha e aumentam ao longo da segunda.

Podemos usar um teste estatístico para avaliar possível associação entre filiação partidária e opinião com relação ao programa de racionamento de energia.

Considere duas características designadas por $A$ e $B$ e suponha que existem $r$ categorias $A_1,A_2, \ldots , A_r$ para $A$ e $c$ categorias $B_1, B_2, \ldots, B_c$ para $B$.

Suponha que uma amostra de tamanho $n$ é classificada e distribuída nas classes de $A$ e $B$, produzindo uma tabela de contingência em que:

$n_{ij}=$ frequência de observações com as características $A_i$ e $B_j$ conjuntamente.

$n_{i0}=$ total da $i$-ésima linha, ou frequência de $A_i$.

$n_{0j}=$ total da $j$-ésima coluna, ou frequência de $B_j$.

Hipóteses:

$H_0: p_{ij}=p_{i0}p_{0j}$ para todas as componentes $(i,j)$ (independência)

$H_a: p_{ij} \neq p_{i0}p_{0j}$ para pelo menos um par $(i,j)$

O modelo de independência especifica as probabilidades das componentes em termo das probabilidades marginais. Problema: as probabilidades marginais são parâmetros desconhecidos.

Como $p_{i0}=P(A_i)$, um estimador natural é a frequência relativa amostra de $A_i$, $\displaystyle \hat{p}_{i0}=\frac{n_{i0}}{n}$

Da mesma forma, $p_{0j}=P(B_j)$ é estimado por $\displaystyle \hat{p}_{0j}=\frac{n_{0j}}{n}$

Usando essas estimativas a probabilidade da componente $(i,j)$ é estimada por $$\hat{p}_{ij}=\hat{p}_{i0}\hat{p}_{0j}=\frac{n_{i0}n_{0j}}{n^2}$$

Logo, a frequência relativa esperada sob o modelo de independência é

$$E_{ij}=n \hat{p}_{ij} = \frac{n_{i0}n_{0j}}{n}$$

Portanto, a estatística do teste é dada por:

$$\chi^2= \sum_{r\times c \text{ componentes }}\frac{(O_{ij}-E_{ij})^2}{E_{ij}} = \sum_{r\times c \text{ componentes }}\frac{(n_{ij}-E_{ij})^2}{E_{ij}}$$

que sob $H_0$ tem distribuição aproximadamente $\chi^2$ com $(r-1)\times(c-1)$ graus de liberdade, para $n$ grande.

Valor Crítico: Para um nível de significância $\alpha$, encontrar o valor crítico $\chi^2_{crit}$ na tabela Chi-quadrado tal que $P(\chi^2_{(r-1)(c-1)} \geq \chi^2_{crit}) = \alpha.$

Conclusão: Rejeitamos $H_0$ se $\chi_{obs}^2 \geq \chi^2_{crit}.$

A estatística $\chi^2$ tem o valor observado de

$$\chi^2_{obs}=4.539 + 0.073 + 4.914 + 6.016 + 0.097 + 6.514=22.15 \stackrel{H_0}{\sim} \chi^2_{2}$$

Usando o nível de significância $\alpha=0.05$, o valor crítico é $\chi^2_{crit} = \chi^2_{2, 0.05} = 5.99$.

Como $\chi^2_{obs}= 22.15 > 5.99 = \chi^2_{crit}$, rejeitamos a hipótese nula de indepêndencia.

Concluímos que os dados trazem evidências de associação entre as duas características (filiação e opinião).

CUIDADO!!! Associação não implica CAUSA.

Não podemos afirmar que existe uma relação de causa e efeito, pois os dados são observacionais, isto é, não aleatorizamos as pessoas para serem do partido $A$ ou $B$, por exemplo.

A estatística $\chi^2$ tem o valor observado de

$$\chi^2_{obs}=\frac{(85-84)^2}{84}+\frac{(35-36)^2}{36}+\frac{(55-56)^2}{56}+\frac{(25-24)^2}{24}=0.099 \stackrel{H_0}{\sim} \chi^2_{1}$$

Usando o nível de significância $\alpha=0.05$, o valor crítico é $\chi^2_{crit} = \chi^2_{1, 0.05} = 3.84$.

Como $\chi^2_{obs}= 0.099 < 3.84 = \chi^2_{crit}$, não rejeitamos a hipótese nula de indepêndencia.

Existe associação entre obter no mínimo 5 nos exercícios do Moodle e obter no mínimo 5 na prova 1 de ME414?

As notas de 453 alunos matriculados nas turmas de ME414 no 2S2015 foram consideradas. Os seguintes resultados foram obtidos:

Nas situações em que utilizamos os testes de independência, o esquema de amostragem utizado foi baseado numa amostra aleatória de tamanho $n$ que é classificada com respeito a duas características simultaneamente.

Nesse caso, as frequências marginais totais (totais por linhas e totais por colunas) são variáveis aleatórias, pois a cada nova amostragem, não temos como saber de antemão quais serão os valores dos totais por linhas/colunas.

Se o esquema de amostragem for de dividir a população em duas subpopulações de acordo com as categorias de uma característica e selecionar uma amostra de um tamanho pré-determinado para cada subpopulação, então esta será uma situação de tabela de contingência com margens fixas.

Por exemplo, no caso do problema de filiação partidária, poderíamos selecionar amostras aleatórias de tamanho $200$ entre afiliados do partido $A$ e $300$ dentre os afiliados do partido $B$ e se classificaria essas amostras de acordo com a atitude (favorável, indiferente ou contrário).

O interesse então é estudar as proporções nessas categorias para determinar se elas são aproximadamente iguais para as diferentes subpopulações. Ou seja, queremos testar se as subpopulações são homogêneas.

A hipótese nula de iqualdade das categorias $B$ para as $r$ subpopulações é:

$$H_0: w_{1j}=w_{2j}= \cdots = w_{rj}, \mbox{ para todo } j=1,2, \ldots c.$$

Sob $H_0$, a probabilidade comum da categoria $B_j$ pode ser estimada do conjunto de amostras notando que de um total de $n$ elementos amostrados, $n_{0j}$ possuem a característica $B_j$, daí a probabilidade estimada fica

$$\hat{w}_{1j}=\hat{w}_{2j}= \cdots =\hat{w}_{rj}= \frac{n_{0j}}{n}$$

A frequência esperada estimada na componente $(i,j)$ sob $H_0$ é:

$$\begin{aligned} E_{ij} &= (\mbox{Número de $A_i$ amostrados}) \times (\mbox{Probabilidade de $B_j$ dentro de $A_i$}) \\ &=n_{i0} \hat{w}_{ij}=\frac{n_{i0}n_{0j}}{n} \end{aligned}$$

A estatística do teste é dada por:

$$\chi^2= \sum_{r \times c \text{ componentes }} \frac{(n_{ij}-E_{ij})^2}{E_{ij}}$$ que sob $H_0$ segue uma distribuição $\chi^2$ com $(r-1)\times(c-1)$ graus de liberdade.

Pode-se observar que as fórmulas e os graus de liberdade dessa seção são iguais ao da seção anterior, somente o método de amostragem e a formalização da hipótese nula são diferentes.

Valor Crítico: Para um nível de significância $\alpha$, encontrar o valor crítico $\chi^2_{crit}$ na tabela Chi-quadrado tal que $P(\chi^2_{(r-1)(c-1)} \geq \chi^2_{crit}) = \alpha.$

Conclusão: Rejeitamos $H_0$ se $\chi_{obs}^2 \geq \chi^2_{crit}.$

Foi feita uma pesquisa para determinar a incidência de alcoolismo em diferentes grupos profissionais.

Separadamente, um amostra aleatória entre religiosos, educadores, executivos e comerciantes foi coletada.
Os dados são apresentados na tabela:

$$w_{ij}=P(B_j| A_i)= \text{ probabilidade de } B_j \text{ dentro da subpopulação } A_i.$$

$H_0: w_{1j}=w_{2j}= \cdots = w_{rj}$, para todo $j=1,2, \ldots c.$

Tabela de contingência de alcoolismo vs profissão: frequência relativa por linha.

Gráfico de barras de alcoolismo vs profissão: frequência relativa por linha.

A frequência esperada estimada na componente $(i,j)$ sob $H_0$ é

$$E_{ij}=\frac{n_{i0}n_{0j}}{n}$$

Tabela de frequências esperadas, segundo a hipótese nula de homogeneidade:

Representando por $p_1, p_2, p_3$ e $p_4$ as proporções de alcoólatras na subpopulação de religiosos, educadores, executivos e comerciantes, respectivamente, queremos testar a hipótese:

$$H_0: p_1= p_2 = p_3 = p_4 \quad \mbox{vs} \quad H_a: \mbox{pelo menos uma proporção é diferente}$$

A estatística observada é:

$$\chi^2_{obs}= \frac{(32-58.25)^2}{58.25}+ \cdots + \frac{(267-282.04)^2}{282.04}=20.6 \stackrel{H_0}{\sim} \chi^2_{3}$$

Usando o nível de significância $\alpha=0.05$, o valor crítico é $\chi^2_{crit} = \chi^2_{3, 0.05} = 7.81$. Como $\chi^2_{obs}= 20.6 > 7.81 = \chi^2_{crit}$, rejeitamos a hipótese nula de homogeneidade.

Como a hipótese nula foi rejeitada verificamos que há indícios de que a proporção de alcoólatras nas classes profissionais não é homogênea.

O Google está constantemente elaborando experimentos para testar novos algoritmos de busca. Por exemplo, o Google pode estar interessado em testar 3 algoritmos usando uma amostra aleatória para cada um: 5000 buscas feitas com o algoritmo atual foram selecionadas ao acaso, 2500 buscas feitas com o algoritmo teste 1 foram selecionadas ao acaso e 2500 buscas feitas com o algoritmo teste 2 foram selecionadas ao acaso.

Como avaliar qual o melhor algoritmo? É preciso definir alguma medida.

No caso, o Google irá avaliar se o usuário clicou em um dos links da busca e depois não realizou uma nova tentativa de busca ou se ele depois realizou nova tentativa (indicando que a primeira busca não foi bem sucedida).

Objetivo: 3 algoritmos têm a mesma performance, isto é, a proporção de buscas que não são refeitas é a mesma para os três algoritmos?