Statistique
Statistiques
Statistiques
-
- 1 / 453
-
Cartes-fiches
Analyse de régression : multinomiale
≥ 2 VI (continue ou catégorielle), 1 VD polytomique (plus de 2 catégories)
Analyse de variance simple, multiple (ANOVA)
VI catégorielles, 1 VD continue
$Analyse de variance : ANCOVA analyse de covariance
VI catégorielles (avec 1 VD continue non contrôlée par l’expérimentateur), 1 VD continue
Régression linéaire simple : quoi ?
- corrélation: liaison symétrique entre 2 variables
- les 2 variables co-varient ensemble: → ici relation linéaire positive
- Avec une régression linéaire, on aimerait avoir une autre information:
- Prédire les notes (=VD) en fonction du QI (VI, qu’on manipule)
Régression linéaire simple : objectif
Objectif : prédire le niveau moyen d’une variable dépendante en fonction du niveau de la variable indépendante à MAIS PAS DE RELATION CAUSALE ! C’est une association !
Régression linéaire : asymétrique =
X prédit Y et pas l’inverse. →On va essayer de modéliser ce lien par une équation: E(Y│X=x) = α+βx
E(Y│X=x) = α+βx : régression linéaire, alpha et beta ?
- α= point d’intersection de la droite de régression avec l’ordonnée
- βx = pente de la droite de régression: la valeur de β donne le nbre d’unité supplémentaire de y associé à une augmentation d’une unité de x
régression linéaire simple : pente B =
1) positive
2) négative
3) nulle
quand j’augmente 1 unit de x, de combien j’augemente d’unité y. Plus j’ai un chiffre élevé, plus j’ai une droite pentue.
- la pente βx est positive →relation linéaire positive
- la pente βx est négative →relation linéaire négative
- la pente βx est nulle →relation inexistante
Régression linéaire simple : de quoi il faut tenir compte ?
- → Yi= β0 + βxi + ε
MAIS il faut tenir compte de l’erreur de prédiction(ε)
= Résidu (pour x ou y raison, il y a un léger décalage, 1m60, 60kg mais on a des décalages, variation autour de la droite de prédiction.
Régression linéaire : calcul des paramètre : quoi ?
- Trouver la meilleure fonction linéaire ajustée
- Pour cela : se référer aux erreurs de prédiction
- Trouver une droite qui minimise ce risque d’erreur
- Mais on ne peut pas se contenter de minimiser la somme des erreurs !
- Pour cela : on va les monter au carré à critère ou estimateur des moindres carrés (sinon cela s’annulerait)
- Objectif : avoir le plus petit nombre
- Estimation des paramètres : En fonction de la dispersion des points autour de la droite, l’ajustement peut être +/- bon. (elipse)
- Pour trouver la meilleur façon de faire on va le faire via le coefficient de détermination R2 = pourcentage de variance expliqué par le modèle
Procédure de la régression linéaire = 2
- Estimation des paramètres : alpha, beta, résidus et autres coefficients
- Inférence à on fera des tests d’hypothèses sur les différents paramètres
Régression linéaire : condition d'application pour la simple : 6 hypothèses
- Hypothèse 1 : L’existence :
- H2 : Les sujets sont indépendants les uns des autres
- H3 : L’exogénéité : = qui provient de l’extérieur, du dehors
- Hyp 4 : La linéarité :
- Hyp 5 : L’homoscédasticité :
- Hyp 6 : la normalité
Condition application régression linéaoire simple : Hypothèse 1 : L’existence :
- Il faut qu’il existe un lien entre les deux variables (analyse corrélation, comparaison de moyenne)
- Distribution bivariée pas forcément normale
Condition d’application du modèle de régression linéaire simple :
- H2 : Les sujets sont indépendants les uns des autres
- Si Indépendance violée : c’est dans la méthodologie que je vais voir ca
- Données répétées : études longitudinales
- Echantillonnage en cluster
Condition d’application du modèle de régression linéaire simple :
- H3 : L’exogénéité : = qui provient de l’extérieur, du dehors
- Entre l’erreur (ε) et le régresseur (Xi ou VI) (il faut qu’il y ait aucune association entre les 2)
- Corrélation et covariance = 0
- = l’erreur ne doit pas corréler avec les VI
- = présence d’une variable latente (non-mesurée) (il faut connaissance théorique !)
- →Les résidus doivent être indépendants
Condition d'application régression linéaire simple : H3 exogénéité : 3 situation ou l'hyp peut etre violé
- Problème des erreurs de mesure :
- Si VI est mesurée avec une erreur (questionnaire ou machine)
- cette erreur n’est pas spécifiée dans le modèle et sera capturée par les erreurs (ε)
- →les résidus vont corréler avec la VI
- Problème ‘d’une variable omise :
- Les autres régresseurs (=VI = prédicteurs) importants à intégrer sont les variables confondantes
- Si elles ne sont pas intégrées, les erreurs (ε) vont capturer leurs variabilités
- →les résidus vont corréler avec la VI
- Problème de la simultanéité :
- la VD (Yi) et la VI (Xi) varie simultanément
- Ex : durée hosp et survenue d’infection nosocomiale
Condition d’application du modèle de régression linéaire simple :
- Hyp 4 : La linéarité :
- Relation entre X et Y doit être linéaire (droite droite)
Condition d’application du modèle de régression linéaire simple : L’homoscédasticité :
- La variance des erreurs autour de la droite est constante
- Cela doit être en une marge constante
Condition d’application du modèle de régression linéaire simple :
- Hyp 6 : la normalité
- Les observations sont distribuées (conditionnellement à X) de façon normale autour de la droite de régression
Calcul des paramètres de la régression linéaire simple :
- Coefficient des moindres carrés (donc trouver la meilleure droite)
Coefficient des moindres carrées : estimation des coefficients
- beta 0 ou alpha :
beta 1 =
- Beta 0 ou alpha = coupe l’axe Y
- Beta 1 = pente
Calcul des paramètres de la régression : indice de dispersion
Le coefficient de détermination ou R2 (car on a alpha et beta)
Régression linéaire : indice de dispersion
Principe
- Principe: comparer le nuage de points par rapport à la droite de la régression avec celui par rapport à la moyenne de la variable y
- Permet d’évaluer l’efficacité du modèle pour prédire les données.
Indice de dispersion : 3 dispersions
- Dispersion totale
- Dispersion expliquée
- Dispersion non-expliquée
Régression linéaire :
Indice de dispersion : totale
- Dispersion totale = Valeur du sujet i –moyenne Y) : droite linéaire. Variance par rapport à la moyenne de y. Il n’y a pas d’association, donc = 0.
Régression linéaire :
Indice de dispersion : dispersion expliquée
Dispersion expliquée : y prédit par le modèle – moyenne de y
Régression linéaire :
Indice de dispersion : dispersion non expliquée
- Non-expliquée (résidu) = valeur sujet – valeur prédite par le modèle
Indice de dispersion : coefficient de détermination / R2 Si le modèle est bon =
- Si le modèle est bon : j’aurais une proportion de la valeur expliquée plus importante, que le résidu donc non expliqué
Calcul de R2 : combien ? quoi ?
Intuitivement , si le modèle est bon pour décrire la relation entre les deux variables, la somme des carrés expliqués doit prendre une grande proportion de la somme totale des carrés
R2 va de 0-1
Régression linéaire : test d'hypothèse : 2 étapes
- H0 : B1 = 0
- H1 : B1 =/= 0
Attention! On teste en premier lieu le R2. S’il est significatif, on admet qu’au moins un coefficient est significative.
Dans le contexte d’une régression linéaire simple, tester R2 revient à tester directement le coefficient β1 (2 on va tester B1)
- Test statistique F (Fisher) (= modèle / R2)
Régression linélaire : Décision test d'hyp
On rejette Ho si la statistique F que l’on a calculée est égale ou plus grande que celle indiquée sur la table.
- Si on rejette H0, on peut conclure que le modèle linéaire s’ajuste bien aux données. à Donc VI peut probablement prédire VD.
Commande stata : variable dépendante et indépendante
la variable dépendante doit être écrite en 1er : regress VD VI
Par convention VI et VD et X et Y =
Par convention y = dépendant et x indépendant
- la valeur de la VI(X) prédit parfaitement la VD(Y)
Régression multiple avec des variables indépendantes continues : quoi ?
- Une variable dépendante est rarement dépendante d’une seule variable
- Pour affiner la prédiction de la valeur de Y, plusieurs variables indépendantes doivent être intégrées
- Ex : durée de séjour lors d’une maladie chronique (age, statut, genre…)
Régression multiple avec des variables indépendantes continues : condition d'application
Condition d’application : idem que régression simple
Modèle de la régression linéaire multiples : formule ?
On aura plus une droite mais un plan
Régression multiples avec des variables indépendantes continues : Si on a deux VI
- B1 = mesure le changement moyen de y pour une unité de changement de x1 quand x2 ne change pas
- B2 = mesure le changement moyen de y pour une unité de changement de x2 quand x1 ne change pas
Corrélation ou corrélation partielle : (régression linéaire multiples)
- Corrélation : perason à quel point elles sont associées ou co-varient
- Partielles : tient compte d’une troisième variable
- Mesure la relation entre 2 variable (X, Y) en éliminant l’influence de la 3ème variable (Z)
- Permet le contrôle des corrélations trompeuses
- Révèle les relations sous jacentes entre X et Y
- On va pouvoir faire du nettoyage et prend que 2 sur 3 (on va contrôler la 3ème variable)
Corrélation partielle va permettre de ?
- De déterminer la variance dans les habiletés mathématiques due à l’âge
- D’éliminer (en tout cas de maintenir constante) la variance due à l’âge
- De déterminer la variance des habilités mathématiques due au poids sans l’effet de l’âge
Obtenir l’équation de la régression multiple :
- Même principe que dans la régression linéaire simple:
- méthode des moindres carrés
- somme des écarts entre la valeur réelle et la valeur estimée de Y en fonction des VI montée au carré est minimisée
- Somme des carrés des résidus est minimisée
- Puis à Evalluation du coefficient de détermination = R2 = indice de dispersion.
