Régression statistique
La régression statistique est une méthode qui décrit et quantifie la relation entre une variable que l’on cherche à expliquer ou à prévoir (par exemple le chiffre d’affaires) et une ou plusieurs variables explicatives (par exemple les dépenses de publicité). Elle permet d’estimer l’équation de la courbe ou de la droite qui ajuste le mieux un nuage de points.
Origine du terme
Le mot vient des travaux du savant britannique Francis Galton, à la fin du XIXe siècle. En comparant la taille des parents et celle de leurs enfants, il observa que les enfants de parents très grands ou très petits avaient en moyenne une taille plus proche de la moyenne générale : il parla de « régression » vers la moyenne. La méthode de calcul la plus utilisée, celle des moindres carrés, est plus ancienne : elle a été publiée par Adrien-Marie Legendre en 1805 et développée par Carl Friedrich Gauss.
La droite des moindres carrés
Lorsque le nuage de points est à peu près rectiligne, on cherche une droite d’équation y = a x + b. La méthode des moindres carrés choisit les coefficients a et b qui rendent minimale la somme des carrés des écarts verticaux entre les points observés et la droite. On obtient :
- la pente : a = covariance(x, y) / variance(x) ;
- l’ordonnée à l’origine : b = ȳ − a x̄, de sorte que la droite passe par le point moyen du nuage.
Exemple : pour les trois points (1 ; 2), (2 ; 4) et (3 ; 5), les moyennes sont x̄ = 2 et ȳ = 11/3, la covariance vaut 1 et la variance de x vaut 2/3. La pente est donc 1,5 et l’ordonnée à l’origine 11/3 − 3 = 2/3 : la droite de régression est y = 1,5 x + 0,67 environ.
Mesurer la qualité de l’ajustement
Le coefficient de détermination, noté R2, indique la part de la variance de la variable expliquée dont rend compte le modèle. Il varie entre 0 et 1 : proche de 1, la droite résume bien le nuage ; proche de 0, elle n’explique presque rien. Dans la régression linéaire simple, il est égal au carré du coefficient de corrélation linéaire. Dans l’exemple précédent, il vaut environ 0,96.
Les différents types de régression
- régression linéaire simple : une seule variable explicative et une relation en ligne droite ;
- régression multiple : plusieurs variables explicatives ;
- régression non linéaire : relation en courbe (exponentielle, logarithmique, polynomiale…), parfois ramenée au cas linéaire par un changement de variable ;
- régression logistique : la variable à expliquer ne prend que deux valeurs (oui ou non, défaut ou remboursement).
Usages et précautions
En gestion, la régression sert à prévoir les ventes à partir d’une tendance, à estimer l’effet du prix sur la demande ou à séparer, dans un coût total, la part fixe et la part variable en fonction du volume d’activité. Deux précautions s’imposent. Une relation statistique, même forte, ne prouve pas un lien de cause à effet. Et une droite ajustée sur des données passées ne garantit rien en dehors de la plage observée : extrapoler loin des données expose à de fortes erreurs.
vous devez être connecter pour déposer un commentaire connecter