télécharger 156.56 Kb.
|
ESINSA Traitement Statistique du Signal 4-ème année 1999/2000 Maria João RENDAS Théorie des Probabilités Espace de Probabilités. Probabilités Conditionnelles. La loi de Bayes. Loi de la probabilité totale. Indépendance. La loi des Grands Nombres. Variables aléatoires. Fonction de répartition. Densité de probabilité. Densités conjointes et conditionnelles. Moments. Moments croisés. Vecteurs aléatoires. Processus Stochastiques Définition. Caractérisation d'ordre N. Stationnarité. Ergodicité. Moments. Processus Gaussiens. Théorème de Mercer, représentation de Karhunen-Loève. Représentation spectrale. Processus blancs. Echantillonnage. Interaction avec les Systèmes Linéaires Invariants dans le Temps. Equations différentielles et modèles d'état. Modèles paramétriques (AR, MA, ARMA). Processus Markoviens. Théorie de la Décision Tests d'hypothèses. Tests de Bayes. Rapport de Vraisemblance. Statistique suffisante. Tests de Neyman-Pearson. ROC. Tests simples et composés. Tests UMP. Rapport de Vraisemblance Généralisé. Détection d'un signal dans un bruit: le filtre adapté. Théorie de l'estimation. Estimation de paramètres déterministes. Biais et variance d'estimation. Estimateurs sans biais à variance minimale. Maximum de vraisemblance. Borne de Cramer-Rao. Consistance et efficacité. Estimation de paramètres aléatoires: coût de Bayes. Erreur quadratique, moyenne conditionnelle et principe d'orthogonalité. Maximum a posteriori. Filtre de Wiener. Filtre de Kalman. Prédiction linéaire, algorithme de Levinson. 1. Théorie des Probabilités La théorie des probabilités permet de modéliser quantitativement l'incertitude. Intuitivement, la probabilité d'un événement est une mesure normalisée (entre 0 et 1) de la vraisemblance de que cet événement se produise : une petite valeur de la probabilité indique qu'il est extrêmement invraisemblable que l'événement se vérifie, et les valeurs de probabilité près de 1 indiquent un événement presque certain. L'utilisation de la théorie des probabilités pour la déduction de certaines caractéristiques d'un phénomène ne peut être appréciée entièrement sans un approfondissement de son étude. Cependant, l'exemple suivant permet déjà d'apprécier le rôle important de la notion de probabilité. Un chercheur, après avoir étudié plusieurs rapports publiés dans la dernière décennie, trouva qu'environ 30% de la population dans le groupe 20-30 ans a un problème d'excès de poids. Le chercheur se demande si ce pourcentage a changé ou s'il reste approximativement constant. Pour essayer de répondre à cette question, il organisa une enquête dans laquelle il observa 100 personnes, ayant constaté qu'au moins 45 de ces 100 personnes avaient un poids excessif. Face à ce résultat, est-ce possible d'admettre que le pourcentage de 30% se maintient? Evidemment, l'observation de plus de 45% de personnes avec excès de poids parmi un groupe de 100 personnes peut toujours se produire, indépendamment du pourcentage de personnes obèses, et donc elle ne peut pas formellement invalider ou valider l'hypothèse initiale, c’est-à-dire, démontrer ou contredire l'hypothèse d'un pourcentage de 30% d'obèses dans la population étudiée. Cependant, cette observation permet d'associer un degré de possibilité à la validité de l'hypothèse : acceptons hypothétiquement que le pourcentage de 30% est correct. Alors, la théorie de probabilités nous permet de calculer quelle est la probabilité, pour une population avec 30% d'obèses, d'en observer au moins 45 dans un ensemble de 100 personnes. Si la valeur de cette probabilité est très petite (par exemple 0.005) alors, le chercheur aura observé un ensemble extrêmement non représentatif de la population. Si le choix des personnes a été fait au hasard, alors l'observation contredit fortement l'hypothèse de 30% d'obèses et permet de la mettre en doute . L'exemple précédant est un exemple de problèmes de décision, où on doit choisir une parmi plusieurs hypothèses (dans ce cas deux hypothèses sont possibles: que le pourcentage de 30% est correct, contre l'hypothèse de qu'il ne représente plus l'ensemble de la population), face aux résultats d'une expérience aléatoire (l'observation du nombre de personnes obèses parmi un groupe de 100 personnes prises au hasard). Il nous montre le besoin de savoir associer à des événements (dans le cas, l'observation d'au moins 45 personnes obèses) la valeur de sa probabilité. Souvent, c'est le problème inverse qui est d'intérêt: étant donné un ensemble de données sur une population, on souhaite déterminer ses caractéristiques générales. In s’agit dans ce dernier cas de problèmes d’estimation de paramètres. 1.1 Espace des réalisations et événements La notion de probabilité est appropriée pour des situations où il existe une incertitude sur le résultat d'une expérience avant qu'elle ne soit réalisée. Par exemple, on peut considérer la probabilité pour qu'il pleuve demain. L'incertitude associée à cet événement disparaîtra à la fin de la journée du lendemain. C'est encore un outil indiqué pour décrire des expériences qui, répétées (apparemment) sous les mêmes conditions, produisent des résultats variables (par exemple la qualité de liaisons téléphoniques qui utilisent le même équipement de communication, mais effectuées à des instants différents, ne sera pas la même). On peut ainsi dire qu'une expérience aléatoire est le moyen de décrire des données produites par un phénomène qui présente de la variabilité dans les résultats engendrés. On introduit d'abord les notions d'espace des réalisations et d’événement. L'espace des réalisations est l'ensemble de tous les résultats possibles d'une expérience aléatoire, et sera représenté par S. Chaque résultat distinct possible est appelé événement simple, ou élémentaire, ou on dira encore qu'il est un élément de l'espace des réalisations. On donne quelques exemples d'expériences aléatoires ainsi que de l'espace des réalisations qui leur est associé: (a) Le sexe des deux premiers bébés qui seront nés demain à Nice. S={FF,FG,GF,GG} où F et G représentent fille et garçon, respectivement. (b) On donne à boire à 10 personnes du café soluble et de l’express, et on note le nombre de personnes qui préfèrent le café soluble. S={0,1,2,...,10}. (c) On administre à des malades qui souffrent d'une maladie virale un antibiotique, jusqu'à ce qu'un d'entre eux manifeste une réaction néfaste. S={R, NR, NNR, NNNR, .....} où R et N représentent normale (sans réaction) et réaction, respectivement. (d) On donne à un enfant une certaine dose de vitamines, et on enregistre la variation de son poids et sa taille au bout de 12 semaines. S={(x,y):x est non-négatif et y est positif, nul ou négatif} où x est la taille de l'enfant et y la variation de son poids Les éléments de l'espace des réalisations représentent la partition la plus fine que l'on puisse considérer de l'espace des réalisations. Chaque fois que l'on effectue une expérience, un et un seul événement élémentaire peut se produire. Les événements élémentaires peuvent, cependant, être combinés pour constituer des événements composés, qui correspondent, de cette façon, à un ensemble événements élémentaires qui possèdent une certaine propriété commune. Par exemple, si on considère l'exemple (a) antérieurement décrit, événement "naissance d'une seule fille" est un événement composé A qui regroupe deux événements élémentaires: A={FG,GF}. La complexité de l'espace des réalisations dépend de la nature de l'expérience considérée. Dans les exemples (a) et (b) antérieurement présentés, l'espace des réalisations est fini. L'expérience (c) nous donne, par contre, l'exemple d'une situation où l'espace des réalisations est dénombrable infini. Dans ces deux cas, on dit que l'espace des réalisations est discret. Finalement, le dernier exemple (d) nous montre une situation où l'espace des réalisations est continu. 1.2 La probabilité d'un événement La façon la plus intuitive d'introduire la probabilité d'un événement est donnée par l'approche fréquentielle. Elle consiste à déterminer la probabilité d'un événement comme la fréquence limite de son occurrence dans la réalisation répétée d'un grand nombre d'expériences. On représente la probabilité associée à l’événement A par P(A). ![]() où N est le nombre d'éléments de S et ![]() Finalement, ces deux approches intuitives de la définition de probabilité ont été remplacées par une définition axiomatique d'espace de probabilités, qu'on présente par la suite. Définition. Espace de probabilités (S,F,P) (Kolmogoroff, 1933) Un espace de probabilités formel consiste dans la définition de trois entités: (S, F, P) où (i) S est l'espace des réalisations; (ii) F est une famille événements en S: ![]() (a) ![]() (b) ![]() (iii) P est une mesure de probabilité définie sur les éléments de F, qui satisfait les axiomes suivants: (a) ![]() (b) ![]() (c) ![]() 1.3 Composition événements Le dernier axiome des probabilités indique comment on peut calculer la probabilité de l'union (opération logique ou) de deux événements mutuellement exclusifs (dont l'intersection est vide). Cependant, on est souvent intéressé par le calcul de la probabilité de l'union ou de l'intersection (opération logique et) événements qui ne sont pas nécessairement des sous-ensembles disjoints de l'espace des réalisations. Quand on applique un stimulus à un animal, il existe seulement deux réponses possibles: soit l'animal répond à la stimulation (R), soit il ne répond pas (N). Considérons maintenant une expérience qui consiste à stimuler trois animaux et à observer leur réponse. Pour cette expérience, l'espace des réalisations est S = {NNN,NNR,NRN,RNN, NRR, RNR, RRN, RRR}. Trois événements composés où l'on peut être intéressés sont · A: un seul animal répond · B: le premier animal répond · C: le deuxième et troisième animaux ne répondent pas. On constate facilement que ces événements sont donnés par · A={RNN, NRN, NNR} · B={RNN, RRN, RNR, RRR} · C={RNN, NNN} Dans cet exemple, les événements A, B et C ne sont pas disjoints. Les lois de composition associées à l'opération logique ou (occurrence de l'un ou de l'autre événement, qui correspond à considérer l'union des ensembles qui définissent chaque événement) et à la négation (absence d'une certaine propriété, qui correspond à considérer l'ensemble complémentaire) sont facilement déduites du fait que la probabilité de l'union de deux événements disjoints est la somme des probabilités des événements originels. ![]() où ![]() 1.4 Probabilité conditionnelle La probabilité d'un événement (le degré de vraisemblance de l'occurrence de cet événement) est souvent modifiée quand on apprend qu'un autre événement s'est produit (par exemple, la probabilité d'entendre un tonnerre pendant un orage change soudainement si on voit un éclair...). La nouvelle valeur de la probabilité d'un événement, A quand on sait que l'événement B s'est produit, est la probabilité conditionnelle d'A étant donné B, et est représentée par ![]() En fait, l’opération de conditionnement est équivalente à une redéfinition de l’espace des réalisations, qui est contraint au sous-ensemble de l’espace des réalisations initial où l’événement conditionnant est vérifié. Dans cette optique, il est clair que pour les événements de ce nouveau espace des réalisations, la probabilité conditionnelle est une mesure de probabilité à part entière, et satisfait donc toutes les propriétés énoncées dans la section 1.2. Un groupe de cadres est classé selon son poids et l'incidence d'hypertension. Les proportions dans les différentes catégories sont données par le tableau suivant:
Si l'on sait qu'une personne est obèse, alors les catégories correspondantes à la deuxième et troisième colonnes n'ont pas d'intérêt. On peut conclure de ce tableau, par exemple, qu'étant donné qu'une certaine personne est obèse, la probabilité pour qu'elle souffre d'hypertension passe de la valeur (non-conditionée) de 0.2 à 0.1/0.25=0.4, c’est-à-dire deux fois supérieures. L'exemple précédent illustre l'application de la formule qui défini les probabilités conditionnelles: Définition Probabilité conditionnelle La probabilité conditionnelle de l'événement A étant donné événement B est, par définition: ![]() On vérifie facilement que cette expression est en accord avec l'interprétation fréquentielle des probabilités. Propriétés 1. Si ![]() 2. Si ![]() 3. Les probabilités conditionnelles satisfont les axiomes de mesure de probabilité. La dernière propriété a comme conséquence que chaque événement A de la famille F défini un nouvel espace de probabilité (S,F,P(.|A)). 1.5 Indépendance statistique Deux événements sont indépendants si leurs probabilités ne changent pas quand on conditionne l'un à l'autre. Dans ces conditions, l'information que B s'est produit ne change pas la vraisemblance de l'occurrence de A: ![]() Définition Deux événements A et B sont statistiquement indépendants si ![]() Propriété Si (A,B) sont statistiquement indépendants, alors ![]() ![]() Exercice: On lance une pièce deux fois. La pièce est symétrique, et donc les 4 événements élémentaires possibles sont équiprobables. On définit les trois événements suivants: · Face dans le premier lancement · Pile dans le deuxième lancement · Même résultat (pile ou face) dans les deux lancements. Quels sont les pairs événements indépendants? Réponse: Les 3 pairs événements possibles sont indépendants. On remarque que la notion d'indépendance statistique ne coïncide pas avec celle d’événements mutuellement exclusifs. En effet, si A et B sont mutuellement exclusifs, alors leur intersection est vide et donc ![]() ![]() Exercice: Un espace de réalisations est constitué de quatre événements élémentaires S= ![]() ![]() ![]() ![]() ![]() ![]() 1. 6 Loi de Bayes La loi de Bayes lie les probabilités conditionnelles de deux événements. Soient ![]() ![]() ![]() La loi de Bayes est un des résultats statistiques les plus fréquemment utilisés en traitement statistique du signal. 1.7 Loi de la probabilité totale Soit ![]() (i) ![]() (ii) ![]() Alors, pour événement en S, ![]() 1.8 La loi des grands nombres La loi des grands nombres établit le lien entre les approches fréquentielle et axiomatique de la théorie des probabilités. Théorème (Loi des grands nombres) Soit A un événement en S et p sa probabilité : p=P(A). Soit n le nombre de fois que l'on répète la même expérience, et k le nombre d'occurrences de A. Alors, ![]() Pour la démonstration de ce théorème, voir Papoulis, Probability, Random Variables and Stochastic Processes, page 52. 2. Variables aléatoires discrètes et continues Une variable aléatoire est un codage de l'espace des réalisations, qui fait correspondre à chaque événement élémentaire une valeur numérique (réelle). On associe ainsi à chaque résultat possible ![]() ![]() ![]() Les variables aléatoires héritent les caractéristiques de l'espace des réalisations original, et seront discrètes ou continues selon que S est discret ou continu. Les variables aléatoires discrètes sont beaucoup plus faciles à caractériser que les variables aléatoires continues, et on les étudiera avant d'aborder l'étude des variables aléatoires continues. Une v.a. (variable aléatoire) discrète ![]() ![]() Exemple: un magasin solde 15 radios, dont 5 sont défectueuses. Si on essaye trois radios différentes, prises au hasard parmi les 15, quelle est la distribution de probabilité de la variable aléatoire X= nombre de radios défectueuses détectées ? Réponse: P(x=0)=24/91; P(X=1)=45/91; P(x=2)=20/91; P(x=3)=2/91. Exemple: la probabilité qu'un singe ait une réaction positive pendant un certain test est 1/3. On effectue des expériences jusqu'à ce que la réaction soit positive, et on définit la variable aléatoire X comme le nombre d'expériences réalisées. Déterminer la distribution de probabilité de X. Réponse: P(X=x)= ![]() 2.1 Fonction de répartition Définition (Fonction de répartition) La fonction de répartition de la variable aléatoire X est, par définition ![]() c’est-à-dire, la probabilité pour que la variable aléatoire prenne des valeurs inférieures à une certaine valeur x. Des propriétés des probabilités, résultent un certain nombre de propriétés de la fonction de répartition: · ![]() · ![]() Exercice: Démontrer ces deux propriétés à partir des axiomes de la mesure de probabilité. Exemple. Considérons l'exemple de la page 5, et prenons la variable aléatoire définie par: ![]() Selon la table de la page 5, la fonction de répartition de X est ![]() ![]() La fonction de répartition permet le calcul de la probabilité pour que la v.a. prenne des valeurs dans un intervalle: ![]() Dans le cas de l' exemple précédent, ![]() Comme c'est évident de l'exemple antérieur, la fonction de répartition n'indique pas directement quels sont les événements les plus probables. Effectivement, ces événements ne correspondent pas aux valeurs de x pour lesquelles ![]() On considère maintenant le cas de variables aléatoires continues, qui prennent des valeurs dans un intervalle, comme par exemple, les variables aléatoires associées à des mesures de température, précipitation, temps d'attente devant un guichet, etc. Les fonctions de répartition de ces variables sont des fonctions continues. Dans ce cas, on peut dériver la fonction de répartition, et obtenir ainsi directement des informations sur les valeurs les plus probables de ces variables. 2.2 Densité de probabilité Définition Soit X une variable aléatoire de fonction de répartition ![]() ![]() De cette définition, et du fait que ![]() ![]() Propriétés · ![]() · ![]() Exercice: démontrer ces deux propriétés des densités de probabilité, c’est-à-dire, qu'elles sont des fonctions non-négatives avec aire unitaire. La probabilité d'un intervalle est aussi directement calculable par intégration de la densité de probabilité. ![]() Densité de probabilité de variables aléatoires discrètes Etant donné que, comme on l'a vu, la fonction de répartition des variables aléatoires discrètes n'est pas continue, elles ne possèdent pas, en sens strict, une densité de probabilité. Cependant, et si l'on accepte le symbole de Dirac comme la dérivée d'une fonction échelon, on peut écrire la densité de probabilité des variables aléatoires discrètes comme une somme de Diracs, centrés sur les valeurs possibles de la variable, et pondérés par la probabilité de la valeur correspondante: ![]() Exemple: la densité de probabilité pour l'exemple précédent est ![]() 2.3 Loi binomiale, de Poisson, de Gauss On présente dans cette section quelques types de variables aléatoires souvent utilisés. 2.3.1 La loi binomiale La loi binomiale a été déjà introduite dans un des exemples de la section précédente. C'est une variable aléatoire discrète qui peut être définie comme le nombre x de succès observés quand on réalise n répétitions indépendantes d'une expérience (dont les résultats possibles sont succès, avec probabilité p, ou échec avec probabilité 1-p). Comme les différentes répétitions sont indépendantes, la probabilité d'occurrence de x succès dans un total de n répétitions, par exemple pour x=3, n=5, la probabilité pour que la séquence ![]() se produise est, évidemment, ![]() Comme il y a ![]() ![]() où ![]() Cette loi de probabilité est connue par le nom de loi binomiale, et prend son nom du fait qu'elle est basée sur les coefficients de l'expansion binomiale ![]() On peut démontrer facilement que la valeur moyenne de cette loi est np. Sa variance est npq. 2.3.2 La loi de Poisson La loi de Poisson décrit une variable aléatoire discrète qui prend des valeurs dans les entiers positifs: ![]() La loi de Poisson peut être dérivée comme la limite d'une loi binomiale, quand ![]() ![]() ![]() Exemple. Pour effectuer un contrôle de qualité, on procède au tirage au hasard de 20 objets dans une fabrication industrielle. Supposons savoir que 5% des objets de cette fabrication sont défectueux. Le nombre N d'objets défectueux dans l'échantillon prélevé suit alors une loi binomiale de paramètres n=20 et p=0.05. Comparer pour des valeurs de x entre 0 et 4 la qualité de l'approximation de la loi binomiale par une loi de Poisson de paramètre ![]() Exercice: Montrer que le paramètre ![]() 2.3.3 La loi Gaussienne La densité Gaussienne de paramètres ![]() ![]() ![]() La fonction de répartition correspondante à cette densité peut être trouvée tablée dans de nombreuses références. La loi de Gauss de paramètre ![]() ![]() ![]() où ![]() 2.3.4 Densité uniforme La densité uniforme sur un intervalle réel fini ![]() ![]() Les erreurs de quantification sont en général bien décrites par cette loi. 2.3.5 Loi exponentielle Les densités exponentielles décrivent des variables aléatoires qui ont leurs valeurs centrées autour de zéro: ![]() Cette loi est par exemple couramment utilisée pour décrire le temps de transmission d'un message en systèmes de communication. 2.4 Espérance d'une variable aléatoire Définition L'espérance (ou valeur moyenne) d'une variable aléatoire X admettant la densité ![]() ![]() pour les variables aléatoires continues, et par ![]() pour les variables aléatoires discrètes. L’espérance de la variable aléatoire est le centre de gravité de la fonction de densité de probabilité. Exemple. Considérer encore l'exemple de la page 5. La valeur moyenne de la variable aléatoire définie dans la page 8 est ![]() ce qui est bien en accord avec notre notion intuitive qui est que le plus probable est d'observer des personnes normales. Exemple. Une urne contient des balles numérotées de 1 à N. Soit X le plus grand numéro dans un échantillon de dimension n obtenu avec remplacement. La probabilité de l’événement ![]() ![]() Cet événement peut s’écrire comme l’union de deux événements disjoints : ![]() et donc ![]() On peut donc calculer ![]() Pour N grand, cette expression peut être approximée par ![]() La valeur la plus élevée peut ainsi être utilisée pour estimer la valeur inconnue N. Propriété Soit T un opérateur linéaire, c.a.d. qui vérifie le principe de superposition: ![]() Alors, ![]() Exercice: Démontrer cette propriété. 2.5 Moments d'ordre 2 L’espérance d'une variable aléatoire nous indique tout simplement la position de son centre de gravité, mais ne nous dit rien sur la forme de la densité. Les moments d'ordre 2 donnent une information sur la dispersion des valeurs de la variable aléatoire. 2.5.1 Valeur quadratique moyenne La valeur quadratique moyenne d'une variable aléatoire X qui admet une densité de probabilité ![]() ![]() Pour les variables aléatoires discrètes, la définition correspondante est ![]() Exercice: déterminer la valeur quadratique moyenne de la variable aléatoire définie dans la page 8. 2.5.2 Variance La variance d'une variable aléatoire X qui admet une densité de probabilité ![]() ![]() On démontre facilement que ![]() Exercice: Démontrer l'égalité précédente. Exercice: Démontrer que pour une Gaussienne de paramètres ![]() ![]() Propriétés (i) ![]() (ii) ![]() (iii) ![]() A la racine carrée de la variance on donne le nom d'écart type. La moyenne, la valeur quadratique moyenne et la variance sont des cas particuliers de définitions plus générales, de moment d'ordre n et de moments centrés d'ordre n, qui sont définis par ![]() ![]() et par ![]() respectivement. On constate facilement que ![]() 2.6 Loi des grands nombres Les lois des grands nombres s’intéressent aux limites de sommes du type ![]() quand le nombre de variables, n, est grand. |
![]() | ![]() | ||
![]() | ![]() | «elle est entièrement déterminée par la donnée de et des probabilités des événements [X=x] pour X appartenant à» | |
![]() | «normale» s’explique par le fait que cette loi décrit et modélise des situations statistiques aléatoires concrètes et naturelles | ![]() | «Succès» et «Echec». Si on note p la probabilité d’un succès, alors la probabilité d’un échec est égale à q=1-p |
![]() | ![]() | «grand» et si p n’est «ni trop voisin de 0, ni trop voisin de 1», alors la loi binomiale B(n;p) admet pour approximation la loi normale... | |
![]() | «normale» s’explique par le fait que cette loi décrit et modélise des situations statistiques aléatoires concrètes et naturelles | ![]() |