Ils reviennent vous hanter : les maths.

[Gnom]

J'ai besoin d'un conseil en «maths». Je pourrais direct aller sur des forums genre futura-science, mais je suis sûr que j'aurais une réponse très rapidement et comme là tout de suite j'ai plus envie de jouer au mahjong que bosser ça m'embête un peu alors je préfère la poser ici.

Quels sont les outils permettant de quantifier et réduire l'erreur lors d'une mesure ? Juste quelques pistes, histoire que je sache ce que je cherche, genre le nom d'un mec qui a travaillé là-dessus et dont je pourrai trouver le travail.

Pour la quantification, il s'agit de comparer différents modes de fonctionnement d'un système de mesure pour choisir celui qui génère le moins d'erreur. Je peux faire de l'ordre d'un millier de mesure par secondes pour générer des données. La moyenne ne me semble pas pertinente vu que sur un grand nombre de mesure elle va tendre vers la bonne valeur, non ? Des approches genre écart-types seraient peut-être plus efficaces ?

Pour la réduction, il s'agit une fois que j'aurais choisi le mode de fonctionnement le plus fiable de réduire les erreurs qui resteront inévitablement. La moyenne semble être une première approche mais peut-être insuffisante : s'il y a quelques erreurs importantes ça risque d'être faussé. Peut-être serait-il plus malin d'identifier en premier les valeurs absurdes et les virer ? Des approches genre écart-types seraient peut-être plus efficaces ?

[Sn@ke]

Au boulot, on se sert beaucoup des percentiles pour nos statistiques de performances :
https://fr.m.wikipedia.org/wiki/Centile
Par exemple, le 95e percentile te permettra de déterminer la valeur moyenne correspondant à 95% de tes échantillons, ce qui élimine les valeurs extrêmes, qui sont sûrement minoritaires.

[Gnom]

Merci pour le tuyau, ça a l'air prometteur

[Koren]

Damn, c'est un sujet extrêmement vaste... J'en ai fait des heures avec des étudiants, et on ne faisait que gratter la surface.

Si tu as quelques souvenirs de mathématique niveau terminale / 1er cycle, tu peux déjà regarder les introductions à la théorie de la mesure expérimentale destinée aux premiers cycles universitaires (mais c'est de niveau assez variable), aux CPGE (=classes prépas) et aux agrégations de physique/chimie. Par exemple :
http://poisson.ens.fr/Ressources/incertitudes.pdf

Je ne m'avance pas sur la qualité du poly ci-dessus (je n'ai fait que le parcourir, mais ça a l'air d'être la même chose que la plupart des polycopiés du genre, que j'ai lu en nombre... et la source (ENS) est en principe fiable). Il y a toujours des trucs qui m'énervent dans ces polycopiés, notamment quantité d'hypothèses passées sous le tapis, mais il faut bien commencer par quelque chose.

Si tu veux des choses plus avancées, je dois pouvoir te retrouver ça, mais ça dépend ce que tu veux en faire (honnêtement, le poly du dessus doit suffire à pas mal d'utilisations "normales")

Quelques réponses plus précises :

Quels sont les outils permettant de quantifier et réduire l'erreur lors d'une mesure ?

Normalement, les mesures (enfin, mesurages, mais bon...) sont considérés comme un processus aléatoire : tu pars d'un phénomène réel défini par un certain nombre de paramètres, et en effectuant les mesures, tu en tires une série de valeurs partiellement aléatoire. Le but est de revenir aux paramètres du système à partir des valeurs obtenues.

Par exemple, tu veux la durée d'un phénomène, tu prends un chronomètre. En supposant le phénomène reproductible et d'une durée constante (il y a beaucoup à dire sur l'existence d'une valeur-vraie, surtout quand la physique est quantique, mais bon...), tu vas toujours obtenir sensiblement les mêmes durées, mais avec quelques différences en fonction du fait que tu presses un peu en avance ou en retard.

Autre exemple : tu as une lampe qui clignote, qui est allumé un temps 0<x<1 seconde, et éteinte le reste de la seconde. Tu prends 1000 photos à des instants aléatoires. Sur les photos, la lampe sera soit allumée, soit éteinte, naturellement de façon aléatoire. A partir du nombre N de photos où elle est allumée, tu peux vouloir en déduire x (la meilleure estimation sera x = N/1000, sous certaines conditions).

Bref, tu as le résultat d'un "processus aléatoire".

A partir de là, tout est basé sur le principe d'estimateurs.

Si tu prends le premier exemple où tu cherches une durée, sous certaines conditions statistique, un possible estimateur de la durée du phénomène sera effectivement la moyenne de toutes les mesures de durées que tu as faites.

Si tu veux savoir quelle erreur tu commets en utilisant la moyenne par exemple, tu as d'autres estimateurs qui cherchent à deviner, à partir des mesures, quelle erreur tu as sans doute commise. Cf l'écart-type, j'y reviens.


Il est difficile de dire quelle est le meilleur estimateur / la meilleure formule pour chacune de ces choses. Si je te demande quelle est la meilleure voiture, tu me diras que ça dépend si tu veux faire une course, tracter une caravane, franchir une rivière ou emmener tes enfants au cinéma. C'est exactement pareil pour les estimateurs.

Tu as des estimateurs dont l'espérance (en gros la moyenne des résultats qu'il te fournira) correspond à la bonne valeur. C'est plutôt une bonne chose, mais ils peuvent nécessiter beaucoup de mesures pour avoir une erreur pas trop grande. Tu as d'autres estimateurs qui te donnent moins de variations avec moins de mesures, mais qui donnent plus souvent des valeurs au-dessus de ce que tu cherches qu'en dessous, c'est-à-dire qu'en augmentant le nombre de mesures, tu ne tendras pas vers la grandeur que tu cherches à mesurer.

La moyenne ne me semble pas pertinente vu que sur un grand nombre de mesure elle va tendre vers la bonne valeur, non ?

La moyenne est là pour te donner une meilleure estimation de la valeur que tu cherches à mesurer que tu n'en auras en ne faisant qu'une seule valeur.

Souvent oui, elle tends vers la bonne valeur, mais pas toujours. Par exemple, si tu veux mesurer l'aire de carrés, que tu mesures le côté avec une règle, que tu mets les résultats au carré, et que tu fais la moyenne, ça ne tendra pas vers l'aire des carrés (il faut que tu fasses la moyenne des mesures des côtés, et que tu mettes au carré le résultat). Enfin bon, difficile de répondre dans l'absolu, mais généralement ça marche.

Des approches genre écart-types seraient peut-être plus efficaces ?

Oui, toujours dans certaines conditions, l'écart-type (enfin une des versions, tu verras qu'il y a plusieurs formules, c'est celle avec 1/(n-1) qui convient ici a priori) est, grossièrement, un bon estimateur des erreurs que tu commets lors des mesures.

Cette estimation de l'erreur, couplée avec le nombre de mesure, te permet de définir un intervalle de confiance, c'est-à-dire une zone dans laquelle tu as 95% ou 99% de chances que la valeur que tu souhaites mesurer se trouver.

Par exemple, tu peux, avec N mesures, affirmer qu'il y a 95% de chance que la durée de ton phénomène soit entre 9.2 secondes et 9.4 secondes. Les détails pour passer de l'écart-type à l'intervalle de confiance, tu en trouveras les idées de base dans un lien comme au-dessus. Tout n'est pas démontré (les mathématiques derrière sont complexes, niveau master au moins, mais c'est vraiment intéressant).

Dans la pratique, on n'a généralement pas besoin de savoir pourquoi telle ou telle formule convient. Le seul truc dommage, c'est qu'en fonction des situations, une formule ou une approche peut convenir mieux qu'une autre, et généralement les hypothèses ne sont pas clairement indiquées dans les ouvrages pour étudiants.

La moyenne semble être une première approche mais peut-être insuffisante : s'il y a quelques erreurs importantes ça risque d'être faussé.

Tout dépend complètement du processus de mesure. En général, la moyenne reste la meilleure solution si tu ne sais pas modéliser correctement le processus d'erreur.

Peut-être serait-il plus malin d'identifier en premier les valeurs absurdes et les virer ?

C'est une possibilité, mais encore faut-il être capable de reconnaître les valeurs absurdes, et si tu ne le fais pas de la bonne façon, la moyenne des valeurs restantes peut être à côté de la plaque. Donc difficile de s'avancer sans plus d'information.

La médiane plutôt que la moyenne peut être un autre estimateur, plus stable avec certains bruits/certaines erreurs de mesure, mais il faut être prudent.

Des approches genre écart-types seraient peut-être plus efficaces ?

Si tu parles de calculer l'écart-type pour déterminer les valeurs aberrantes, puis de reboucler, c'est quelque chose qui peut se faire, mais qui mathématiquement est très complexe à faire correctement...


Bon, j'ai tenté de mettre quelques idées rapidement, mais... est-ce que tu peux être plus précis sur ce que tu veux mesurer ? Ou bien est-ce de la curiosité ?

[Gnom]

Je peux être plus précis : je cherche à mesurer une tension qui rend compte de la valeur d'une des deux résistances d'un pont diviseur (plus précisément la résistance variable est composée de plusieurs résistances en parallèle, chacune étant contenue dans un petit bâton avec des contacts électriques, si tu vois ce que je veux dire ). J'ai un CAN branché sur un raspberry pour exploiter les résultats.

Au début je me suis dit que j'allais faire une centaine de mesures et pendre la moyenne, mais j'ai vu que j'avais toujours des variations, et en regardant le détail des valeurs je constate que certaines valeurs sont complètement à côté de la plaque (je me dis que c'est peut-être des faux-contacts). Du coup l'approche avec les percentile de Sn@ke me semble une base intéressante, mais je vais regarder ce que tu expliques aussi et puis peut-être tester plusieurs choses.

[Koren]

Ah, oui, je vois très bien... ^_^

Je comprends que tu aies besoin de précision, du coup, mais pas nécessairement d'une estimation scientifique de l'erreur. Plus d'une chose qui fonctionne.

Sauf erreur de ma part, tu es parti sur un pont série, avec d'un côté une résistance fixe, et de l'autre, N résistances en parallèle ?

Effectivement, dans ce cas, tu as un bruit lié aux défauts de contact, et il a la mauvaise idée de toujours jouer dans un sens (augmenter la résistance de l'association parallèle), ce qui rend la modélisation statistique compliquée.

Très "salement", j'aurais tendance à prendre la moyenne des 25% de mesures les plus hautes (ou les plus basses, selon le sens où tu as monté le pont)

J'avais dit de regarder ça, à l'occasion, tu me redonnes envie de le faire... Tu dois pouvoir mesurer de 0 à quasiment 100k par pas de 100? Pas simple d'avoir trois chiffres significatifs complets avec un raspi.

[Gnom]

Alors je n'ai pas calculé le pas de résistance en détail (enfin, si, mais comme étape intermédiaire d'une feuille de calcul, pas de manière lisible), mais plutôt la variation de la tension à mesurer (qui ne varie pas de façon linéaire), qui est dans le pire des cas de l'ordre de 0,25.10^-3 * la tension de référence, ce qui est à peu près la résolution du CAN que j'ai choisi (12 bits dans la configuration que j'utilise). Sachant que les cas où le pas est aussi bas, la précision du résultat n'a pas grande importance. Dans l'absolu je pourrais aussi utiliser une variante de ce composant avec une plus grande résolution, pour un surcoût acceptable, mais dans mes tests jusqu'à présent la précision ne semble pas poser de problème si on calibre le circuit, en revanche la valeur affichée oscille autour de la valeur attendue (pas de beaucoup, mais sur la première plage des valeurs possibles je veux atteindre une fiabilité très élevée).

J'ai déjà écrit les trucs de test avec la méthode des percentiles, je teste ça demain sur le montage, et après je pourrais comparer avec 25 % des mesures les plus hautes, voir ce qui donne les meilleurs résultats !

[Gnom]

J'ai fait des tests comme prévu, si je prend 1200 valeurs et que je regarde la fréquence de chaque valeur ça me donne quelque chose comme ça :


Et si j'applique les percentiles, ça me donne la valeur que je cherchais presque à tous les coups. Pour les 25 % supérieurs j'ai pas encore testé, mais ça sera sûrement pour demain !

[Gnom]

Up pour une nouvelle question de maths appliqués au mahjong !
J'ai fait un script pour trouver une solution à un problème NP-complet : le placement de joueurs à des tables de mahjong pendant un tournoi, en évitant autant que possible que deux joueurs donnés se rencontrent plusieurs fois. Pour chaque ronde, mon script génère un placement aléatoire, puis lui attribue un score en fonction du nombre de collision, échange aléatoirement deux joueurs, vérifie si le score et meilleur, et recommence jusqu'à avoir soit un score parfait soit qu'un nombre maximum d'essais définis par l'utilisateur soit atteint. J'obtiens des résultats allant de raisonnablement bons à parfaits selon la complexité (plus il y a de joueurs plus c'est facile, plus il y a de rondes plus c'est difficile).
Je voudrais essayer d'évaluer le temps (ou plus exactement le nombre d'essais) nécessaire pour avoir un résultat parfait avec une configuration donnée. Le nombre d'essais nécessaires pour obtenir une ronde parfait augmente avec chaque ronde. Est-ce que c'est fiable de supposer qu'il augmente d'une façon prévisible (exponentiellement ?) et de me baser sur les rondes qui ont obtenu un résultat parfait dans la limite du nombre d'essais pour prévoir combien il me faudrait d'essais pour avoir un résultat parfait pour les donnes suivantes ? Sachant qu'il y a peu de données.

Exemple :
Ronde 1 : déterminé arbitrairement
Ronde 2 : résultat parfait après 21 essais
Ronde 3 : résultat parfait après 56 essais
Ronde 4 : résultat parfait après 119 essais
Ronde 5 : résultat parfait après 583 essais
Ronde 6 : résultat imparfait : 2 collisions après 100000 essais

Peut-être en faisant tourner plusieurs fois les rondes 1 à 5 pour avoir une idée plus précise du nombre d'essais requis pour chaque étape ?

Note : il semblerait que ce type de problèmes puisse se résoudre avantageusement avec ce qu'on appelle des SAT-solvers, mais j'ai regardé et je pense que le temps que ça me prendrait avec mes connaissances réduites est largement déraisonnable...

[Gui]

Tu devrais creuser du cote du "Social Golfer Problem".
http://mathworld.wolfram.com/SocialGolferProblem.html
https://web.archive.org/web/20050217174 ... /golf.html

La t'as des solutions toutes faites pour 4 golfers (/ joueurs) et un certain nombre de jours (/ rounds).

Donc si t'as 20 joueurs, tu peux faire 5 rounds propres :
Day1 ABCD EFGH IJKL MNOP QRST
Day2 AEIM BFJQ CGNR DKOS HLPT
Day3 AFOT BELR CIPS DGJM HKNQ
Day4 AJPR BHMS CEKT DFIN GLOQ
Day5 ALNS BGIT CHJO DEPQ FKMR

Si t'as 24 joueurs, tu peux en faire 7
Day1 ABKU IJSE QRCM DGFX HLNO PTVW
Day2 ACLV IKTF QSDN EHGR BMOP JUWX
Day3 ADMW ILUG QTEO FBHS CJNP KRVX
Day4 AENX IMVH QUFP GCBT DJKO LRSW
Day5 AFOR INWB QVGJ HDCU EKLP MSTX
Day6 AEPS IOXC QWHK BEDV FJLM NRTU
Day7 AHJT IPRD QXBL CFEW GKMN OSUV

28 joueurs, 9 rounds possibles :
Day1 ABCD EFGH IJKL MNab cdef ghij klmn
Day2 AEgk BFMc Ndhl GIem HJai CKbn DLfj
Day3 AFjn BEae bfim HKcl GLMh CINk DJdg
Day4 AIci BJNn EKMj FLdm begl CGaf DHhk
Day5 AGbd BHgm ELNi achn FKfk CJej DIMl
Day6 AKeh BLbk FIag EJfl Ncjm CHMd DGin
Day7 AHNf BGjl FJbh Meik EIdn CLcg DKam
Day8 ALal BKdi GJck Mfgn HIbj CEhm DFNe
Day9 AJMm BIfh CFil DEbc GKNg HLen adjk

32 joueurs, 10 rounds possibles :
Day0 ABCD EFGH IJKL MNPO abcd efgh ijkl mnop
Day1 AEIm BgcH DFKp kPdf Maei ChbG jNoL lJnO
Day2 Alof Bhkm DNGi FaLO MbHK CPeJ Ejcp gIdn
Day3 AciL BjdK DkbJ FgoP fGOp CIla EhMn NeHm
Day4 AgNK BElP DIoH hdiO beLp Cjfm FMcJ kaGn
Day5 AhJp BFin DcmO INbf leGK CMod EgkL jPaH
Day6 AFde BoGJ DEaf hlNc PiKm CHLn gjbO IkMp
Day7 APbn BNap DglM koce fHiJ CEKO FhIj dGLm
Day8 AjMG BIeO DhPL gaJm cfKn CFkN Eobi ldHp
Day9 AkHO BMfL Djen Flbm IPcG Cgip ENdJ hoaK

[Gnom]

Yes j'ai déjà creusé du côté de ce problème, mais je n'ai pas trouvé de solution à 36 joueurs ^^
Je vais vérifier dans tes liens s'il y en aurait pas une qui soit parfaite, ça serait toujours ça de pris.

[Gnom]

Ah bah le lien que tu as donné, j'étais tombé dessus et j'avais arrêté de lire à «36 golfers in foursomes can play for 11 days. This is a 4-RGDD of type 218, but I don't yet have that solution. »
Mais le fait qu'il n'y ait pas de solution pour 11 jours ne veut pas dire qu'il n'y en ait pas pour 7. Je vais continuer un peu à chercher !

[Gui]

J'ai trouve ca, je sais pas du tout ce que ca donne : https://github.com/arezae4/golfer

[Gnom]

Ah ben ça ça fait partie justement du genre de méthode que je n'ai pas regardé par manque de connaissances ^^
Mais c'est intéressant. En fait j'en ai déjà trouvé plusieurs de ce genre mais qui ne convenaient pas exactement et que je n'ai pas réussi à adapter, peut-être qu'avec celui-là j'aurai plus de chance.