ABX-Discriminability Measures and Applications. (Mesures de discriminabilité ABX et applications)

By Thomas Schatz. 2016

39 citations recorded by the source corpus.

Cette thèse est, au départ, une contribution indirecte au problème de la modélisation de l'acquisition des catégories phonétiques chez l'enfant. Les modèles computationnels déjà proposés n'ont encore jamais été testés de manière systématique pour déterminer s'ils sont réellement à même de rendre compte d'une partie conséquente des observations empiriques disponibles. Nous développons une approche permettant une évaluation systématique des modèles sur la base de Mesures de Discriminabilité ABX. Nous montrons l'intérêt de notre approche en l'appliquant à deux problèmes reliés: la traitement des catégories phonétiques à la naissance et à l'âge adulte. La prochaine étape sera bien sûr d'appliquer notre approche aux modèles d'acquisition des catégories phonétiques.L'intérêt des Mesures de Discriminabilité ABX ne se restreint pas au cas particulier de l'évaluation des modèles de traitement des catégories phonétiques. Elle sont utiles dans l'étude de signaux autre que la parole et de catégories autres que les catégories phonétiques, ainsi que dans le cadre de champs disciplinaires autres que les sciences cognitives, comme l'ingénierie, l'exploration des données ou l'intelligence artificielle par exemple. Nous le justifions en étudiant les propriétés de ces mesures dans un cadre abstrait général et en présentant trois grandes familles d'applications: l'évaluation de la capacité de systèmes opérant en l'absence de supervision explicite à représenter une structure catégorielle; la formulation de modèles computationnels simples du comportement dans des tâches de discrimination; la définition de mesures descriptives pour des représentations associées à des données catégorielles.

Subfields: Evaluation & Benchmarks, Speech & Audio

How researchers see this paper

The researchers whose trusted networks rank it highest, strongest advocate first. Every researcher gets a different order.

In Evaluation & Benchmarks

In Speech & Audio

Citations in the corpus

Libri-Light: A Benchmark for ASR with Limited or No Supervision (2019, positive): “For the “within-speaker” score, A, B and X are from the same speakers; in the “across-speaker” score, A and B are from the same speaker, but X is from a different speaker (see [19]).”
AudioLM: A Language Modeling Approach to Audio Generation (2022, background): “where A and B are uttered by the same speaker and X is coming from a different speaker (across-speaker) [52].”
Data Augmenting Contrastive Learning of Speech Representations in the Time Domain (2020, positive): “This metric has been shown to be useful to analyse the linguistic content of speech features without having to train a classiﬁer [23], and has been used in the Zero Resource Challenge series [9, 10, 24].”
Towards Unsupervised Learning of Speech Features in the Wild (2021, methodology): “We then compare their ABX scores with models trained on the unﬁltered Libri-light 600 and 6kh datasets ( LL600 and LL6k ).”
Learning Weakly Supervised Multimodal Phoneme Embeddings (2017, background): “As discussed in [15], the supervised classification performance obtained on features is not a reliable indicator of the performance of unsupervised algorithms.”
Neural network vs. HMM speech recognition systems as models of human cross-linguistic phonetic perception (2018, methodology): “To quantify how easy it is to distinguish two phonetic categories based on representations produced by one of our models, we use a machine version of the ABX discrimination task (Schatz et al., 2013; Schatz, 2016).”
Early phonetic learning without phonetic categories: Insights from large-scale simulations on realistic input (2021, methodology): “task, which can handle any representation format, provided the user can provide a reasonable measure of (dis)similarity between representations (89, 90).”
The Zero Resource Speech Challenge 2021: Spoken Language Modelling (2021, methodology): “to the dimensionality of the embeddings, can work with discrete or continuous codes, and has been used to compare ASR speech features [5].”
The Zero Resource Speech Benchmark 2021: Metrics and baselines for unsupervised spoken language modeling (2020, methodology): “This metric is agnostic to the dimensionality of the embeddings, can work with discrete or continuous codes, and has been used to compare ASR speech features (Schatz, 2016).”