ResearchInvestigación
three studies, all under reviewtres estudios, todos en evaluación
Much of the fungal DNA in a soil sample comes from groups that no reference
database has a name for, yet classification software still hands back a name. These three
companion studies ask how often those names are wrong, whether newer AI classifiers do any
better than a plain similarity search, and how to flag sequences that are genuinely new at an
error rate you choose.Buena parte del ADN fúngico de una muestra de suelo
proviene de grupos que ninguna base de datos de referencia tiene nombrados, y aun así el software de
clasificación devuelve un nombre. Estos tres estudios complementarios preguntan con qué frecuencia
esos nombres están equivocados, si los clasificadores más nuevos basados en IA lo hacen mejor que una
simple búsqueda por similitud y cómo marcar las secuencias realmente nuevas con una tasa de error que
tú eliges.
under reviewen evaluaciónBriefings in Bioinformatics
Released deep-learning ITS classifiers collapse on ITS2Los clasificadores de ITS publicados basados en aprendizaje profundo colapsan con ITS2
With Auguste Gardette, César Marín and Pilar ParadaCon Auguste Gardette, César Marín y Pilar Parada
On ITS2 amplicons, the kind most fungal surveys produce, the two released
MycoAI classifiers assign the wrong family most of the time, even for genera they were trained
on. A plain similarity search still gets nearly nine in ten right.Con
amplicones de ITS2, el tipo que generan la mayoría de los estudios de hongos, los dos clasificadores
publicados de MycoAI asignan mal la familia la mayor parte de las veces, incluso para géneros con los
que fueron entrenados. Una simple búsqueda por similitud sigue acertando casi nueve de cada
diez.
Five methods scored the same 5,222 queries, one per genus, at two loci cut from
the same records: the full-length ITS and its ITS2 subregion. On full-length ITS, best-hit
alignment, SINTAX and a k-mer classifier (HiTaC) beat both pretrained MycoAI models at every
rank. Cutting the records down to ITS2 is where the models fall apart.Cinco
métodos evaluaron las mismas 5.222 consultas, una por género, en dos loci extraídos de los mismos
registros: el ITS completo y su subregión ITS2. Con el ITS completo, el alineamiento por mejor
coincidencia, SINTAX y un clasificador de k-meros (HiTaC) superaron a ambos modelos preentrenados de
MycoAI en todos los rangos taxonómicos. Al recortar los registros a ITS2 es donde los modelos se
desmoronan.
ITS2 carries the information, since HiTaC refitted at ITS2 keeps
89.2%; the released models read the flanks instead. Grafting a query's unaltered ITS2
between the flanks of a donor from another phylum made MycoAI-BERT return the donor's family
for 63.7% of queries and the query's own for 0.8%. On ITS2 their confidence
scores also stopped separating novel genera from known ones (AUROC 0.541 and 0.503, against
0.866 for alignment identity).La información está en ITS2, ya que HiTaC
reentrenado con ITS2 mantiene un 89,2%; los modelos publicados, en cambio, leen las regiones
flanqueantes. Al injertar el ITS2 intacto de una consulta entre las regiones flanqueantes de un
donante de otro filo, MycoAI-BERT devolvió la familia del donante en el 63,7% de las
consultas y la propia solo en el 0,8%. Con ITS2, además, sus puntajes de confianza dejaron de
distinguir géneros nuevos de géneros conocidos (AUROC de 0,541 y 0,503, frente a 0,866 para la
identidad del alineamiento).
under reviewen evaluaciónMethods in Ecology and Evolution
A learned embedding does not outperform correctly configured alignmentUna representación aprendida no supera a un alineamiento bien configurado
With Auguste GardetteCon Auguste Gardette
We built an AI model specifically for fungal barcodes, and it did not beat a
carefully configured similarity search. How the test was run changed the answer more than the
model did.Construimos un modelo de IA específico para códigos de barras de
hongos, y no superó a una búsqueda por similitud bien configurada. La forma de hacer la evaluación
cambió la respuesta más que el propio modelo.
We trained a convolutional encoder for fungal ITS with genus-proxy, cross-view,
hierarchical and episodic objectives, then froze and hash-sealed it before the test partition
was opened. Exhaustive VSEARCH identity scored the same queries against the same references,
on a genus-separated split of UNITE at ITS-core, ITS1 and ITS2 views. Once the evaluation was
corrected, alignment matched or exceeded the encoder throughout.Entrenamos
un codificador convolucional para ITS de hongos con objetivos de proxy de género, entre vistas,
jerárquicos y episódicos, y luego lo congelamos y sellamos con un hash antes de abrir la partición de
prueba. La identidad exhaustiva de VSEARCH evaluó las mismas consultas contra las mismas
referencias, en una partición de UNITE separada por géneros, con las vistas ITS-core, ITS1 e ITS2.
Una vez corregida la evaluación, el alineamiento igualó o superó al codificador en todos los
casos.
Five evaluation checks each changed a conclusion along the way:Cinco controles de la evaluación cambiaron, cada uno, una conclusión en el camino:
- baseline configurationconfiguración de la línea base
- Default VSEARCH heuristics returned a lower-identity
hit than exhaustive search for 48.3% of queries. Without a coverage filter, identity
put only 64.9% of novel ITS-core queries in the correct class, because the conserved
5.8S let short partial alignments win; with one, 98.7%.Las heurísticas
por defecto de VSEARCH devolvieron un acierto de menor identidad que la búsqueda exhaustiva en el
48,3% de las consultas. Sin un filtro de cobertura, la identidad ubicó en la clase correcta
solo el 64,9% de las consultas nuevas de ITS-core, porque el 5.8S conservado permitía que
ganaran alineamientos parciales cortos; con el filtro, el 98,7%.
- batch invarianceinvariancia al lote
- The encoder's embeddings shifted with inference batching,
because padding leaked into its normalisation and convolutions.Los
embeddings del codificador cambiaban según el lote de inferencia, porque el relleno (padding) se
filtraba en su normalización y sus convoluciones.
- genus-level uncertaintyincertidumbre a nivel de género
- With intervals clustered by genus, the encoder's
novelty AUROC was within 0.023 of identity's at every view, and no interval excluded
zero.Con intervalos agrupados por género, el AUROC de novedad del
codificador quedó a menos de 0,023 del de la identidad en todas las vistas, y ningún
intervalo excluyó el cero.
- selection controlcontrol de selección
- Identity's own development-to-test gap was larger than the
encoder's, so that gap reflects how the partitions were composed rather than model
selection.La brecha entre desarrollo y prueba de la propia identidad fue
mayor que la del codificador, así que esa brecha refleja cómo se compusieron las particiones y no la
selección del modelo.
- leakage auditauditoría de filtración
- 85% of the genera an earlier benchmark held out had been
present during training. On a leakage-safe rebuild, identity's AUROC advantage was 0.065,
with an interval that excluded zero.El 85% de los géneros que un
benchmark anterior había dejado fuera estaban presentes durante el entrenamiento. En una
reconstrucción sin filtración, la ventaja de AUROC de la identidad fue de 0,065, con un intervalo
que excluyó el cero.
The decisive results came from the evaluation, not the representation, and each
check is cheap to apply to any learned barcode method.Los resultados
decisivos vinieron de la evaluación, no de la representación, y cada control es fácil de aplicar a
cualquier método de códigos de barras basado en aprendizaje.
under reviewen evaluaciónIMA Fungus
Choosing the error rate at which sequences are declared newElegir la tasa de error con la que se declaran nuevas las secuencias
With César Marín and Pilar ParadaCon César Marín y Pilar Parada
A way to say “this sequence is probably something new” while knowing
in advance how often that call will be a false alarm.Una forma de decir
«esta secuencia probablemente es algo nuevo» sabiendo de antemano con qué frecuencia esa
decisión será una falsa alarma.
A fixed identity cutoff comes with no stated rate at which known fungi get called
new. The flag gives each environmental sequence a conformal p-value instead, with a
distribution-free bound on that rate. It was tested on a leave-one-genus-out benchmark built
from UNITE, then applied to soil data and to a cross-study recurrence search for lineages that
are widespread but still unnamed, candidates for formal description.Un
umbral fijo de identidad no indica con qué frecuencia hongos conocidos se declaran nuevos. El
indicador, en cambio, asigna a cada secuencia ambiental un valor p conformal, con una cota libre de
supuestos distribucionales para esa tasa. Se evaluó en un benchmark de UNITE que deja fuera un género
a la vez, y luego se aplicó a datos de suelo y a una búsqueda de recurrencia entre estudios de linajes
ampliamente distribuidos pero aún sin nombre, candidatos a una descripción formal.
- gatefiltro
Screen against a pan-eukaryotic reference first. Plant
ITS2 is amplified alongside fungi and otherwise looks novel against a fungal reference.Primero
se compara con una referencia paneucariota. El ITS2 de plantas se amplifica junto con el de hongos
y, si no, parece nuevo frente a una referencia de hongos.
- scorepuntaje
Rank each sequence's best alignment identity against a
calibration set from known genera held out of the reference. The rank is its p-value.Se
ordena la mejor identidad de alineamiento de cada secuencia frente a un conjunto de calibración de
géneros conocidos excluidos de la referencia. Esa posición es su valor p.
- declaredecisión
Call it new when the p-value falls below α, chosen in
advance. Known sequences are then declared new at a rate bounded by α.Se
declara nueva cuando el valor p cae bajo α, elegido de antemano. Así, las secuencias conocidas se
declaran nuevas a una tasa acotada por α.