¿Cómo identificar qué es un clúster?

Agrupación jerárquica

Estoy tratando de encontrar un cluster en un grupo de datos, y no estoy seguro de cómo hacerlo sin seleccionar todos los puntos de datos que están dentro del cluster (es decir, las partículas perdidas al principio de la simulación).

Un cluster significa un grupo de datos que se distingue de otros clusters. Si sólo puede haber un clúster, debe ser el grupo de todos. En otras palabras, un clúster tiene sentido cuando hay otros clústeres.

Desde este punto de vista, parece que usted quiere tener dos clústeres, uno de puntos densos alrededor del origen (0, 0), y el otro clúster de todos los demás puntos dispersos lejos del origen. Para este tipo de datos, se puede utilizar el clustering espectral.

Métodos de clustering

El análisis de clusters puede ser una poderosa herramienta de minería de datos para cualquier organización que necesite identificar grupos discretos de clientes, transacciones de ventas u otros tipos de comportamientos y cosas. Por ejemplo, los proveedores de seguros utilizan el análisis de conglomerados para detectar reclamaciones fraudulentas, y los bancos lo utilizan para la puntuación de créditos.

El análisis de conglomerados, al igual que el análisis de espacio reducido (análisis factorial), se ocupa de matrices de datos en las que las variables no se han dividido previamente en subconjuntos de criterios y de predictores. El objetivo del análisis de conglomerados es encontrar grupos similares de sujetos, donde la “similitud” entre cada par de sujetos significa alguna medida global sobre todo el conjunto de características.

El análisis de conglomerados es un algoritmo de aprendizaje no supervisado, lo que significa que no se sabe cuántos conglomerados existen en los datos antes de ejecutar el modelo. A diferencia de muchos otros métodos estadísticos, el análisis de conglomerados se utiliza normalmente cuando no se hace ninguna suposición sobre las relaciones probables dentro de los datos. Proporciona información sobre dónde existen asociaciones y patrones en los datos, pero no qué podrían ser o qué significan.

Cómo agrupar los datos

Esto nos permite describir la heterogeneidad de la población en términos de etiquetas discretas que se entienden fácilmente, en lugar de intentar comprender el colector de alta dimensión en el que residen realmente las células.

Podemos definir tantos clusters como queramos, con el algoritmo que queramos – cada clustering representará su propia partición del espacio de expresión de alta dimensión, y es tan “real” como cualquier otro clustering.

Algunos analistas estarán satisfechos con la resolución de los principales tipos de células; otros analistas pueden querer la resolución de los subtipos; y otros aún pueden requerir la resolución de los diferentes estados (por ejemplo, la actividad metabólica, el estrés) dentro de esos subtipos.

Sólo requiere una búsqueda del vecino más cercano que puede realizarse en tiempo log-lineal por término medio, en contraste con los métodos de agrupación jerárquica con tiempos de ejecución que son cuadráticos con respecto al número de células.

La construcción del gráfico evita hacer fuertes suposiciones sobre la forma de los clusters o la distribución de las celdas dentro de cada cluster, en comparación con otros métodos como \(k\)-means (que favorecen los clusters esféricos) o los modelos de mezcla gaussiana (que requieren normalidad).

Ejemplo de clustering

El análisis de conglomerados o clustering es la tarea de agrupar un conjunto de objetos de manera que los objetos del mismo grupo (llamado cluster) sean más similares (en algún sentido) entre sí que los de otros grupos (clusters). Es una de las principales tareas del análisis exploratorio de datos, y una técnica común para el análisis estadístico de datos, utilizada en muchos campos, como el reconocimiento de patrones, el análisis de imágenes, la recuperación de información, la bioinformática, la compresión de datos, la infografía y el aprendizaje automático.

El análisis de clústeres en sí mismo no es un algoritmo específico, sino la tarea general que hay que resolver. Puede llevarse a cabo mediante varios algoritmos que difieren significativamente en su comprensión de lo que constituye un clúster y cómo encontrarlos de forma eficiente. Las nociones populares de cluster incluyen grupos con pequeñas distancias entre los miembros del cluster, áreas densas del espacio de datos, intervalos o distribuciones estadísticas particulares. Por tanto, la agrupación puede formularse como un problema de optimización multiobjetivo. El algoritmo de clustering adecuado y la configuración de los parámetros (incluyendo parámetros como la función de distancia a utilizar, un umbral de densidad o el número de clusters esperados) dependen del conjunto de datos individual y del uso previsto de los resultados. El análisis de conglomerados como tal no es una tarea automática, sino un proceso iterativo de descubrimiento de conocimientos u optimización interactiva multiobjetivo que implica pruebas y fallos. A menudo es necesario modificar el preprocesamiento de los datos y los parámetros del modelo hasta que el resultado alcance las propiedades deseadas.