Unpretentious experiment proposed to me by a friend:
Can a model like Flux Kontext, designed for editing art and photography, be used to work with medical images, for example, with something 'as simple' as red-marking fractures?
The quick answer: it does do something interesting, but it over-scores and is far from reliable as a medical tool. It's a prototype to play with the idea, nothing more.
How to use it
1. Upload a bone X-ray (real or synthetic).
2. Ask: “Make marks where there is a fracture”.
3. Adjust denoise, sampler adn scheduler according to what you're looking for:
Prudent mode (fewer false positives)
Sampler Euler, 15 steps
Scheduler Karras
Denoise 0.90
Test results:
False positives ≈ 24%
Fracture detection ≈ 20%
Sensitive mode (more detection, lots of noise)
Euler, 15 steps, Karras
Denoise 1.0
Result:
False positives ≈ 80%
Fracture detection ≈ 86%
Even more aggressive settings (e.g. rk beta57 to denoise 1.0) reach the absurd: 100% false positives and 100% detection: it paints everything red and almost hits all fractures beyond marking healthy areas, for an untrained eye.
With a synthetic mini-dataset for Civitai of images made with 100% AI (10 healthy X-rays and 10 fractured):
False positives: 100% in healthy bones.
Fracture detection: ≈ 45%
Good for
AI prototypes and tests on medical imaging.
Eye-catching visualizations of "suspicious" areas in X-rays (experimental and creative art, here's an exotic tool xD)
Didactic/experimental material to play with sensitivity vs false positives.
Not good for:
Diagnose nothing serious.
Replacing a doctor, not even close!
Important
This LoRa is for visual experimentation only. It is not a medical device, it is not reliable and should not be used for clinical diagnosis.
Of course, taking into account that it is open source, fast (25 seconds per analysis) and that it can run on desktop computers, I think it is worth continuing to experiment with this concept in the future... we will see!
Have fun!
———
Experimento sin pretensiones que me propuso un amigo:
¿Se puede usar un modelo como Flux Kontext, diseñado para hacer ediciones en arte y fotografía, para trabajar con imágenes médicas, por ejemplo, con algo ‘tan sencillo’ como marcar en rojo fracturas?
La respuesta rápida: sí hace algo interesante, pero marca de más y está muy lejos de ser fiable como herramienta médica. Es un prototipo para jugar con la idea, nada más.
Cómo usarlo
Carga una radiografía de huesos (real o sintética).
Pide: «Make marks where there is a fracture».
Ajusta denoise, sampler y scheduler según lo que busques:
Modo prudente (menos falsos positivos)
Sampler Euler, 15 pasos
Scheduler Karras
Denoise 0.90
Resultado en pruebas:
Falsos positivos ≈ 24 % (
Detección de fracturas ≈ 20 %
Modo sensible (más detección, mucho ruido)
Euler, 15 pasos, Karras
Denoise 1.0
Resultado:
Falsos positivos ≈ 80 %
Detección de fracturas ≈ 86 %
Configuraciones aún más agresivas (p. ej. rk beta57 a denoise 1.0) llegan al absurdo:
100 % falsos positivos y 100 % detección: lo pinta todo de rojo y casi acierta en todas las fracturas más allá de marcar zonas, para un ojo poco entrenado, sanas.
Con un mini-dataset sintético para Civitai de imágenes hechas con IA al 100% (10 rayos X sanos y 10 con fractura):
Falsos positivos: 100 % en huesos sanos.
Detección de fracturas: ≈ 45 %
Bueno para
Prototipos y pruebas de IA sobre imagen médica.
Visualizaciones llamativas de zonas «sospechosas» en rayos X (arte experimental y creativo, aquí tienes una herramienta exótica xD)
Material didáctico / experimental para jugar con sensibilidad vs falsos positivos.
No es bueno para:
Diagnosticar nada serio.
Sustituir a un médico, ¡ni de lejos!.
Importante
Este LoRa es solo para experimentación visual.
No es un producto sanitario, no es fiable y no debe usarse para diagnóstico clínico.
Eso sí, teniendo en cuenta que es de código abierto, rápido (25 segundos por análisis) y que puede correr en equipos de sobre mesa, creo que merece la pena seguir experimentando con este concepto en el futuro… ¡ya veremos!
¡A pasarlo bien!
Description
V0.1 Original test version
——
V0.1 Versión de prueba original
Comments (4)
By the way, is difficult to create X-ray images of bones, with or without fractures, using AI xD
(I think if a doctor sees the example gallery, they're going to cry and think they're bones from some kind of humanoid alien, but not human. That said, for laypeople, I think it's convincing, and to demonstrate how LoRa works, I think it's sufficient. xD)
- - -
Por cierto, qué dificil es hacer imágenes de rayosX de huesos, con o sin fracturas, con IA xD
(Creo que como vea la galería de ejemplo un médico va a llorar y pensar que son huesos de algún tipo de alienígena humanoide, pero no humanos. Eso sí, para los legos, creo que da el pego y para mostrar el funcionamiento del LoRa creo que funcionan lo suficiente xD)
A cool experiment, but I doubt LLMs will reach a reasonable level of expertise in anything except chatter. They're just not designed nor properly trained for it, so it's essentially a stupid dwarf trick to perform a standard task (segmentation). Fun for the narrative, highly inefficient.
Though much less impressive nowadays to the layman, having a model that recommends (via a textual explanation or even automatically through an agent) the proper algorithm / architecture & training settings or collects a dataset to solve a given problem, or a multimodal model that can be trained on semisupervised data, these are incredibly useful tools I'd never have believed would exist 15 years ago, let alone in consumer pcs.
Maybe..., but who knows, perhaps with better and more training it could develop, beyond improving its task, some interesting emergent capability.
And, yes, it's true; and not 15 years ago, all this was already science fiction 5 years ago xD
@JoseGomezFreelance I would be overjoyed to be wrong on this, but from what I've heard recently, LLM training is showing diminishing returns. There's no shortage of problems we've underestimated in the past, till people really started digging into them: fermat's last theorem, the 4 colour theorem, P=NP, the summer vision project to name a few. Personally, I've always been a fan of finding the path of least resistance (or the path of greatest amusement, depending on mood).
In any case, good show, jose. I admire folk who like to keep an open mind.