La presentación a principios de esta semana de R1, el modelo de IA de la compañía china DeepSeek, provocó una tremenda sacudida en el sector, en el que la mayor perjudicada fue Nvidia, la compañía estadounidense que produce los chips más avanzados para la inteligencia artificial, que perdió en un día más de medio billón de dólares, una caída inédita en la historia de la economía mundial. El hecho de que DeepSeek explicara en un documento de 22 páginas cómo había logrado un modelo comparable a los más avanzados de compañías de Estados Unidos pero a una fracción muy inferior de su coste provocó un pánico bursátil.
A lo largo de esta semana, directivos de las empresas estadounidenses han puesto en cuestión la cantidad de dinero que DeepSeek asegura que le costó entrenar a su modelo: 5,6 millones de dólares. Alegan que R1 parte del trabajo de un modelo previo, V3, y que los costes, millón arriba, millón abajo, vienen a ser parecidos que los de las IAs del mundo occidental.
En esa defensa (obligada) de las compañías de Estados Unidos sobre sus estrategias de desarrollo de la IA, OpenAI ha expresado sus sospechas de que DeepSeek ha utilizado una técnica prohibida expresamente en los términos de uso de sus modelos en ChatGPT. El recurso que supuestamente habría utilizado la empresa china se llama destilación.
Mediante cientos de miles de preguntas, el modelo pequeño (‘el alumno’) aprende del grande (‘el maestro’)
En síntesis, se trata de que el nuevo modelo aprenda del ya consolidado haciéndole cientos de miles de preguntas y analizando las respuestas para aprender. Al final de este proceso, los resultados de ambos, el original y el nuevo, deberían ser bastante similares.
Según los especialistas de Microsoft Vishal Yadav y Nikhil Pandey, “la destilación es una técnica diseñada para transferir los conocimientos de un gran modelo preentrenado ( el maestro ) a un modelo más pequeño ( el alumno ), lo que permite al modelo alumno alcanzar un rendimiento comparable al del modelo maestro”.
La primera acusación de que DeepSeek habría utilizado este método surgió el martes por parte de David Sacks, el llamado zar de la IA y las criptomonedas del presidente Donald Trump. Este experto aseguró durante una entrevista en la cadena Fox que había “pruebas sustanciales” de que DeepSeek “destiló” el conocimientos de los modelos de OpenAI, y lo comparó con un robo.
Más tarde, la propia OpenAI apuntó a través de uno de sus portavoces que grupos en China “están trabajando activamente para utilizar métodos, incluyendo lo que se conoce como destilación, para tratar de replicar modelos avanzados de IA de Estados Unidos”.
Lee también
De momento, no se han presentado pruebas. “Estamos al tanto y revisando las indicaciones de que DeepSeek puede haber destilado inapropiadamente nuestros modelos, y compartiremos información a medida que sepamos más”, añadió el portavoz de OpenAI.
¿Qué se puede hacer contra la destilación? La compañía de ChatGPT dice que actúa de forma preventiva: “Tomamos contramedidas agresivas y proactivas para proteger nuestra tecnología y seguiremos trabajando estrechamente con el gobierno estadounidense para proteger los modelos más capaces que se construyen aquí”.
Resulta paradójico que una empresa que se enfrenta a denuncias de medios de comunicación como The New York Times o de creadores como los escritores o los dibujantes por entrenar sus IAs con contenido protegido por derechos de autor ponga ahora reparos a que alguien haga algo parecido. Sólo hay que preguntar mucho a ChatGPT para robarle el alma.
