Banco de pruebas
Detectando tu equipo…
Mide en este equipo lo rápido que va cada modelo y cuánto acierta. Como con GPT-2: primero saber dónde se va el tiempo, y después decidir qué optimizar.
1Modelos
2Prueba
Texto para la perplejidad
Un texto escrito para esta prueba, así ningún modelo lo ha visto al entrenar. Puedes cambiarlo; para comparar modelos usa siempre el mismo.
Cierra las otras pestañas de Neurona: también ocupan la gráfica y falsean las medidas.
3Resultados
?Cómo leer los números
- Memoria de la gráfica (GB/s)
- Lo rápido que tu tarjeta lee su propia memoria, medido aquí con un programa que solo lee. Es el techo: para escribir cada token el modelo tiene que leer casi todos sus pesos.
- Ida y vuelta (ms)
- Lo que tarda el navegador en pedirle algo a la gráfica y recibir la respuesta, sin trabajo de por medio. El modelo paga esto en cada token.
- Leídos por token y % salida
- Megas de pesos que hay que leer para escribir un token. "% salida" es la parte que se va en la última capa, la que elige la palabra. En GPT-2 era la que más estropeaba los 4 bits.
- Lectura y escritura (tok/s)
- Lectura: lo rápido que lee tu mensaje, muchos tokens a la vez. Escritura: lo rápido que responde, de uno en uno. La escritura es la que se nota al chatear.
- Uso de la memoria
- Qué parte del tiempo de cada token se explica por leer los pesos al máximo de la tarjeta. Si es bajo, el freno no es la memoria: son las esperas y los pasos pequeños de cada token.
- Capas y cabezas K/V
- Cada capa lanza su tanda de programas pequeños a la gráfica, y cada lanzamiento tiene una espera fija. Las cabezas K/V son lo que la atención guarda de cada token anterior para poder mirar atrás.
- ms más por 1.000 de contexto
- Sale de escribir después de leer textos de 0 a 3.500 tokens: cuánto más tarda cada token por cada 1.000 tokens de conversación previa.
- Perplejidad y bits por letra
- Lo sorprendido que está el modelo con el texto. Menos es mejor. Sirve para ver cuánto se estropea un modelo al cuantizarlo. La perplejidad solo se compara entre variantes del mismo modelo; los bits por letra valen para comparar modelos distintos.