Diagnóstico
Detectando tu equipo…
Mira en qué se va el tiempo de cada token: la CPU preparando el trabajo, la gráfica calculando, y las esperas entre las dos. Lo que más ocupa es el cuello de botella: lo primero que hay que mejorar.
1Modelo
Escribir después de
Mejoras de Neurona
Cierra las otras pestañas de Neurona. La primera vez descarga el modelo (se queda guardado para el chat).
2Cada token, de principio a fin
3Dentro de la gráfica
4Comparar
Cada análisis se guarda en este navegador. Sirve para comparar modelos, y el mismo modelo antes y después de cada mejora.
?Qué es cada parte
- CPU prepara
- El navegador escribe la lista de programas que hará la gráfica para este token (uno o varios por capa). Mientras tanto, la gráfica todavía no ha empezado.
- Gráfica: capas
- La gráfica calcula todas las capas del modelo. Es el trabajo de verdad.
- Gráfica: elegir
- La gráfica ordena las probabilidades y elige la siguiente palabra.
- Espera de vuelta
- La palabra elegida vuelve de la gráfica a la CPU, que la necesita para preparar el siguiente token. En este tiempo nadie trabaja.
- Multiplicar por los pesos
- Leer los pesos del modelo y multiplicarlos: lo que más datos mueve. Los GB/s dicen lo cerca que va del máximo de la memoria de tu tarjeta.
- Atención
- Mirar atrás, a todos los tokens anteriores. Crece con la conversación.
- Escritura rápida
- La palabra se elige en la gráfica y se encadenan varios tokens sin volver a la CPU. Quita la espera de vuelta, y la CPU prepara un token mientras la gráfica calcula otro.
- Atención repartida
- La atención se reparte en trozos de la conversación que la gráfica hace a la vez, y un segundo programa los junta. Con conversaciones largas es varias veces más rápida.
- Normalizar, posición, guardar K/V, activación
- Pasos pequeños de cada capa: mueven pocos datos, pero cada uno es un programa más que lanzar.