Como o seu vídeo vira legendas sem sair do seu dispositivo

O modelo: Whisper, em dois tamanhos

As palavras vêm do Whisper, um modelo de reconhecimento de fala que a OpenAI publicou em 2022 com os pesos sob a licença MIT. Ele roda por meio do whisper.cpp, uma versão de código aberto em C++, que compilamos para WebAssembly para rodar numa página web. Você escolhe entre dois tamanhos:

• O modelo menor (o padrão) é o Whisper base, com os pesos arredondados para 5 bits: um download de 59,7 MB.
• O modelo maior é o Whisper small, com pesos de 8 bits: um download de 264,5 MB que precisa de mais memória.

No artigo da OpenAI, os modelos Whisper maiores se saíram melhor na maioria dos testes, com os menores ganhos no inglês, mas ainda não medimos como estes dois se comparam neste motor, então a página os chama de "menor" e "maior" em vez de prometer que um é mais preciso. Antes do modelo, um pequeno detector de voz, o Silero VAD, marca onde há fala, para o modelo gastar o tempo com a voz. Se você deixar o idioma no automático, o modelo identifica o idioma na primeira janela com fala, e a página mantém esse idioma no resto do arquivo.

Cada janela é escrita com as últimas palavras antes dela, cerca de 200 caracteres, como contexto: o modelo as lê como o texto que vinha logo antes do corte. Assim que uma janela termina, as legendas dela aparecem na página e você pode editá-las enquanto a próxima é escrita. Gere legendas do seu vídeo para ver.

Como as palavras viram legendas

O modelo entrega segmentos de texto, cada um com um início e um fim, e a sua estimativa de quando as palavras dele começam e terminam. Um segmento pode ser uma frase longa, então a página o corta em legendas que dá tempo de ler:

• No máximo duas linhas de 42 colunas por legenda; um caractere largo, como em chinês ou japonês, conta como duas colunas. As escritas sem espaços são divididas em palavras pelo segmentador de palavras do navegador.
• No máximo 7 segundos na tela, e pelo menos 1 segundo quando o intervalo até a próxima permite.
• Os cortes caem entre palavras: primeiro no fim de uma frase, depois numa vírgula ou numa pausa de meio segundo ou mais, senão onde as duas partes ficam equilibradas. Um sinal de fechamento fica com a palavra anterior.
• O corte é cronometrado pelos tempos das palavras. Quando o modelo não deu nenhum que combine com o texto, o tempo é repartido conforme o texto.
• As legendas nunca se sobrepõem, e nenhuma termina depois do fim do arquivo.

Os tempos vêm da estimativa do próprio modelo de onde as suas palavras começam e terminam, ou dessa repartição conforme o texto, então uma legenda pode aparecer um pouco adiantada ou atrasada. Ainda não medimos quanto neste motor. Se uma legenda estiver fora do lugar, você pode corrigir à mão: mover o início ou o fim em 0,1 segundo, dividir ou juntar com a próxima.

Qual versão do motor roda

O motor tem três versões, e a página escolhe uma quando você adiciona o primeiro arquivo:

• WebGPU, tentada primeiro quando o navegador oferece um adaptador gráfico que passa na verificação da página. Se ela falhar ao carregar ou ao escrever uma janela, a página troca para uma versão de processador e escreve essa janela de novo.
• WebAssembly em várias threads, uma thread por processador lógico que o navegador informa. As threads exigem uma página isolada de outras origens, por isso o site envia os cabeçalhos COOP e COEP.
• WebAssembly em uma thread, o último recurso para um navegador que não roda threads, e a versão usada quando o navegador informa um único processador lógico.

A linha abaixo da prévia diz qual versão rodou, por exemplo "WebAssembly em várias threads". Ainda não medimos a versão WebGPU numa placa de vídeo de verdade, então o site não afirma nada sobre a velocidade dela. Seja qual for a versão, o seu dispositivo faz o trabalho: a linha de status mostra uma estimativa do tempo restante, medida no seu dispositivo durante o processo, em vez de prometer uma velocidade.

O que o navegador baixa e o que ele guarda

Tudo vem deste site. Os modelos são divididos em partes de no máximo 20 MiB, porque a hospedagem serve arquivos estáticos de até 25 MiB, e cada parte é conferida com a sua impressão digital SHA-256 antes do uso, então um download corrompido é recusado em vez de gerar legendas erradas. Os tamanhos são os dos arquivos publicados, em megabytes de um milhão de bytes:

O motor, o leitor de mídia, o modelo e o detector só são baixados quando você adiciona um arquivo, não ao abrir a página. A página nunca guarda o seu arquivo, o som dele nem as suas legendas no armazenamento do navegador: eles vivem na aba aberta e somem quando você a fecha. Para remover o modelo guardado, limpe os dados deste site no navegador. O teste de rede passo a passo mostra como ver tudo isso nas ferramentas de desenvolvedor do navegador.

Como testamos

Um teste automático de navegador roda a cada mudança no site. Ele carrega uma cópia compilada do site no Chromium, o motor do Chrome e do Edge, com os cabeçalhos de segurança do próprio site, e confere, entre outras coisas, que:

• uma frase em inglês de 3,5 segundos do corpus LibriSpeech, "Concorde returned to its place amidst the tents.", sai como legendas com no máximo duas palavras erradas, com o modelo menor, a partir de um arquivo WAV, de um vídeo MP4 e de um arquivo WebM;
• depois de uma edição, um ajuste de 0,1 segundo e uma divisão, os arquivos SRT e VTT são lidos de volta exatamente como as legendas da página, e o leitor de legendas do próprio Chromium carrega o VTT;
• num arquivo de 60 segundos com a mesma frase a cada 10 segundos, processado com janelas de teste de 20 segundos em vez dos 3 minutos da ferramenta, as legendas aparecem em pelo menos três etapas, e em cada uma das seis marcas uma legenda com a frase inteira começa entre meio segundo antes da marca e 2 segundos depois;
• Cancelar interrompe o processo, e o próximo arquivo reaproveita o modelo guardado, sem um novo download;
• um trecho em silêncio não gera legendas, uma parte danificada de um arquivo mantém as legendas anteriores e um arquivo que não é de mídia é recusado;
• toda requisição vai para este site, como GET ou HEAD sem corpo.

Esse teste usa uma frase curta de uma só pessoa, em um só idioma. Ele mostra que as peças funcionam juntas; não mede a precisão das legendas.

Limites que vale conhecer

• Precisão e tempos ainda não foram medidos neste motor, então nenhuma página dá um número. No artigo da OpenAI, a taxa de erro do Whisper variava de um idioma para outro, muito ligada à quantidade de fala de treinamento de cada idioma, e subia à medida que o ruído de fundo adicionado aumentava.
• Sem nomes de quem fala, sem descrição de sons, sem tradução. As legendas são as palavras ditas, no idioma falado.
• Arquivos longos demoram. Onde o navegador consegue, a página lê em partes e nunca mantém na memória o som inteiro do arquivo de uma vez, mas cada minuto de áudio é trabalho para o seu processador. O arquivo mais longo que rodamos até agora tem 12 minutos.
• Alguns arquivos são lidos inteiros. Quando o navegador não consegue decodificar o som em partes, a página o decodifica de uma vez e para em 500 MB ou 1 hora.
• Não testado em celulares. O modelo maior pode precisar de mais memória do que um celular tem livre; a página avisa quando o navegador informa que ficou sem memória.

Os componentes de código aberto e as licenças estão na página de créditos de código aberto.