Como o seu vídeo vira legendas sem sair do seu dispositivo

O modelo: Whisper, em dois tamanhos

As palavras vêm do Whisper, um modelo de reconhecimento de fala que a OpenAI publicou em 2022 com os pesos sob a licença MIT. Ele roda por meio do whisper.cpp, uma versão de código aberto em C++, que compilamos para WebAssembly para rodar numa página web. Você escolhe entre dois tamanhos:

• O modelo menor (o padrão) é o Whisper base, com os pesos arredondados para 5 bits: um download de 59,7 MB.
• O modelo maior é o Whisper small, com pesos de 8 bits: um download de 264,5 MB que precisa de mais memória.

No artigo da OpenAI, os modelos Whisper maiores erraram menos em média, mas ainda não medimos como estes dois se comparam neste motor, então a página os chama de "menor" e "maior" em vez de prometer que um é mais preciso. Antes do modelo, um pequeno detector de voz, o Silero VAD, marca onde há fala, para o modelo gastar o tempo com a voz. Se você deixar o idioma no automático, o modelo identifica o idioma na primeira janela com fala, e a página mantém esse idioma no resto do arquivo.

Cada janela é escrita com as últimas palavras da anterior como contexto (cerca de 200 caracteres), então uma frase que atravessa um corte mantém as palavras e a pontuação. Assim que uma janela termina, as legendas dela aparecem na página e você pode editá-las enquanto a próxima é escrita. Gere legendas do seu vídeo para ver.

Como as palavras viram legendas

O modelo entrega segmentos de texto com um início e um fim para cada palavra. Um segmento pode ser uma frase longa, então a página o corta em legendas que dá tempo de ler:

• No máximo duas linhas de 42 colunas por legenda; um caractere largo, como em chinês ou japonês, conta como duas colunas. As escritas sem espaços são divididas em palavras pelo segmentador de palavras do navegador.
• No máximo 7 segundos na tela, e pelo menos 1 segundo quando o intervalo até a próxima permite.
• Os cortes caem entre palavras: primeiro no fim de uma frase, depois numa vírgula ou numa pausa de meio segundo ou mais, senão onde as duas partes ficam equilibradas. Um sinal de fechamento fica com a palavra anterior.
• O corte é cronometrado pelos tempos das palavras. Quando o modelo não os deu, o tempo é repartido conforme o texto.
• As legendas nunca se sobrepõem, e nenhuma termina depois do fim do arquivo.

Os tempos são a estimativa do próprio modelo de onde cada palavra começa e termina, então uma legenda pode aparecer um pouco adiantada ou atrasada. Ainda não medimos quanto neste motor. Se uma legenda estiver fora do lugar, você pode corrigir à mão: mover o início ou o fim em 0,1 segundo, dividir ou juntar com a próxima.

Qual versão do motor roda

O motor tem três versões, e a página escolhe uma quando você adiciona o primeiro arquivo:

• WebGPU, tentada primeiro quando o navegador oferece um adaptador gráfico que passa na verificação da página. Se ela falhar ao carregar ou ao escrever uma janela, a página troca para uma versão de processador e escreve essa janela de novo.
• WebAssembly em várias threads, uma thread por processador lógico que o navegador informa. As threads exigem uma página isolada de outras origens, por isso o site envia os cabeçalhos COOP e COEP.
• WebAssembly em uma thread, o último recurso para um navegador que não roda threads, e a versão usada quando o navegador informa dois processadores lógicos ou menos.

A linha abaixo da prévia diz qual versão rodou, por exemplo "WebAssembly em várias threads". Ainda não medimos a versão WebGPU numa placa de vídeo de verdade, então o site não afirma nada sobre a velocidade dela. Seja qual for a versão, o seu dispositivo faz o trabalho: a linha de status mostra uma estimativa do tempo restante, medida no seu dispositivo durante o processo, em vez de prometer uma velocidade.

O que o navegador baixa e o que ele guarda

Tudo vem deste site. Os modelos são divididos em partes de no máximo 20 MiB, porque a hospedagem serve arquivos estáticos de até 25 MiB, e cada parte é conferida com a sua impressão digital SHA-256 antes do uso, então um download corrompido é recusado em vez de gerar legendas erradas. Os tamanhos são os dos arquivos publicados, em megabytes de um milhão de bytes:

O motor, o modelo e o detector só são baixados quando você adiciona um arquivo, não ao abrir a página. O seu arquivo, o som dele e as suas legendas nunca são guardados: vivem na aba aberta e somem quando você a fecha. Para remover o modelo guardado, limpe os dados deste site no navegador. O teste de rede passo a passo mostra como ver tudo isso nas ferramentas de desenvolvedor do navegador.

Como testamos

Um teste automático de navegador roda a cada mudança no site. Ele carrega uma cópia compilada do site no Chromium, o motor do Chrome e do Edge, com os cabeçalhos de segurança do próprio site, e confere, entre outras coisas, que:

• uma frase em inglês de 3,5 segundos do corpus LibriSpeech, "Concorde returned to its place amidst the tents.", sai como legendas com no máximo duas palavras erradas, com o modelo menor, a partir de um arquivo WAV, de um vídeo MP4 e de um arquivo WebM;
• depois de uma edição, um ajuste de 0,1 segundo e uma divisão, os arquivos SRT e VTT são lidos de volta exatamente como as legendas da página, e o leitor de legendas do próprio Chromium carrega o VTT;
• num arquivo de 60 segundos com fala a cada 10 segundos, as legendas aparecem janela por janela e cada frase começa na sua marca;
• Cancelar interrompe o processo, e o próximo arquivo reaproveita o modelo guardado, sem um novo download;
• um trecho em silêncio não gera legendas, uma parte danificada de um arquivo mantém as legendas anteriores e um arquivo que não é de mídia é recusado;
• toda requisição vai para este site, como GET ou HEAD sem corpo.

Esse teste usa uma frase curta de uma só pessoa, em um só idioma. Ele mostra que as peças funcionam juntas; não mede a precisão das legendas.

Limites que vale conhecer

• Precisão e tempos ainda não foram medidos neste motor, então nenhuma página dá um número. Música, ruído e pessoas falando ao mesmo tempo causam mais erros. O português ainda não foi medido.
• Sem nomes de quem fala, sem descrição de sons, sem tradução. As legendas são as palavras ditas, no idioma falado.
• Arquivos longos demoram. Onde o navegador consegue, a página lê em partes e nunca guarda o som inteiro do arquivo de uma vez, mas cada minuto de áudio é trabalho para o seu processador. O arquivo mais longo que rodamos até agora tem 12 minutos.
• Alguns arquivos são lidos inteiros. Quando o navegador não consegue decodificar o som em partes, a página o decodifica de uma vez e para em 500 MB ou 1 hora.
• Não testado em celulares. O modelo maior pode precisar de mais memória do que um celular tem livre; a página avisa quando o navegador informa que ficou sem memória.

Os componentes de código aberto e as licenças estão na página de créditos de código aberto.