Noções básicas das tecnologias de compressão e armazenamento aplicadas no ecossistema de uma produção de vídeo

 Coluna ABTU

Vivemos em um momento no qual a produção audiovisual, a engenharia de televisão e a Tecnologia da Informação (TI) ficaram totalmente interdependentes Dessa maneira a produção audiovisual hoje exige, mais do que nunca, conhecimentos básicos  e a adoção criteriosa de parâmetros técnicos para a garantia da qualidade em todo esse fluxo. Assim conhecer as taxas de dados e formatos suportados pelos equipamentos envolvidos nos processos, suas capacidades, tipos de memória e os formatos de armazenamento fazem parte de um ecossistema tecnológico essencial para que não exista o risco de um trabalho perder a qualidade na entrega final para o uso determinado, ou quando for necessário resgatá-lo de um sistema de armazenamento.

por Fábio de Sales Guerra Tsuzuki e Fernando Moreira

Codecs
Um codec – codificador / decodificador – é um algoritmo que processa os arquivos de áudio ou vídeo, e uma de suas funções é tornar o tamanho do arquivo menor, descartando cuidadosamente os dados que provavelmente não precisamos, uma sequência de imagens pode ter vários elementos que não se movem e um codec pode representar essa repetição de informação de maneira a diminuir o tamanho dos arquivos, para isso usam algoritmos para reduzir significativamente o tamanho do arquivo de áudio ou vídeo e, em seguida, descompactá-lo quando necessário.
Um arquivo de vídeo codificado corresponde a vários arquivos, cada arquivo menor que compõe o arquivo original de vídeo é chamado de trilha e pode armazenar informações como a imagem gravada, o áudio gravado (um arquivo original pode ter muitas trilhas de áudio, de 1 a 32) e ainda existem as trilhas adicionais com dados de apoio – ancilary data. Todo eles são vários pequenos arquivos que são colocados juntos, e a maneira de juntar todos esses arquivos é feito pelo wrapper, o empacotador do arquivo.

Containers ou wrappers
Os chamados Containers ou Wrappers são utilizados para armazenar dados de áudios e vídeos juntos em um único arquivo junto com informações adicionais, de forma a agrupar todos os arquivos de áudio, vídeo e codec em um pacote organizado Os containers têm extensão de arquivo tais como .mov, .avi, .mp3 ou .mp4. Embora alguns containers tendam apenas a armazenar mídia em um codec específico, como o container de arquivo .mpg usado para arquivos MPEG, outros, como .mov, podem conter dados em vários codecs de áudio e vídeo. Os containers informam se há dados de áudio e vídeo contidos nele para que aplicações, como os softwares players de mídia, saibam que devem ser reproduzidos de uma vez.

Compactação com perda
Ao definir um tipo de codec, a compactação com perdas é o método mais viável disponível. Embora perca qualidade em áudio, vídeo ou ambos, a compactação atualmente é um mal necessário devido a necessidade de compartilhar e armazenar o que, de outra forma, equivaleria a tamanhos de arquivo impraticáveis.
A chave ao usar a compactação com perdas é estabelecer o formato de compactação da mais alta qualidade para o uso pretendido, para que você siga a linha tênue entre a perda de qualidade e o tamanho do arquivo.

Compactação sem perda
A compactação sem perdas funciona muito como a tecnologia que conhecemos nos tipos de arquivo ZIP ou RAR, depois de compactar e descompactar, o arquivo é exatamente o mesmo. Por meio do uso de algoritmos inteligentes, o arquivo não perde qualidade, porém não é uma maneira eficiente de armazenar grandes arquivos de vídeo.
Um problema comum é a incompatibilidade entre codecs de gravação e reprodução, mas está se tornando menos comum, pois os containers modernos geralmente incluem todos os codecs de áudio e vídeo necessários para reproduzir o arquivo.

Arquivamento digital
Hoje ter apenas o arquivo salvo e protegido não é suficiente, é necessário ter um conjunto mínimo de metadados para facilitar a identificação do mesmo, incluindo seu número de registro, o registro de tombamento (VIANA, 2008), além disso podem conter dados a respeito do arquivo, como o conteúdo, ou ainda são dados que apoiam (ou apoiaram) o processo de produção do conteúdo.
As soluções tecnológicas para estes assuntos são chamadas de MAM – Media Asset Management – na indústria de Broadcast, DAM – Digital Asset Management – na indústria de Tecnologia da Informação, LOR – Learning Object Repository – na indústria da Educação, PACS – Picture Archiving and Communication System – na indústria médica. São nomes distintos para resolver o mesmo problema básico: gerenciar grandes acervos digitais. Dependendo da vertical de negócio, algumas funcionalidades são essenciais como o caso dos sistemas PACS, que precisam garantir a segurança da informação gerenciada, atendendo a uma série de certificações, de forma que informações pessoais são acessadas apenas por algumas pessoas.
Os pequenos acervos, encontrados em produtoras e pequenas emissoras de televisão, normalmente são acomodados em discos externos, que são mídias muitos frágeis, de maneira que uma simples queda resulta em perdas irreparáveis. Alguns locais acabam utilizando as mídias de produção para formar o acervo digital, como o caso de empresas que usam os discos XDCAM, baseados em tecnologia óptica, o que pode ser um problema, visto que as mídias voltadas para produção com a finalidade de arquivamento digital não são uma solução economicamente viável, mas com uma análise mais profunda ela pode ser interessante conforme o tamanho do acervo e se o período de guarda for bastante curto, até cinco (5) anos, inclusive isso ajuda na questão das migrações, já que utilizar a mídia de produção para fazer o arquivamento evita custos operacionais referentes à migração do conteúdo entre diferentes suportes.
Em se tratando de grandes acervos surgem os grandes problemas, como, por exemplo, a infraestrutura necessária e qual codec e wrapper utilizar.
Outra necessidade crescente consiste em converter os arquivos para uso em sistemas de OTT – Over-The-Top, até por que a força do OTT está na mudança dos hábitos de consumo de conteúdo e a necessidade de converter e formatar os vídeos para cada uma das telas de consumo (SHOBHANA,2018).
Outro problema para ser tratado é referente à elaboração de metadados para facilitar a recuperação dos itens arquivados. Até recentemente esses problemas eram resolvidos através das seguintes abordagens: um sistema de catalogação, como os sistemas utilizados para catalogar e classificar livros e um sistema para armazenar os arquivos digitais, porém o custo para ampliar e manter uma equipe, normalmente bibliotecários, é bastante elevado.
As matérias jornalísticas atuais ganham credibilidade quando contextualizadas através do uso de matérias de acervo e a história contada ganha uma visão ampla quando segue uma linha do tempo, inclusive a principal finalidade dos acervos televisivos consiste em atender as demandas da equipe de jornalismo (NATIONAL,2017).
O sistema exige o preenchimento de campos específicos para descrição do assunto da matéria, descrição da imagem apresentada, e ainda uma descrição do que é falado e esse trabalho consome bastante tempo, para cada hora de conteúdo são necessárias de 2 ou 3 horas para fazer todo trabalho de catalogação.
Com o avanço da inteligência artificial já está sendo possível a integração com a gestão de acervos digitais, visto que já temos uma base de informações cadastradas manualmente por bibliotecários e que, se usada de forma adequada, serve como base para ensinar os algoritmos de inteligência artificial como deve ser feito uma catalogação adequada, inclusive utilizando as novas técnicas desenvolvidas em deep learning, que será efetivamente muito mais automatizada e permitirá organizar de forma muito melhorada os grandes volumes de conteúdo (WEIDNER,2014).
A maneira como o acervo deve ser catalogado depende da finalidade que ele vai cumprir, por exemplo, se houver alguma integração entre o perfil do acervo e o perfil de consumo, então o acervo passa a ser distribuído e assim tem potencial de gerar receitas.
Existem poucas tecnologias disponíveis para realizar arquivamento digital. A mais difundida e utilizada é a tecnologia LTO, Linear Tape-Open uma tecnologia criada nos anos 1990 baseada em uma fita magnética especial, e largamente utilizada em backup pelos bancos, na indústria financeira, e por essa razão apresenta um custo benefício muito bom para a finalidade de arquivamento digital.
Ainda existem outras tecnologias apropriadas para arquivamento digital, dentre elas a tecnologia ODA, Optical Disc Archive, desenvolvida pela Sony em parceria com a Panasonic. É de fato a primeira tecnologia especialmente desenvolvida para a finalidade de arquivamento digital, segundo testes realizados pela Sony a capacidade de retenção da informação é garantida por 100 anos, utilizando a segunda geração ODA (SONY,2015).
Existem muitas empresas usando discos de baixa rotação para fazer arquivamento digital, o que apresenta muitas vantagens: não necessitam de um dispositivo especial para leitura e gravação de informações, se integram facilmente com os sistemas de informática e apresentam um consumo de energia extremamente baixo, o que por si só justifica a sua aplicação para arquivamento digital, outra característica importante deste discos é que permitem oferecer capacidades superiores aos discos de altas velocidades, ou seja, características importantes que se alinham com a finalidade de arquivamento digital.
Ainda existe a possibilidade de realizar o arquivamento em nuvem, que, apesar de consistir em um custo mensal e ainda ter um custo relativamente alto para recuperações, já tem se demonstrado ser mais barato do que realizar o arquivamento utilizando fitas LTO.
O uso da nuvem para arquivamento digital ainda apresenta as seguintes vantagens, como a facilidade para integrar com sistemas de distribuição de conteúdo como as redes sociais, plataformas de streaming, VOD (Vídeo sob demanda) e OTT (Over-the-Top), e também a facilidade para realizar integrações com serviços de análise inteligente de conteúdo disponibilizados pelos grandes players do momento: Amazon, Azzure, IBM (Watson), Google, Oracle, dentre outros.

Compatibilizando passado e futuro
Os sistemas de MAM nasceram para formar o acervo digital e devido a esta natureza ele ganhou a vocação de garantir a compatibilidade entre as diferentes tecnologias adotadas ao longo do tempo, com as mais variadas tecnologias, passando pelo padrão do vídeo SD, HD, Full HD, 4K e assim por diante, e inclui a compatibilização de wrappers e codecs através de conversores de formato. O mais importante papel do sistema de MAM na atualidade está em permitir a consolidação dos fluxos de produção de conteúdo integrando diferentes meios de distribuição tais como a TV aberta e OTT (WANG, 2014)
Os sistemas de MAM apesar de gerenciarem o acervo legado, que é um conteúdo antigo, estão abrindo as portas para novos perfis de negócios com geração de novas receitas, e consequentemente permitindo a integração de novas tecnologias, em particular a integração com os mecanismos de catalogação baseados em inteligência artificial, permitindo a abertura de novos negócios cujo perfil de consumo deve ser caracterizado pela fenômeno da cauda longa: grandes acervos consumidos por grandes públicos (ANDERSON,2016).

Conclusão
Este texto demonstra que não existe uma única solução para a escolha das tecnologias ideais para todo o ecossistema da indústria audiovisual, tratando-se na verdade de uma decisão que envolve a quantidade de pessoas, processos e tecnologias disponíveis, e soma-se ainda a evolução constante da tecnologia.
Enfim, a escolha das tecnologias, desde os codecs na captação até o sistema de armazenamento, deve ser pensada de ponta a ponta levando em consideração o  objetivo final da entrega, tempo necessário para executar a produção, custo dos equipamentos envolvidos e o tempo de armazenamento.

Fontes/Bibliografia
DODD, Andrew, LTO Tape Versus Optical Disk. Which Archive Technology Lands the Knockout Blow? Publicado em 27/12/2016, Disponível em https://community.hpe.com/t5/Around-the-Storage-Blo-ck/LTO-Tape-Versus-Optical-Disk-Which-Archive-Technology-Lands-the/ba-p/6927462
HAPRING, Patricia, Introdução aos Vocabulários Controlados Terminologia para arte, arquitetura e outras obras culturais. 2013. Di-sponível em https://www.sisemsp.org.br/wp-content/uploads/2013/ 12/Vocabularios%20Controlados%20-%20Digital.pdf
HOF, Robert, Deep Learning with massive amounts of computational power, machines can now recognize objects and translate speech in real time. Artificial intelligence is finally getting smart. MIT Technology Review. 23/04/2013. Disponível em https://www. technologyreview.com/s/513696/deep-learning/
KONG, David. How to Choose the Right Codec for Every Project. Criado em 15/02/2017. Acessado em 05/01/2019. Disponível em https://blog.frame.io/2017/02/15/choose-the-right-codec/
LINDBLOM, Odin. How to Choose the Right Codec and Container for Your Video Workflow – Criado em 5/10/2015. Acessado em 15/01/2019
NATIONAL, Archives, Digital Cataloguing Practicesat The National Archives, Publicado em março de 2017. Disponível em http://www. nationalarchives.gov.uk/documents/digital-cataloguing-practices-march-2017.pdf
NOVOMILENIO, SBT Digitaliza o seu acervo, publicado em 5/5/2001 Disponível em http://www.novomilenio.inf.br/ano01/0105a006.htm
PENNINGTON, Adrian. Codec wars: The battle between HEVC and AV1. Criado em 7/3/2018. Acessado em 15/01/2019. Disponível em https://www.ibc.org/delivery/codec-wars-the-battle-between-hevc-and-av1/2710.article
RICHTER, Felix, Online Video Boom Leads to Surge in Data Traffic, Publicado em 12/1/2014. Disponível em https://www.statista.com/chart/2349/consumer-data-traffic-2013-to-2018/
SHOBHANA, T., Understanding and Monetizing OTT Programming With MAM Solutions, Publicado em 11-1-2018. Disponível em https://www.theiabm.org/understanding-monetizing-ott-programming-mam-solutions/
SONY, Optical Disc Archive Generation 2, Publicado em abril de 2016. Disponível em https://www.digitaltrends.com/computing/sony-optical-disc-archive-2nd-gen/
SUN, Yi; Liang, Ding; Wang, Xiaogang; Tang, Xiaoou, Face Recognition with Very Deep Neural Networks, Cornell University, Publicado em 3/2/2015. Disponível em https://arxiv.org/abs/1502.00873
TSAHI, Levent-Levi. AV1 Specification Released: Can we kiss goodbye to HEVC and royalty bearing video codecs?. BlogGeek. me. Criado em 2/4/2018 – acessado em 01/01/2019. Disponível em https://bloggeek.me/av1-video-codec/
VIANA, Paula Maria Marques de Moura Gomes. Media Asset Management in Broadcast, Dissertation, Supervisor: Prof. Alves, Artur Pimenta, Faculdade de Engenharia da Universidade do Porto, publicado em 2008
XU, Weijia; Esteva, Maria; Jain, Suyog Dutt; Jain , Varun, Analysis of Large Digital Collections with Interactive Visualization, University of Texas, Austin. Disponível em https://www.cs.utexas.edu/~suyog/vast.pdf
WANG, Xi; Dong, Haining; The Application of Media Asset Management System in Television Program Operation. 2014. Disponível em https://download.atlantis-press.com/article/13283.pdf
WEIDNER, Andrew; Wu, Annie; Thompson, Santi; Automated Enhancement of Controlled Vocabularies:Upgrading Legacy Metadata in CONTENTdm, Publicado em 2014. Disponível em http://dcpapers. dublincore.org/pubs/article/view/3716
ZIMMERMAN, Steven. Google’s Royalty Free Answer to HEVC: A Look at AV1 and the Future of Video Codecs. Criado em 15/5/2017 acessado em 01/01/2019. Disponível em https://web.archive.org/web/20170614042710/https:/www.xda-developers.com/av1-future-video-codecs-google-hevc

 

 Fábio de Sales Guerra Tsuzuki é Doutor em Engenharia Mecatrônica pela Universidade de Tóquio, sócio fundador da Media Portal (desde 2008), empresa especializada no desenvolvimento de soluções para gestão de grandes acervos digitais, é a primeira empresa da América latina a integrar a tecnología ODA (Optical Disc Archive) em soluções para arquivamento digital. Participou dos primeiros projetos de MAM na área de Broadcast, projeto digitalização do SBT (NOVOMILENIO) e projeto de radiovideometria (Rede RNR) da Anatel. Contato: [email protected]

 

Fernando José Garcia Moreira é Doutor em Comunicação Social pela Universidade Metodista de São Paulo, Pedagogo, Publicitário, Profissional de Televisão, Professor Universitário. Diretor da TV Univap (Universidade do Vale do Paraíba – Brasil), Presidente da ABTU (2015-2019). Membro do Labcom Univap, da Sociedade Brasileira de Engenharia de Televisão, da Broadcast Education Association, da National Association of Television Program Executives e do Conselho Diretivo da Asociación de Televisones Educativas y Culturales Iberoamericanas. Contato: [email protected]