O Conselho de Arbitragem da FPB, que exerceu funções no quadriénio 2018/2022, detendo um profundo conhecimento sobre o desenvolvimento da arbitragem nas últimas décadas e imbuído de um espírito de renovação do sistema vigente, introduziu modificações de relevo no sistema de avaliação de juízes de basquetebol.
O texto de hoje descreve as motivações para essas mudanças, aborda alguns
dos aspetos mais relevantes do sistema que as implementou e apresenta algumas
reflexões sobre a utilização do sistema.
Como membro desse Conselho, fui parte relevante do processo de decisão
subjacente, tendo sido o autor da implementação informática do sistema.
.jpg)
1. Uma brevíssima resenha histórica da avaliação de
juízes em Portugal
Se a memória não me falha, a primeira vez que foi adotado um sistema
formal de avaliação de desempenho na arbitragem de basquetebol aconteceu na década
de oitenta do século passado, isto é, há quase meio século.
A avaliação de cada árbitro era feita por um Observador designado pelo
CA/FPB, mas cujo anonimato perante os próprios árbitros foi mantido nos
primeiros anos.
Isto é, os árbitros eram avaliados e classificados, mas não sabiam por
quem.
O avaliador preenchia uma ficha de avaliação inspirada no modelo FIBA, que
incluía vários itens a avaliar, sendo que cada item era pontuado diretamente
pelo avaliador, sem qualquer fundamentação expressa, resultando a soma das
pontuações de cada item na pontuação final da atuação do juiz, numa escala de
zero a cem pontos.
Cada item dizia respeito a área do desempenho do juiz (e.g. mecânica de
arbitragem, contactos pessoais ou violações) e, para identificar com maior
granularidade os aspetos onde a avaliação merecia reparos por parte do
avaliador, este poderia sublinhar algumas opções enumeradas dentro de cada item
(por exemplo., no caso de contactos, as opções correspondiam a situações de
contacto específicas, como carga / obstrução, ressaltos), mas sem nunca
fundamentar a sua opinião.
Apesar de terem surgido várias versões em suporte digital (em processador
de texto no início da primeira década do século XXI e depois em folha de
cálculo), a ficha de avaliação de juízes permaneceu analógica, com pequenas
variações nos aspetos da atuação a sublinhar, dentro de cada item.
A verdade é que, apesar de algumas pequenas modificações, a avaliação de
juízes permaneceu praticamente inalterada, desde a sua introdução em Portugal e,
o que é mais relevante, o espírito da mesma permaneceu praticamente
inalterável, tendo como único objetivo promover uma classificação final e nunca
o de ser uma ferramenta concreta para a formação e melhoria do desempenho dos juízes
e a sua nomeação.
2. Problemas identificados na avaliação de juízes
(2018)
Em Maio de 2018, ao analisar o sistema em vigor para avaliação de juízes,
com maior preocupação na avaliação dos árbitros, pudemos identificar vários
problemas:
- O sistema de avaliação estava algo descredibilizado, tinha um custo não irrelevante para clubes e FPB e servia, essencialmente, para produzir uma classificação final, para cada uma das categorias de juízes nacionais, determinando, assim, as promoções e despromoções para a época seguinte;
- O carácter analógico da ficha de avaliação impossibilitava a sistematização dos resultados da avaliação, por manifesta dificuldade em trabalhar múltiplos ficheiros distintos, em que os aspetos técnicos, que deviam ser trabalhados de forma concreta ou casuisticamente em cada árbitro, eram referidos de uma forma genérica e quase sempre deficientemente fundamentados;
- O mesmo carácter analógico da ficha de avaliação dificultava muitíssimo, para não dizer que impossibilitava, a quem tinha a responsabilidade de fazer a gestão do sistema de arbitragem, a mesma sistematização, quer individual, quer coletiva (por quadro de juízes ou por competição, por exemplo), dos aspetos a merecer trabalho de melhoria;
- O controlo da qualidade das contribuições dos avaliadores era afetado não só pelo carácter analógico da ficha, mas também pela sua entrega por correio eletrónico, com dezenas de ficheiros enviados por semana, resultando, não raras vezes, na chegada tardia das avaliações aos avaliados e ao próprio conselho de arbitragem, sendo que o tardio englobava períodos que se estendiam de poucos dias até vários meses.
- Havia assim, uma ausência de mecanismos que permitissem um controlo efetivo sobre a entrega atempada das avaliações;
- A atribuição explícita da nota pelo avaliador conduzia a situações curiosas, quer a nível das notas atribuídas, quer em termos de reação dos avaliados aos relatórios de avaliação, pois frequentemente para avaliações diferentes não havia fundamentação que a legitimasse e todos apenas se focavam na nota final da avaliação e sua consequência na classificação final;
- Não importava identificar em concreto os aspetos técnicos, físicos ou comportamentais a trabalhar e melhorar, mas a nota final para a classificação;
- A dificuldade acarretada pela natureza analógica global do sistema, em identificar, em cada momento da época, que juízes estariam em melhor momento de forma, com todas as consequências daí resultantes em termos de recompensa ou “penalização” em nomeações, pelo trabalho efetuado por cada juiz, em cada quadro;
- A dificuldade em gerir todo o processo de avaliação, um processo complexo com múltiplos requisitos em termos de jogos realizados, avaliados, com números mínimos e máximos de observações por juiz e por avaliador e outras regras relevantes;
- Não havia um pensamento critico assente na análise imparcial dos aspetos concretos do desempenho de cada árbitro ou oficial de mesa, que identificasse os fatores de melhoria a trabalhar, mas, frequentemente, a atribuição de uma classificação final determinada pela categoria, nome e desempenhos passados de cada árbitro e oficial de mesa;
Todos estes problemas levaram à decisão de adotar um sistema informático
para a gestão da avaliação de juízes, que permitisse ultrapassá-los de forma
eficaz, alterando significativamente a filosofia, o método e a forma como a avaliação
de juízes tinha vindo a ser feita.
3. Um sistema para gestão de desempenho de juízes
Desde o início, pareceu claro que o primeiro objetivo do sistema a desenhar
e implementar teria de ser diferente do objetivo, na prática, único do sistema
(analógico) até então em vigor. Não nos pareceu aceitável que tantos recursos
humanos e financeiros estivessem ao serviço de um sistema que basicamente
produzia uma classificação final e a isso se limitasse.
Mais do produzir a classificação final, o sistema a desenvolver tinha de
ter um objetivo principal e esse teria de ser a melhoria continua do desempenho
dos juízes.
O foco principal do sistema tinha de ser a identificação dos aspetos da atuação
dos juízes a necessitar de melhoria, o que implicava a fixação de vários
critérios na implementação do novo sistema de avaliação dos Juízes de
Basquetebol.
Assim:
- O primeiro, naturalmente, a identificação de cada um dos múltiplos aspetos da atuação de cada juiz, onde a melhoria fosse necessária;
- A utilização de um sistema de informação para guardar os resultados desta identificação individual permitiria uma visão global, obtida a partir das avaliações individuais:
- Para o juiz (ao longo da época e mesmo de várias épocas);
- Para o quadro de juízes a cada que juiz pertence
- Para as diferentes competições federativas
- A avaliação quantitativa final em cada jogo ter de resultar, expressamente, da análise do desempenho em cada um dos variadíssimos aspetos técnicos, pelo que a nota final não poderia ser o propósito da avaliação em si, mas o resultado da identificação dos aspetos a melhorar em cada atuação de cada juiz.
O sistema a adotar foi, portanto, concebido para ter o foco na melhoria de
desempenho dos juízes, e não na produção de uma classificação final dos juízes
de cada quadro competitivo. Nesta perspetiva, a classificação resultaria
simplesmente da qualidade do trabalho desenvolvido por cada juiz e da sua
efetiva capacidade de melhoria.
Para tornar clara esta mudança de foco, o sistema a desenvolver foi
batizado como Sistema de Gestão de Desempenho.
4. A pedra de toque do Sistema de Gestão de
Desempenho: a ficha de avaliação
Para resolver os problemas enumerados e atingir os objetivos subjacentes,
o desenho da ficha de avaliação assumiu um papel central. Para identificar sem
margem para dúvida os aspetos de atuação de cada juiz a necessitar de melhoria,
a estratégia de desenho incluiu dois aspetos:
- A individualização (discretização) de cada aspeto de atuação que se pretendesse avaliar;
- A atribuição de uma escala qualitativa para a avaliação de cada item a avaliar.
A discretização dos itens de avaliação é um aspeto crucial, para a
posterior definição do que somos capazes de analisar nos resultados da
avaliação. Se agregarmos num único item múltiplos aspetos da análise de contatos,
por exemplo, deixamos de poder discriminar entre todos os contactos agregados. Assim,
sempre que houve dúvidas na decisão de agregar ou desagregar, quando se
concebeu a nova ficha de avaliação, a decisão tomada foi no sentido de
desagregar. Os dados desagregados podem ser agregados do ponto de vista da
análise, enquanto os dados agregados na recolha não mais podem ser desagregados
(ou muito dificilmente o podem e, para esta última possibilidade, outros aspetos
que possibilitassem a desagregação teriam de ser incluídos na ficha).
Como resultado do processo de discretização, a ficha de avaliação de
árbitros passou de 7 grupos não
discretizados para 8 grupos com 47 itens discretizados, permitindo assim
uma enorme granularidade no registo de dados relativo à atuação de um árbitro
e, portanto, na análise que esse registo passou a possibilitar.
Não queríamos uma avaliação com
ideias gerais, mas sim uma avaliação com a identificação dos concretos pontos a
trabalhar e melhorar.
O segundo aspeto determinante no desenho da ficha foi a decisão de passar
a avaliar qualitativamente cada item, em vez de atribuição de um valor
numérico. Esta decisão teve como objetivo que o foco passasse a ser a qualidade
do desempenho e não o valor numérico atribuído (e o peso respetivo na pontuação
final). Importa referir que o sistema
foi pensado para que a própria escala pudesse variar, em caso de necessidade,
de item para item. Assim o sistema contempla diferentes escalas. Na ficha de
usada em 2021 / 2022, temos 3 escalas em uso: dois níveis (Sim, Não), seis
níveis (Mau, Insuficiente, Suficiente, Bom, Muito Bom, Excelente), ou mesmo 7
níveis (Não Aplicável, Mau, Insuficiente, Suficiente, Bom, Muito Bom,
Excelente)
O sistema foi, assim, desenhado de modo que cada item pudesse ter uma
escala qualitativa completamente configurável e, se fosse caso disso,
completamente diferente da escala utilizada para outros itens.
Para cada atuação, a transformação da avaliação qualitativa em quantitativa
é simples e feita pelo sistema, no momento da submissão da avaliação, mas
optou-se por não dar conhecimento ao avaliador, removendo assim a persistente e
perniciosa discussão centrada no valor final da avaliação, pois aquele muitas
vezes estava mais preocupado com a nota e a comparação entre juízes do que numa
avaliação técnica do desempenho do mesmo. Quer o avaliado, quer o avaliador
teriam acesso apenas à avaliação qualitativa.
5. Funcionalidades relevantes para um Sistema de
Gestão de Desempenho
A primeira prioridade do sistema, do ponto de vista de implementação,
passou pelo desenho do modelo de dados relativo à ficha de avaliação, de modo a
permitir a possibilidade da coexistência de múltiplas fichas, quer na mesma
época, quer para épocas diferentes, tendo em consideração a diferente natureza
de funções entre oficiais de mesa e árbitros e entre a avaliação “in loco” e a
avaliação vídeo.
Assegurado esse objetivo, a versão inicial do sistema concentrou-se na
criação de mecanismos que facilitassem o preenchimento das fichas de avaliação,
pois no caso dos jogos da LPB, a
avaliação de um jogo implicava o preenchimento de três fichas de avaliação de
árbitros (47 itens qualitativos e três itens de preenchimento textual para cada
uma) e quatro fichas de avaliação de oficiais de mesa (19 itens qualitativos e
um item de preenchimento textual).
A partir dessa primeira época, o sistema foi evoluindo no sentido de uma
maior simplificação e rentabilização do tempo despendido, passando a incluir:
- importação automática de nomeações a partir do sistema administrativo da Federação;
- disponibilização de fichas de avaliação vídeo para árbitros;
- funcionalidades de gestão do processo (complexo) de avaliação dos juízes das diferentes categorias nacionais, cada categoria com os seus requisitos;
- funcionalidades de gestão do próprio processo de nomeações.
Uma preocupação importante em termos de gestão do sistema, que teve reflexo
nas funcionalidades oferecidas, foi procurar assegurar uma maior transparência
e imparcialidade no funcionamento do sistema, tendo a gestão do processo de
avaliação sido entregue a quem, no Conselho, não tinha qualquer
responsabilidade na nomeação de juízes ou avaliadores.
Por outro, e com a mesma filosofia, quem teve a responsabilidade de nomear
avaliados e avaliadores nunca teve acesso à nota atribuída a cada Juiz, nem à
ordenação dos juízes, em cada momento da época, a não ser em grupos de juízes
(primeiros quatro classificados, segundos quatro e assim por diante), nem tinha
conhecimento das diferenças pontuais entre cada juiz.
Estes aspetos são fundamentais para garantir imparcialidade nas nomeações
dos avaliadores e na avaliação que estes fazem em cada jogo.
6, Alguns aspetos interessantes da análise de
funcionamento do sistema nas épocas de 2018/2019 a 2021/2022
O Sistema de Gestão de Desempenho funcionou durante quatro épocas,
iniciando-se o seu funcionamento em 2018/2019, sendo a última época da
responsabilidade do CA, de que fiz parte a época de 2021/2022. Funcionou sobre
a forma de sítio web, com importação automática das nomeações a partir do
sistema administrativo da FPB e com submissão online das avaliações pelos
avaliadores, sendo os avaliados imediata e automaticamente notificados aquando
dessa submissão.
Adicionalmente, foram definidos prazos limite para a entrega de avaliações,
a partir da data do jogo, e implementados mecanismos de aviso de avaliações em
atraso, o que possibilitou um controlo rigoroso da submissão das avaliações.
Optou-se, igualmente, por produzir uma avaliação sempre que estivesse
presente um comissário técnico ou observador num jogo, mesmo quando os limites
de observação por observador definidos já estivessem ultrapassados. Nestes
casos, o sistema registava automaticamente as avaliações como não tendo efeitos
classificativos, não deixando nesses casos nem os árbitros nem o Conselho de
Arbitragem de receber informação sobre a qualidade técnica da atuação dos
juízes.
Nestas quatro épocas, há vários números que interessa referir:
- Foram realizadas / registadas no sistema 9627 avaliações individuais, de árbitros e oficiais de mesa
- Nessas avaliações foram registados valores para 305 355 itens de avaliação e preenchidas 19 468 itens de texto (3 por avaliação de árbitro e 1 por oficial de mesa)
- Foram usadas 8 fichas de avaliação distintas (5 para árbitros e 3 para oficiais de mesa). No caso dos árbitros o sistema, como se pretendia, permitiu a possibilidade do registo diferenciado de avaliações presenciais e avaliações por vídeo. No caso dos oficiais de mesa, foi possível fazer dois tipos de avaliações, com fichas diferentes também, para a situação em que as observações foram feitas pelo comissário técnico na mesa (essencialmente em competições da LFB) e para a situação em que a avaliação foi feita pelo observador nomeado, a partir da bancada.
- O sistema usado, desenvolvido em modo pro bono, conta com cerca de 120 000 linhas de código.
Conforme feedback recebido dos comissários e observadores, a discussão
centrada na nota deixou de existir durante a época.
Em contrapartida e como resultado da análise que passou a ser possível e
comunicada aos comissários foi possível duplicar o número de caracteres escrito
pelos observadores no seu feedback textual aos juízes, desde a primeira época
de funcionamento, até à quarta época.
Durante o mandato exercido, foram introduzidas avaliações vídeo,
devidamente suportadas pelo sistema.
Ficou claro, até pelo surgimento da FPBTV, que o futuro do sistema de
avaliação de desempenho (qualquer que seja o nome ou a forma que ele venha a
ter no futuro) tem de passar pelas avaliações vídeo. Pudemos constatar que a
tarefa de avaliar da mesa dos oficiais é difícil e a posição ao nível do jogo
não permite a melhor avaliação de múltiplas situações de jogo. Devendo o foco
de um sistema deste tipo ser a melhoria do desempenho dos juízes, isso só será
conseguido com a maior eficácia possível, se avaliação por vídeo passar a ser o
método preferencial.
A quantidade de dados sobre avaliadores e avaliados e as possibilidades de tratamento
desses dados permitiram ganhar perspetivas não apenas sobre o desempenho dos
juízes, mas também dos avaliadores, tendo permitido inclusive a decisões
quantitativamente suportadas sobre quem é mais capaz de avaliar e a que níveis.
Finalmente, importa referir que a par da criação de um sistema informático
da gestão da avaliação, foi promovido um forte programa de informação e
formação junto de todos os Juízes e, essencialmente, dos avaliadores, por forma
a tornar claros os objetivos do sistema e a definir critérios, tanto quanto
possível mensuráveis, a serem aplicados na avaliação do desempenho de árbitros
e oficiais de mesa.
7. Cumprimento de
Uma boa parte dos objetivos que tínhamos pensado para o sistema foi
atingida. Todo o processo de submissão, acesso e consulta das avaliações ficou
simplificado, com controlo completo de submissão de avaliações e respetivos
prazos. Foi também possível oferecer funcionalidades para um controlo rigoroso,
quer do processo de avaliação, quer do processo das nomeações para as
competições nacionais.
Ficaram dois objetivos funcionais por cumprir.
Em primeiro lugar, a oferta de ferramentas de análise de desempenho no
próprio sistema, quer para serem usadas pelos juízes, quer para serem usadas
pelo conselho de arbitragem.
A existência de dados detalhados sobre mais de 9000 atuações individuais
de juízes permitiu que, por análise dos dados por ferramentas específicas,
determinado tipo de situações pudessem ser facilmente detetadas, quando
necessário. A oferta das ferramentas de análise seria relativamente fácil de
fazer, mas há sempre opções a fazer, em especial quando o desenvolvimento do
sistema é feito nos moldes em que este sistema foi desenvolvido.
O segundo objetivo, que surgiu decorrente da existência do Sistema de
Gestão de Desempenho e do surgimento da FPBTV, e que ficou por cumprir, seria a
possibilidade de adicionar evidências vídeo às avaliações realizadas. Apesar da
vontade e da disponibilidade de o fazer, os requisitos colocados em termos
técnicos à FPBTV, bem com a questão do acesso gratuito ou pago ao sistema,
acabaram por impossibilitar a implementação dessa funcionalidade.
Confesso que, do ponto de vista pessoal, acabou por ser o maior lamento,
dado que a possibilidade de termos evidências vídeo, classificadas em termos de
boas ou más decisões e em termos dos itens de atuação dos juízes, constituiriam
uma ferramenta de trabalho com um impacto potencial relevantíssimo, quer para o
trabalho individual dos juízes, quer para o trabalho coletivo coordenado pelo
CA em termos de formação.
8. Conclusão
O Sistema de Gestão de Desempenho aqui descrito constituiu uma ferramenta
completamente inovadora na avaliação de juízes na arbitragem de basquetebol em Portugal,
contribuiu para promover uma profunda mudança de mentalidade, em termos da
forma e do conteúdo como tinha vindo a ser feita a avaliação de juízes de
basquetebol, ao longo de cerca de quarenta anos.
Apesar de não ter sido possível concluir toda a oferta funcional que tinha
sido pensada inicialmente, o Sistema de Gestão de Desempenho constitui um
momento marcante no panorama da arbitragem de basquetebol em Portugal, com uma profunda
mudança de paradigma na avaliação de juízes de basquetebol.
por Rui Ribeiro
9-10-2022
#basquetebol #basketball #ideiasparaobasquetebol #baquetebolqueconta #juntosvamosmaislonge #basquetebolasuamedia #basquetebol5estrelas #basquetebolcomideias