fbpx
English
Processo de Avaliação de Propostas

O processo de avaliação de propostas do LNLS baseia-se num sistema de dupla anonimização distribuída (DAD), que consiste na revisão por pares onde os revisores desconhecem os proponentes e seus institutos – e vice-versa – e todos os proponentes e investigadores principais das propostas são potenciais revisores. O processo de avaliação inclui igualmente as propostas submetidas por pesquisadores do CNPEM. A alocação de tempo de feixe nas linhas de luz e laboratórios é baseada neste processo de avaliação científica. 

Novidades nesta chamada

FASES DA AVALIAÇÃO

Fase 1 (Duplo-Anônimo Distribuído):  As propostas anonimizadas previamente na plataforma SAU Online são distribuídas e avaliadas por pares das áreas indicadas no momento do preenchimento do formulário de submissão (comitê de área). A avaliação dar-se-á pelo mérito científico da proposta, sua contribuição para o avanço da área, originalidade do experimento e a hipótese a ser testada no experimento seguindo os critérios de avaliação do próximo tópico. 

Fase 2 (Análise das notas de mérito): O Comitê de Avaliação Científica de Propostas (CACIP) analisa e classifica as propostas concorrentes com base nas notas recebidas durante a Fase 1 e elabora os textos de feedback aos proponentes. Particular atenção é dada aos casos de grande discrepância entre as notas recebidas. Caberá ao CACIP definir a nota final das propostas seguindo os mesmos critérios da Fase 1.  

Fase 3 (Classificação das propostas): Avaliação interna pelo Comitê de Alocação de tempo de linha, formado pela direção do LNLS, que classifica a ordem em que as propostas serão agendadas.  

Fase 4 (Viabilidade Técnica): Os coordenadores de linha certificam as propostas a serem realizadas e observam a necessidade de um pré-contato com a equipe de execução da proposta para avaliar alguma necessidade especial dos experimentos. Assim como nas linhas de luz, os laboratórios de apoio também certificarão as propostas que solicitarem o uso dessas instalações abertas. Caso o usuário não escolha durante a submissão os coordenadores de linha poderão sugerir e incluir na proposta, assim deverá ser analisada posteriormente pelos coordenadores dos laboratórios de apoio. 

Fase 5 (Segurança): Avaliação interna pela equipe de Segurança das propostas mais bem classificadas para cumprimento das questões de segurança. Em caso de problema, o proponente recebe uma mensagem do site SAU Online e deve fornecer todas as informações adicionais logo após solicitadas. 

Fase 6 (Resultado da avaliação): Os proponentes recebem uma mensagem do SAU Online sobre o resultado da avaliação da proposta. 

Fase 7 (Comunicação e Instruções): Os proponentes recebem uma mensagem do SAU Online com o período agendado e instruções para se prepararem para sua estadia no LNLS.

CRITÉRIOS DE AVALIAÇÃO

Sugere-se que os revisores façam um parecer circunstanciado sobre a Qualidade técnica e científica da proposta, atentando para os seguintes itens que nortearão o relato e a nota final: 

  • A motivação científica e os objetivos do experimento estão claramente descritos? 
  • As amostras a serem estudadas estão claramente descritas e previamente caracterizadas? 
  • Existem estudos preliminares que justificam medições com luz síncrotron? 
  • Os resultados esperados usando luz síncrotron parecem ter relevância científica ou técnica? A técnica experimental é adequada? 

As notas de 1 (mais baixa) a 5 (mais alta) serão atribuídas segundo as orientações abaixo; a nota geral será a média entre elas.  

 

Score e critérios para avaliação das propostas: 

Critério 1: Motivação Científica, Objetivos e Originalidade 

5 – Extraordinário. Motivação excepcionalmente clara, objetivos bem definidos e hipóteses altamente originais. 

4 – Excelente: Motivação bem apresentada, objetivos claros e notável originalidade na hipótese. 

3 – Bom: Motivação adequada, objetivos definidos e originalidade de hipóteses razoáveis. 

2 – Regular: Motivação pouco clara, objetivos imprecisos e originalidade de hipótese limitada. 

1 – Pobre: Motivação pouco clara/ausente, objetivos mal definidos e originalidade mínima de hipóteses. 

 

Critério 2: Descrição e Caracterização da Amostra 

5 – Extraordinário: Amostras extensamente descritas com caracterização prévia minuciosa. 

4 – Excelente: Amostras bem descritas com caracterização prévia sólida. 

3 – Bom: Descrição adequada da amostra com alguma caracterização prévia. 

2 – Regular: Detalhes e caracterização limitados da amostra. 

1 – Pobre: Informações e caracterização da amostra pouco claras/insuficientes. 

 

Critério 3: Justificativa do Síncrotron 

5 – Extraordinário: Justificativa abrangente e convincente para o uso da radiação síncrotron, incluindo estudos preliminares muito bons e alinhamento extraordinário com o propósito da linha de luz. 

4 – Excelente: Justificativa convincente para o uso da radiação síncrotron com alguns estudos preliminares e boa correspondência com o propósito da linha de luz. 

3 – Bom: Justificativa razoável para o uso da radiação síncrotron e correspondência razoável com a finalidade da linha de luz. 

2 – Regular: Justificativa limitada ao uso do síncrotron e não alinhada com o propósito da linha de luz. 

1 – Pobre: Falta de justificativa para o uso do síncrotron e da linha de luz. 

 

Critério 4: Resultados Esperados e Técnica Experimental 

5 – Extraordinário: Resultados excepcionalmente relevantes, técnica meticulosamente escolhida. 

4 – Excelente: Resultados altamente relevantes, técnica adequada. 

3 – Bom: Resultados científicos e tecnicamente importantes, técnica adequada. 

2 – Regular: Relevância limitada nos resultados, adequação técnica questionável. 

1 – Pobre: Resultados insignificantes, técnica inadequada ou mal escolhida. 

 

Peso do alinhamento do revisor às áreas das propostas (weighted score ranking) 

O peso do alinhamento da área de especialidade do revisor à área das propostas é um valor que visa compensar o valor da nota atribuída durante o processo de revisão. Mesmo que o revisor não seja especialista na área da proposta, o fator de correção será aplicado e o valor da nota final corrigido pelo comitê CACIP. 

Na tela de revisão da proposta, ao lado da nota a ser atribuída há um menu suspenso que traz os valores de 0,5, 1,0 e 1,5, onde o revisor na hora da avaliação atribuirá o peso de alinhamento. O CACIP então avaliará em conjunto a nota atribuída à proposta e o peso do alinhamento fornecido para a elaboração da nota e dos comentários aos usuários. Na tabela abaixo encontra-se o resumo da atribuição do peso do alinhamento entre a especialidade do revisor com a área de pesquisa da proposta a ser avaliada. 

Peso Conhecimento na área de pesquisa
0,5 Não tenho conhecimento suficiente na área de pesquisa
1,0 Eu possuo conhecimento suficiente na área de pesquisa para realizar uma revisão qualificada
1,5 Eu sou especialista trabalhando na área de pesquisa e posso realizar uma revisão altamente qualificada.

COMITÊ DE AVALIAÇÃO CIENTÍFICA DE PROPOSTAS (CACIP)

O Comitê de Avaliação Científica de Propostas (CACIP), formado por pesquisadores de renome e externos ao CNPEM, experientes no uso de luz sincrotron, fará a análise do mérito científico das propostas de pesquisa com base nos pareceres dos revisores anônimos. A nota final de cada proposta será baseada exclusivamente nas distribuições das avaliações dos revisores e nas informações fornecidas nas propostas. 

Os representantes dos colegiados formam o Conselho do CACIP, que representa o CACIP junto à diretoria do CNPEM. O Conselho do CACIP elege/nomeia um presidente e um vice-presidente.

A formação do CACIP com suas respectivas filiações, as áreas de atuação no comitê e o mandato estão informados na tabela abaixo. Em caso da não disponibilidade de algum membro por quaisquer motivos o LNLS indicará o(a) substituto(a). 

Membro do comitê (CACIP) Filiação País Área CACIP Mandato
Marcelo Raul Ceolin INIFTA Argentina Química 2022-24
Maria Luiza Rocco UFRJ Brasil Química 2022-24
Watson Loh UNICAMP Brasil Química 2022-24
Alexandre Malta Rossi CBPF Brasil Ciências da Terra e Sustentabilidade/Ciências da Vida 2023-25
Regina Cely Rodrigues Barroso UERJ Brasil Ciências da Terra e Sustentabilidade/Ciências da Vida 2022-24
Teógenes Senna De Oliveira UFV Brasil Ciências da Terra e Sustentabilidade/Ciências da Vida 2022-24
Wânia Duleba USP Brasil Ciências da Terra e Sustentabilidade/Ciências da Vida 2022-24
Altair Soria Pereira UFRGS Brasil Física/ Engenharia 2022-24
Antonio Gomes de Souza Filho UFC Brasil Física/ Engenharia 2022-24
Jonder Morais UFRGS Brasil Física/ Engenharia 2022-24
Valentina Martelli USP Brasil Física/ Engenharia 2023-25
Paulo de Tarso UFC Brasil Física/Engenharia 2023-25
Alejandro Pedro Ayala UFC Brasil Física/ Engenharia 2024-26
Abner de Siervo UNICAMP Brasil Física/ Engenharia 2024-26

Critérios avaliados pelo LNLS (Etapa 6 do fluxograma de propostas): 

  • A proposta científica está adequada com a linha de luz requerida pelo proponente? 
  • Os experimentos propostos estão alinhados com a capacidade técnica de equipamentos e insumos disponíveis nas estações experimentais? 
  • A proposta científica faz menção ao uso de laboratórios de apoio? Os laboratórios de apoio possuem os equipamentos e técnicas solicitadas pelo usuário? No caso da equipe do LNLS julgar que a proposta necessita do uso de um laboratório de apoio, ela poderá incluir posteriormente na proposta. 
  • A equipe está bem formada para realizar a proposta? Há participantes suficientes para que o tempo de feixe seja usado de forma eficaz? A equipe possui participantes com experiência na técnica? Normalmente, para experimentos de dois ou três dias, a equipe deve conter pelo menos dois ou três membros. Um experimento de luz síncrotron raramente é um experimento solitário. 

Atenção: Dada a Importância dos resultados científicos anteriores para a processo geral de avaliação das propostas, recomenda-se que os Usuários verifiquem e atualizem suas publicações no portal SAU Online. 

DIRETRIZES DE ANONIMATO PARA PROPONENTES

Toda proposta deve ser escrita na terceira pessoa, de forma a não identificar intencionalmente os candidatos.  

Seguem algumas dicas para ajudar a ocultar a identidade do candidato e garantir um processo de avaliação de proposta mais justo: 

  • Não inclua nomes de autores ou afiliações em nenhum lugar dos campos de texto da proposta; 
  • Ao citar referências na proposta, use palavras neutras e na terceira pessoa. Isso se aplica especialmente à auto-referência. Por exemplo, substitua frases como “como mostramos em nosso trabalho anterior (José et al. 2020)” por “como José et al. (2020) mostrou…”; 
  • Não faça referência a projetos anteriores usando linguagem que revele a identidade do(s) candidato(s); 
  • Use referências a trabalhos publicados, incluindo trabalhos citáveis por DOI, sem incluir informações que possam revelar a identidade do(s) candidato(s); 
  • Não inclua agradecimentos ou a fonte de qualquer financiamento na seção experimental da submissão; 
  • A experiência e o histórico da equipe são fornecidos como informações suplementares e não devem ser disponibilizados na seção experimental da submissão; 
  • Todas as propostas deverão conter um Resumo Gráfico da Proposta que explicite de forma esquemática a hipótese que será testada no experimento, com as principais escalas de comprimento e elementos químicos e cristalográficos envolvidos no experimento. Evitar ao máximo a identificação das afiliações e demais informações que possam identificar os autores da proposta. 

Por favor, entre em contato com as equipes das linhas de luz e os chefes das divisões científicas do LNLS para discutir suas ideias (Linhas de luz). Para questões relacionadas com as orientações para o processo de submissão de propostas, contacte o escritório de usuários (EdU – edu@cnpem.br).