FASES DA AVALIAÇÃO

Fase 1 (Duplo-Anônimo Distribuído):  As propostas anonimizadas previamente na plataforma SAU Online são distribuídas e avaliadas por pares das áreas indicadas no momento do preenchimento do formulário de submissão (comitê de área). A avaliação dar-se-á pelo mérito científico da proposta, sua contribuição para o avanço da área, originalidade do experimento e a hipótese a ser testada no experimento seguindo os critérios de avaliação do próximo tópico. 

Fase 2 (Análise das notas de mérito): O Comitê de Avaliação Científica de Propostas (CACIP) analisa e classifica as propostas concorrentes com base nas notas recebidas durante a Fase 1 e elabora os textos de feedback aos proponentes. Particular atenção é dada aos casos de grande discrepância entre as notas recebidas. Caberá ao CACIP definir a nota final das propostas seguindo os mesmos critérios da Fase 1.  

Fase 3 (Classificação das propostas): Avaliação interna pelo Comitê de Alocação de tempo de linha, formado pela direção do LNLS, que classifica a ordem em que as propostas serão agendadas.  

Fase 4 (Viabilidade Técnica): Os coordenadores de linha certificam as propostas a serem realizadas e observam a necessidade de um pré-contato com a equipe de execução da proposta para avaliar alguma necessidade especial dos experimentos. Assim como nas linhas de luz, os laboratórios de apoio também certificarão as propostas que solicitarem o uso dessas instalações abertas. Caso o usuário não escolha durante a submissão os coordenadores de linha poderão sugerir e incluir na proposta, assim deverá ser analisada posteriormente pelos coordenadores dos laboratórios de apoio. 

Fase 5 (Segurança): Avaliação interna pela equipe de Segurança das propostas mais bem classificadas para cumprimento das questões de segurança. Em caso de problema, o proponente recebe uma mensagem do site SAU Online e deve fornecer todas as informações adicionais logo após solicitadas. 

Fase 6 (Resultado da avaliação): Os proponentes recebem uma mensagem do SAU Online sobre o resultado da avaliação da proposta. 

Fase 7 (Comunicação e Instruções): Os proponentes recebem uma mensagem do SAU Online com o período agendado e instruções para se prepararem para sua estadia no LNLS.

CRITÉRIOS DE AVALIAÇÃO

Sugere-se que os revisores façam um parecer circunstanciado sobre a Qualidade técnica e científica da proposta, atentando para os seguintes itens que nortearão o relato e a nota final: 

• A motivação científica e os objetivos do experimento estão claramente descritos? 
• As amostras a serem estudadas estão claramente descritas e previamente caracterizadas? 
• Existem estudos preliminares que justificam medições com luz síncrotron? 
• Os resultados esperados usando luz síncrotron parecem ter relevância científica ou técnica? A técnica experimental é adequada? 

As notas de 1 (mais baixa) a 5 (mais alta) serão atribuídas segundo as orientações abaixo; a nota geral será a média entre elas.  

Score e critérios para avaliação das propostas: 

Critério 1: Motivação Científica, Objetivos e Originalidade 

5 – Extraordinário. Motivação excepcionalmente clara, objetivos bem definidos e hipóteses altamente originais. 

4 – Excelente: Motivação bem apresentada, objetivos claros e notável originalidade na hipótese. 

3 – Bom: Motivação adequada, objetivos definidos e originalidade de hipóteses razoáveis. 

2 – Regular: Motivação pouco clara, objetivos imprecisos e originalidade de hipótese limitada. 

1 – Pobre: Motivação pouco clara/ausente, objetivos mal definidos e originalidade mínima de hipóteses. 

Critério 2: Descrição e Caracterização da Amostra 

5 – Extraordinário: Amostras extensamente descritas com caracterização prévia minuciosa. 

4 – Excelente: Amostras bem descritas com caracterização prévia sólida. 

3 – Bom: Descrição adequada da amostra com alguma caracterização prévia. 

2 – Regular: Detalhes e caracterização limitados da amostra. 

1 – Pobre: Informações e caracterização da amostra pouco claras/insuficientes. 

Critério 3: Justificativa do Síncrotron 

5 – Extraordinário: Justificativa abrangente e convincente para o uso da radiação síncrotron, incluindo estudos preliminares muito bons e alinhamento extraordinário com o propósito da linha de luz. 

4 – Excelente: Justificativa convincente para o uso da radiação síncrotron com alguns estudos preliminares e boa correspondência com o propósito da linha de luz. 

3 – Bom: Justificativa razoável para o uso da radiação síncrotron e correspondência razoável com a finalidade da linha de luz. 

2 – Regular: Justificativa limitada ao uso do síncrotron e não alinhada com o propósito da linha de luz. 

1 – Pobre: Falta de justificativa para o uso do síncrotron e da linha de luz. 

Critério 4: Resultados Esperados e Técnica Experimental 

5 – Extraordinário: Resultados excepcionalmente relevantes, técnica meticulosamente escolhida. 

4 – Excelente: Resultados altamente relevantes, técnica adequada. 

3 – Bom: Resultados científicos e tecnicamente importantes, técnica adequada. 

2 – Regular: Relevância limitada nos resultados, adequação técnica questionável. 

1 – Pobre: Resultados insignificantes, técnica inadequada ou mal escolhida. 

Peso do alinhamento do revisor às áreas das propostas (weighted score ranking) 

O peso do alinhamento da área de especialidade do revisor à área das propostas é um valor que visa compensar o valor da nota atribuída durante o processo de revisão. Mesmo que o revisor não seja especialista na área da proposta, o fator de correção será aplicado e o valor da nota final corrigido pelo comitê CACIP. 

Na tela de revisão da proposta, ao lado da nota a ser atribuída há um menu suspenso que traz os valores de 0,5, 1,0 e 1,5, onde o revisor na hora da avaliação atribuirá o peso de alinhamento. O CACIP então avaliará em conjunto a nota atribuída à proposta e o peso do alinhamento fornecido para a elaboração da nota e dos comentários aos usuários. Na tabela abaixo encontra-se o resumo da atribuição do peso do alinhamento entre a especialidade do revisor com a área de pesquisa da proposta a ser avaliada. 

COMITÊ DE AVALIAÇÃO CIENTÍFICA DE PROPOSTAS (CACIP)

O Comitê de Avaliação Científica de Propostas (CACIP), formado por pesquisadores de renome e externos ao CNPEM, experientes no uso de luz sincrotron, fará a análise do mérito científico das propostas de pesquisa com base nos pareceres dos revisores anônimos. A nota final de cada proposta será baseada exclusivamente nas distribuições das avaliações dos revisores e nas informações fornecidas nas propostas. 

Os representantes dos colegiados formam o Conselho do CACIP, que representa o CACIP junto à diretoria do CNPEM. O Conselho do CACIP elege/nomeia um presidente e um vice-presidente. 

A formação do CACIP com suas respectivas filiações, as áreas de atuação no comitê e o mandato estão informados na tabela abaixo. Em caso da não disponibilidade de algum membro por quaisquer motivos o LNLS indicará o(a) substituto(a). 

Critérios avaliados pelo LNLS (Etapa 6 do fluxograma de propostas): 

• A proposta científica está adequada com a linha de luz requerida pelo proponente? 
• Os experimentos propostos estão alinhados com a capacidade técnica de equipamentos e insumos disponíveis nas estações experimentais? 
• A proposta científica faz menção ao uso de laboratórios de apoio? Os laboratórios de apoio possuem os equipamentos e técnicas solicitadas pelo usuário? No caso da equipe do LNLS julgar que a proposta necessita do uso de um laboratório de apoio, ela poderá incluir posteriormente na proposta. 
• A equipe está bem formada para realizar a proposta? Há participantes suficientes para que o tempo de feixe seja usado de forma eficaz? A equipe possui participantes com experiência na técnica? Normalmente, para experimentos de dois ou três dias, a equipe deve conter pelo menos dois ou três membros. Um experimento de luz síncrotron raramente é um experimento solitário. 

Atenção: Dada a Importância dos resultados científicos anteriores para a processo geral de avaliação das propostas, recomenda-se que os Usuários verifiquem e atualizem suas publicações no portal SAU Online. 

DIRETRIZES DE ANONIMATO PARA PROPONENTES

Toda proposta deve ser escrita na terceira pessoa, de forma a não identificar intencionalmente os candidatos.  

Seguem algumas dicas para ajudar a ocultar a identidade do candidato e garantir um processo de avaliação de proposta mais justo: 

• Não inclua nomes de autores ou afiliações em nenhum lugar dos campos de texto da proposta; 
• Ao citar referências na proposta, use palavras neutras e na terceira pessoa. Isso se aplica especialmente à auto-referência. Por exemplo, substitua frases como “como mostramos em nosso trabalho anterior (José et al. 2020)” por “como José et al. (2020) mostrou…”; 
• Não faça referência a projetos anteriores usando linguagem que revele a identidade do(s) candidato(s); 
• Use referências a trabalhos publicados, incluindo trabalhos citáveis por DOI, sem incluir informações que possam revelar a identidade do(s) candidato(s); 
• Não inclua agradecimentos ou a fonte de qualquer financiamento na seção experimental da submissão; 
• A experiência e o histórico da equipe são fornecidos como informações suplementares e não devem ser disponibilizados na seção experimental da submissão; 
• Todas as propostas deverão conter um Resumo Gráfico da Proposta que explicite de forma esquemática a hipótese que será testada no experimento, com as principais escalas de comprimento e elementos químicos e cristalográficos envolvidos no experimento. Evitar ao máximo a identificação das afiliações e demais informações que possam identificar os autores da proposta. 

Por favor, entre em contato com as equipes das linhas de luz e os chefes das divisões científicas do LNLS para discutir suas ideias (Linhas de luz). Para questões relacionadas com as orientações para o processo de submissão de propostas, contacte o escritório de usuários (EdU – edu@cnpem.br).