ATUALIZAÇÃO NO PROCESSO DE AVALIAÇÃO DA VIABILIDADE TÉCNICA

Além das mudanças no formato das propostas, o processo de avaliação da viabilidade técnica  também será modificado, tornando-se mais ativo, contínuo e integrado ao fluxo de submissão e avaliação.

A análise de viabilidade técnica passará a ser realizada a partir do momento da submissão da proposta, sem a necessidade de aguardar o prazo final da chamada. Os pesquisadores das linhas de luz fornecerão retorno sobre questões de viabilidade técnica o mais breve possível, permitindo que os proponentes esclareçam aspectos do experimento e, quando viável,  ajustem a proposta para adequá-la às capacidades da linha de luz. Esse processo cria uma interação mais dinâmica, possibilitando o refinamento das propostas para torná-las tecnicamente viáveis.

O período de submissão das propostas é de 10 de fevereiro a 8 de março. 

O processo interativo de viabilidade técnica, com possibilidade de diálogo e ajustes nas propostas, ocorrerá de 10 de fevereiro a 22 de março. 

Entre 22 e 29 de março, serão realizadas as finalizações da viabilidade técnica, sem possibilidade de ajustes por parte dos proponentes.

Esse novo modelo busca incentivar os proponentes a submeterem suas propostas antes do prazo final (8 de março), de modo a dispor de mais tempo para interação com as equipes das linhas de luz e aumentar as chances de que os experimentos propostos sejam tecnicamente viáveis e bem ajustados à infraestrutura do Sirius. 

AVALIAÇÃO CIENTIFICA DAS PROPOSTAS

• Os nomes dos proponentes e dos revisores das propostas só serão revelados após a avaliação final do Comitê de Avaliação Científica de Propostas (CACIP). As propostas serão julgadas seguindo os critérios descritos abaixo no texto;.

• As submissões, no entanto, devem incluir os nomes e afiliações de todos os pesquisadores nos campos apropriados do formulário da SAU-online; porém, o EdU (Escritório de Usuários) não incluirá nomes ou afiliações nas versões destinadas aos revisores.

• As propostas só poderão ser submetidas após a confirmação pelo Investigador Principal (PI) selecionado no formulário da proposta. Será enviado um e-mail de aviso em nome do PI informando sobre a elaboração da proposta, e ele deverá acessar a plataforma SAU Online para confirmar a submissão. Caso o PI não confirme a submissão até o final do prazo, a proposta não será considerada como submetida. O proponente terá a opção de reenviar o e-mail de aviso caso não receba resposta ou selecionar outro PI.

• Com os ajustes no processo de avaliação de viabilidade técnica, toda proposta enviada passará inicialmente para o status de pré-submetida. Somente após a conclusão da análise de viabilidade técnica, e caso seja considerada viável, a proposta será então alterada para o status de submetida.

• Se a proposta for considerada não viável, ela será recusada e não avançará para a etapa de avaliação científica. Nessa situação, o proponente estará apto a submeter uma nova proposta (dentro do período de submissão).

• Todas as propostas viáveis serão enviadas para avaliação de pelo menos 5 revisores anônimos (conhecidos apenas pelo EdU-Escritório de Usuários) e sem qualquer identificação dos proponentes.

• Em propostas baseadas em avaliação com duplo anonimato, o PI deve fazer o parecer científico de outras propostas com base na sinergia entre sua área de especialidade e os temas das propostas. Em situação em que o PI não tenha total confiança na adequação de sua especialidade ao tema de uma ou mais propostas recebidas para avaliar, sugere-se que indique na avaliação o fator de peso de sua adequação à área da proposta.

• Caso o PI identifique um conflito de interesse em relação a alguma proposta atribuída a ele, poderá solicitar a substituição por outra diretamente no sistema SAU Online, mediante justificativa. 

• Os Comitês de Avaliação Científica de Propostas (CACIP) farão a classificação das propostas por mérito científico com base nos pareceres anônimos. Somente após a finalização do processo de revisão do CACIP, a identidade dos proponentes será revelada. A alocação final de tempo de feixe será feita por um comitê de alocação de propostas formado pela direção do LNLS, com base na classificação de mérito científico e eventuais ajustes até o preenchimento completo dos turnos disponíveis a usuários. 

• Revisão por pares:  Para cada proposta submetida,  o PI (Investigador Principal) contribuirá com a análise de 5  na sua área de conhecimento, exemplo: Se o PI apresentou 1 proposta, receberá 5 propostas para análise. Se o PI submeter 2 propostas, receberá 10 propostas para análise. O PI poderá solicitar, conforme julgar necessário, que colaboradores nas propostas apresentadas ajudem na revisão da proposta, sendo o PI o único responsável pela apresentação dos relatórios no sistema SAU Online. O EdU-Escritório de Usuários classificará as propostas para revisão por pares, eliminando conflitos de interesse entre as propostas para revisão por pares e o PI. 

• Sistema de penalização:  Se o PI deixar de enviar parecer(es) de proposta(s), ou emitir parecer incompatível sem contribuição cientifica será contabilizado 0,1 pontos negativos para cada proposta não avaliada. Ao final do processo esse “saldo” será distribuído igualmente entre a(s) proposta(s) submetida(s) por ele como PI. Exemplo: foram submetidas 2 propostas para um certo PI, esse PI tinha 10 pareceres para emitir e só emitiu 6 deles, então ele tem um saldo negativo de 0,4 pontos (4 pareceres não emitidos X 0,1 ponto), então de cada uma das propostas submetidas por esse PI terão 0,2 pontos subtraídos (0,4 de saldo / 2 propostas). 

• Sistema de bonificação:  Como cada proposta de pesquisa deve conter até 5 pareceres, o CACIP deve julgar a qualidade dos mesmos e indicar qual deles teve a melhor contribuição no processo de avaliação de propostas. O PI que emitiu esse parecer o melhor parecer para uma proposta receberá 0,1 ponto somado à pontuação da proposta. A avaliação dos pareceres é conduzida de forma anônima, de modo que o CACIP não saiba as identidades dos revisores ou proponentes. Ao final, o balanço de “bônus” e as penalizações recebidas por cada PI que submeteu 2 propostas e emitiu, portanto, 10 pareceres, é bonificado com 0,2 pontos por emitir 2 pareceres julgados como melhores avaliações. Esse bônus é distribuído entre suas duas propostas de modo que cada proposta tem 0,1 ponto adicionado a nota.  
• Re-submissão de propostas:  Com o objetivo de valorizar propostas de alto mérito científico que não foram selecionadas devido à alta competitividade da última chamada, propostas anteriormente bem avaliadas poderão ser re-submetidas na chamada atual. Entretanto, devido ao ajuste implementado nesta chamada — na qual a avaliação de viabilidade técnica ocorre no início do processo — a proposta re-submetida também passará pela avaliação inicial de viabilidade técnica, podendo ser aceita ou recusada, sem possibilidade de edição. Isso ocorre porque, durante esta transição, as propostas re-submetidas ainda estarão vinculadas ao formulário antigo. Caso a proposta re-submetida seja considerada tecnicamente viável, ela se beneficiará da manutenção automática da nota obtida na chamada anterior, acrescida de 0,2 pontos. Para utilizar essa modalidade, o pesquisador deverá reenviar a proposta no sistema SAU Online, por meio do link “resubmit a proposal”, sem qualquer alteração no texto originalmente submetido. Se o pesquisador desejar editar ou complementar a proposta existente, recomenda-se realizar a submissão de uma nova proposta, seguindo o processo vigente.  Conforme as regras de avaliação do LNLS-Sirius, o pesquisador que re-submeter uma proposta será solicitado a revisar cinco (5) propostas de pesquisa, seguindo os mesmos critérios de uma submissão convencional.
  

  Importante: Cada proposta de pesquisa poderá ser re-submetida apenas uma vez. Propostas já re-submetidas em chamadas anteriores não poderão ser reenviadas nesta modalidade.

FASES DA AVALIAÇÃO

Fase 1 (Avaliação de viabilidade técnica no período de submissão das propostas): A análise de viabilidade técnica passará a ser realizada a partir do momento da submissão da proposta, sem a necessidade de aguardar o prazo final da chamada. Os pesquisadores das linhas de luz fornecerão retorno sobre questões de viabilidade técnica o mais breve possível, permitindo que os proponentes esclareçam aspectos do experimento e, quando viável, ajustem a proposta para adequá-la às capacidades da linha de luz. Esse processo cria uma interação mais dinâmica, possibilitando o refinamento das propostas para torná-las tecnicamente viáveis. 

Fase 2 (Duplo-Anônimo-Distribuído): As propostas anonimizadas       previamente na plataforma SAU Online são distribuídas e avaliadas por pares das áreas indicadas no momento do preenchimento do formulário de submissão (comitê de área). A avaliação no novo formato busca priorizar clareza, objetividade e aderência ao método científico, permitindo identificar de forma direta: (i) as hipóteses científicas a serem testadas; (ii) se o experimento proposto é adequado para testá-las; e (iii) o grau de maturidade do estudo, com base nas caracterizações prévias já realizadas. 

Fase 3 (Análise das notas de mérito): O Comitê de Avaliação Científica de Propostas (CACIP) analisa e classifica as propostas concorrentes com base nas notas recebidas durante a Fase 2, podendo modficá-las, e elabora os textos de feedback aos proponentes. Particular atenção é dada aos casos de grande discrepância entre as notas recebidas. Caberá ao CACIP definir a nota final das propostas seguindo os mesmos critérios da Fase 1.   

Fase 4 (Classificação das propostas): Avaliação interna pelo Comitê de Alocação de tempo de linha, formado pela direção do LNLS, que define a classificação final das.   

Fase 5 (Resultado da Avaliação): Os proponentes recebem uma notificação pelo SAU Online informando o resultado da avaliação da proposta. No entanto, a proposta ainda não estará pronta para o agendamento das datas de execução, pois será necessária a avaliação de segurança das amostras antes de avançar para a próxima etapa. 

Fase 6 (Segurança): Avaliação interna pelo comitê de Segurança das propostas mais bem classificadas para cumprimento das questões de segurança. Em caso de dúvidas, o proponente recebe uma mensagem do site SAU Online e deve fornecer todas as informações adicionais logo após solicitadas.  

Fase 7 (Comunicação e Instruções): Os proponentes recebem uma mensagem do SAU Online com o período agendado e instruções para se prepararem para vinda e realização da proposta.

CRITÉRIOS DE AVALIAÇÃO

Sugere-se que os revisores façam um parecer circunstanciado sobre a Qualidade técnica e científica da proposta, atentando para os seguintes itens que nortearão o relato e a nota final: 

• A motivação científica e os objetivos do experimento estão claramente descritos? 
• As amostras a serem estudadas estão claramente descritas e previamente caracterizadas? 
• Existem estudos preliminares que justificam medições com luz síncrotron? 
• Os resultados esperados usando luz síncrotron parecem ter relevância científica ou técnica? A técnica experimental é adequada?  

As notas de 1 (mais baixa) a 5 (mais alta) serão atribuídas segundo as orientações abaixo; a nota geral será a média entre elas.   

Score e critérios para avaliação das propostas: 

Critério 1: Motivação Científica, Objetivos e Originalidade  

5 – Extraordinário. Motivação excepcionalmente clara, objetivos bem definidos e hipóteses altamente originais.  

4 – Excelente: Motivação bem apresentada, objetivos claros e notável originalidade na hipótese.  

3 – Bom: Motivação adequada, objetivos definidos e originalidade de hipóteses razoáveis.  

2 – Regular: Motivação pouco clara, objetivos imprecisos e originalidade de hipótese limitada.  

1 – Pobre: Motivação pouco clara/ausente, objetivos mal definidos e originalidade mínima de hipóteses. 

Critério 2: Descrição e Caracterização da Amostra  

5 – Extraordinário: Amostras extensamente descritas com caracterização prévia minuciosa.  

4 – Excelente: Amostras bem descritas com caracterização prévia sólida.  

3 – Bom: Descrição adequada da amostra com alguma caracterização prévia.  

2 – Regular: Detalhes e caracterização limitados da amostra.  

1 – Pobre: Informações e caracterização da amostra pouco claras/insuficientes. 

Critério 3: Justificativa do Síncrotron  

5 – Extraordinário: Justificativa abrangente e convincente para o uso da radiação síncrotron, incluindo estudos preliminares muito bons e alinhamento extraordinário com o propósito da linha de luz.  

4 – Excelente: Justificativa convincente para o uso da radiação síncrotron com alguns estudos preliminares e boa correspondência com o propósito da linha de luz.  

3 – Bom: Justificativa razoável para o uso da radiação síncrotron e correspondência razoável com a finalidade da linha de luz.  

2 – Regular: Justificativa limitada ao uso do síncrotron e não alinhada com o propósito da linha de luz.  

1 – Pobre: Falta de justificativa para o uso do síncrotron e da linha de luz.  

Critério 4: Resultados Esperados e Técnica Experimental  

5 – Extraordinário: Resultados excepcionalmente relevantes, técnica meticulosamente escolhida.  

4 – Excelente: Resultados altamente relevantes, técnica adequada.  

3 – Bom: Resultados científicos e tecnicamente importantes, técnica adequada.  

2 – Regular: Relevância limitada nos resultados, adequação técnica questionável.  

1 – Pobre: Resultados insignificantes, técnica inadequada ou mal escolhida. 

Peso do alinhamento do revisor às áreas das propostas (weighted score ranking) 

O peso do alinhamento da área de especialidade do revisor à área das propostas é um valor que visa compensar o valor da nota atribuída durante o processo de revisão. Mesmo que o revisor não seja especialista na área da proposta, o fator de correção será aplicado e o valor da nota final corrigido pelo comitê CACIP.  

Na tela de revisão da proposta, ao lado da nota a ser atribuída há um menu suspenso que traz os valores de 0,5, 1,0 e 1,5, onde o revisor na hora da avaliação atribuirá o peso de alinhamento. O CACIP então avaliará em conjunto a nota atribuída à proposta e o peso do alinhamento fornecido para a elaboração da nota e dos comentários aos usuários. Na tabela abaixo encontra-se o resumo da atribuição do peso do alinhamento entre a especialidade do revisor com a área de pesquisa da proposta a ser avaliada.  

COMITÊ DE AVALIAÇÃO CIENTÍFICA DE PROPOSTAS (CACIP)

O Comitê de Avaliação Científica de Propostas (CACIP), formado por pesquisadores de renome e externos ao CNPEM, experientes no uso de luz sincrotron, fará a análise do mérito científico das propostas de pesquisa com base nos pareceres dos revisores anônimos. A nota final de cada proposta será baseada exclusivamente nas distribuições das avaliações dos revisores e nas informações fornecidas nas propostas.

A formação do CACIP com suas respectivas filiações, as áreas de atuação no comitê e o mandato estão informados na tabela abaixo. Em caso da não disponibilidade de algum membro por quaisquer motivos o LNLS indicará o(a) substituto(a).

Critérios avaliados pelo LNLS-Comitê de alocação (Etapa 4 do fluxograma de propostas): 

• A proposta científica está adequada com a linha de luz requerida pelo proponente? 
• Os experimentos propostos estão alinhados com a capacidade técnica de equipamentos e insumos disponíveis nas estações experimentais? 
• A proposta científica faz menção ao uso de laboratórios de apoio? Os laboratórios de apoio possuem os equipamentos e técnicas solicitadas pelo usuário? No caso da equipe do LNLS julgar que a proposta necessita do uso de um laboratório de apoio, ela poderá incluir posteriormente na proposta. 
• A equipe está bem formada para realizar a proposta? Há participantes suficientes para que o tempo de feixe seja usado de forma eficaz? A equipe possui participantes com experiência na técnica? Normalmente, para experimentos de dois ou três dias, a equipe deve conter pelo menos dois ou três membros. Um experimento de luz síncrotron raramente é um experimento solitário.  

DIRETRIZES DE ANONIMATO PARA PROPONENTES

Toda proposta deve ser escrita na terceira pessoa, de forma a não identificar intencionalmente os candidatos. Seguem algumas dicas para ajudar a ocultar a identidade do candidato e garantir um processo de avaliação de proposta mais justo:

• Não inclua nomes de autores ou afiliações em nenhum lugar dos campos de texto da proposta; 
• Ao citar referências na proposta, use palavras neutras e na terceira pessoa. Isso se aplica especialmente à auto-referência. Por exemplo, substitua frases como “como mostramos em nosso trabalho anterior (José et al. 2020)” por “como José et al. (2020) mostrou…”; 
• Não faça referência a projetos anteriores usando linguagem que revele a identidade do(s) candidato(s); 
• Use referências a trabalhos publicados, incluindo trabalhos citáveis por DOI, sem incluir informações que possam revelar a identidade do(s) candidato(s); 
• Não inclua agradecimentos ou a fonte de qualquer financiamento na seção experimental da submissão; 
• A experiência e o histórico da equipe são fornecidos como informações suplementares e não devem ser disponibilizados na seção experimental da submissão;  

Por favor, entre em contato com as equipes das linhas de luz e os chefes das divisões científicas do LNLS para discutir suas ideias (). Para questões relacionadas com as orientações para o processo de submissão de propostas, contacte o escritório de usuários (EdU – edu@cnpem.br).