O processo de avaliação de propostas do LNLS baseia-se num sistema de dupla anonimização distribuída (DAD), que consiste na revisão por pares onde os revisores desconhecem os proponentes e seus institutos – e vice-versa – e todos os proponentes e investigadores principais das propostas são potenciais revisores. O processo de avaliação inclui igualmente as propostas submetidas por pesquisadores do CNPEM.
Além das mudanças no formato das propostas, o processo de avaliação da viabilidade técnica também será modificado, tornando-se mais ativo, contínuo e integrado ao fluxo de submissão e avaliação.
A análise de viabilidade técnica passará a ser realizada a partir do momento da submissão da proposta, sem a necessidade de aguardar o prazo final da chamada. Os pesquisadores das linhas de luz fornecerão retorno sobre questões de viabilidade técnica o mais breve possível, permitindo que os proponentes esclareçam aspectos do experimento e, quando viável, ajustem a proposta para adequá-la às capacidades da linha de luz. Esse processo cria uma interação mais dinâmica, possibilitando o refinamento das propostas para torná-las tecnicamente viáveis.
Em relação ao ciclo VI do Sirius:
O período de submissão das propostas é de 10 de fevereiro a 8 de março.
O processo interativo de viabilidade técnica, com possibilidade de diálogo e ajustes nas propostas, ocorrerá de 10 de fevereiro a 22 de março.
Entre 22 e 29 de março, serão realizadas as finalizações da viabilidade técnica, sem possibilidade de ajustes por parte dos proponentes.
Esse novo modelo busca incentivar os proponentes a submeterem suas propostas antes do prazo final (8 de março), de modo a dispor de mais tempo para interação com as equipes das linhas de luz e aumentar as chances de que os experimentos propostos sejam tecnicamente viáveis e bem ajustados à infraestrutura do Sirius.
Fase 1 (Avaliação de viabilidade técnica no período de submissão das propostas): A análise de viabilidade técnica passará a ser realizada a partir do momento da submissão da proposta, sem a necessidade de aguardar o prazo final da chamada. Os pesquisadores das linhas de luz fornecerão retorno sobre questões de viabilidade técnica o mais breve possível, permitindo que os proponentes esclareçam aspectos do experimento e, quando viável, ajustem a proposta para adequá-la às capacidades da linha de luz. Esse processo cria uma interação mais dinâmica, possibilitando o refinamento das propostas para torná-las tecnicamente viáveis.
Fase 2 (Duplo-Anônimo-Distribuído): As propostas anonimizadas previamente na plataforma SAU Online são distribuídas e avaliadas por pares das áreas indicadas no momento do preenchimento do formulário de submissão (comitê de área). A avaliação no novo formato busca priorizar clareza, objetividade e aderência ao método científico, permitindo identificar de forma direta: (i) as hipóteses científicas a serem testadas; (ii) se o experimento proposto é adequado para testá-las; e (iii) o grau de maturidade do estudo, com base nas caracterizações prévias já realizadas.
Fase 3 (Análise das notas de mérito): O Comitê de Avaliação Científica de Propostas (CACIP) analisa e classifica as propostas concorrentes com base nas notas recebidas durante a Fase 2, podendo modificá-las, e elabora os textos de feedback aos proponentes. Particular atenção é dada aos casos de grande discrepância entre as notas recebidas. Caberá ao CACIP definir a nota final das propostas seguindo os mesmos critérios da Fase 1.
Fase 4 (Classificação das propostas): Avaliação interna pelo Comitê de Alocação de tempo de linha, formado pela direção do LNLS, que define a classificação final das propostas.
Fase 5 (Resultado da Avaliação): Os proponentes recebem uma notificação pelo SAU Online informando o resultado da avaliação da proposta. No entanto, a proposta ainda não estará pronta para o agendamento das datas de execução, pois será necessária a avaliação de segurança das amostras antes de avançar para a próxima etapa.
Fase 6 (Segurança): Avaliação interna pelo comitê de Segurança das propostas mais bem classificadas para cumprimento das questões de segurança. Em caso de dúvidas, o proponente recebe uma mensagem do site SAU Online e deve fornecer todas as informações adicionais logo após solicitadas.
Fase 7 (Comunicação e Instruções): Os proponentes recebem uma mensagem do SAU Online com o período agendado e instruções para se prepararem para vinda e realização da proposta.
Sugere-se que os revisores façam um parecer circunstanciado sobre a Qualidade técnica e científica da proposta, atentando para os seguintes itens que nortearão o relato e a nota final:
As notas de 1 (mais baixa) a 5 (mais alta) serão atribuídas segundo as orientações abaixo; a nota geral será a média entre elas.
Score e critérios para avaliação das propostas:
Pergunta 1: Qual a relevância cientifica da hipótese a ser testada?
5 – Pergunta científica excepcional, clara e de alto impacto
Pergunta muito bem definida, específica e diretamente testável, abordando uma lacuna crítica do conhecimento.
Apresenta forte alinhamento entre hipótese, metodologia e capacidades experimentais.
Tem potencial para gerar avanço conceitual significativo ou mudança de paradigma, com alto impacto na área.
4 – Pergunta clara e relevante, com bom potencial de impacto
Pergunta bem formulada e testável, direcionada a uma lacuna relevante.
A proposta demonstra boa coerência entre hipótese e abordagem experimental.
Os resultados podem expandir ou refinar significativamente o entendimento atual, com impacto consistente.
3 – Pergunta válida, porém incremental ou parcialmente desenvolvida
Pergunta razoavelmente definida, mas com alguma ambiguidade ou limitação na formulação.
Representa uma extensão natural de estudos existentes, com impacto predominantemente incremental.
Os resultados tendem a confirmar ou ajustar interpretações atuais, com avanço moderado.
2 – Pergunta fraca, pouco definida ou de baixo impacto
Pergunta vaga, parcialmente formulada ou de difícil testabilidade.
A motivação científica é limitada ou pouco conectada à hipótese proposta.
O potencial de avanço conceitual é baixo, com resultados de impacto reduzido.
1 – Pergunta ausente ou não testável
Não há pergunta científica clara ou hipótese testável.
A proposta baseia-se em replicação ou caracterização sem justificativa adequada.
Não permite avaliação objetiva de mérito científico nem avanço conceitual.
Pergunta 2: o design do experimento irá verificar a hipotese?
5 – Design experimental ideal e conclusivo
O experimento testa diretamente a hipótese com observáveis claramente definidos e inequívocos.
A técnica é necessária, suficiente e otimizada para a questão científica.
Resultados positivos ou negativos levam a conclusões claras e não ambíguas.
4 – Design robusto e bem alinhado
O experimento responde diretamente à hipótese, ainda que com pequenas limitações ou dependências de interpretação.
A técnica é apropriada e bem justificada.
Os resultados permitem conclusões sólidas, com baixo grau de ambiguidade.
3 – Design adequado, mas com limitações
O experimento aborda a hipótese de forma indireta ou parcial.
Os observáveis podem exigir interpretação adicional ou permitir múltiplas leituras.
A técnica é relevante, mas não totalmente otimizada para responder a questão.
2 – Design fraco ou parcialmente desconectado
O experimento responde apenas parcialmente à hipótese, com relação indireta entre observáveis e pergunta científica.
Há ambiguidade significativa na interpretação dos resultados.
A técnica escolhida não é ideal ou está mal justificada.
1 – Design inadequado ou não conclusivo
Mesmo com dados ideais, o experimento não responde à hipótese proposta.
Não há relação clara entre observáveis, técnica e pergunta científica.
O design é genérico ou inapropriado, impedindo conclusões relevantes.
Pergunta 3: As caracterizações prévias e descrição da preparação de amostra suportam a hipótese e o experimento proposto?
5 – Amostra e caracterização totalmente adequadas e bem validadas
A amostra é claramente apropriada para o experimento e diretamente alinhada à hipótese a ser testada.
A preparação é bem descrita, reprodutível e compatível com as exigências da técnica.
As caracterizações prévias são completas e demonstram de forma inequívoca que a amostra possui as propriedades necessárias.
4 – Amostra adequada com boa caracterização
A amostra é adequada para o experimento, com preparação bem descrita e consistente.
As caracterizações prévias são suficientes para sustentar a proposta, embora não totalmente abrangentes.
Há boa confiança de que a amostra permitirá testar a hipótese com confiabilidade.
3 – Amostra possivelmente adequada, com limitações
A adequação da amostra ao experimento é plausível, mas não totalmente demonstrada.
A preparação é descrita de forma parcial ou com lacunas relevantes.
As caracterizações prévias são limitadas, podendo gerar incertezas na interpretação dos resultados.
2 – Amostra inadequada ou insuficientemente caracterizada
A relação entre a amostra e a hipótese não está bem estabelecida.
A preparação é pouco detalhada ou potencialmente inadequada para a técnica proposta.
As caracterizações prévias são insuficientes para garantir que o experimento produzirá resultados confiáveis.
1 – Amostra inadequada ou não validada
A amostra não é apropriada para o experimento ou não há evidência de sua adequação.
A preparação é ausente, inconsistente ou incompatível com a técnica.
Não há caracterização prévia relevante que sustente a proposta, comprometendo completamente a validade do experimento.
Peso do alinhamento do revisor às áreas das propostas (weighted score ranking)
O peso do alinhamento da área de especialidade do revisor à área das propostas é um valor que visa compensar o valor da nota atribuída durante o processo de revisão. Mesmo que o revisor não seja especialista na área da proposta, o fator de correção será aplicado e o valor da nota final corrigido pelo comitê CACIP.
Na tela de revisão da proposta, ao lado da nota a ser atribuída há um menu suspenso que traz os valores de 0,5, 1,0 e 1,5, onde o revisor na hora da avaliação atribuirá o peso de alinhamento. O CACIP então avaliará em conjunto a nota atribuída à proposta e o peso do alinhamento fornecido para a elaboração da nota e dos comentários aos usuários. Na tabela abaixo encontra-se o resumo da atribuição do peso do alinhamento entre a especialidade do revisor com a área de pesquisa da proposta a ser avaliada.
| Peso | Conhecimento na área de pesquisa |
| 0,5 | Não tenho conhecimento suficiente na área de pesquisa |
| 1,0 | Eu possuo conhecimento suficiente na área de pesquisa para realizar uma revisão qualificada |
| 1,5 | Eu sou especialista trabalhando na área de pesquisa e posso realizar uma revisão altamente qualificada. |
O Comitê de Avaliação Científica de Propostas (CACIP), formado por pesquisadores de renome e externos ao CNPEM, experientes no uso de luz sincrotron, fará a análise do mérito científico das propostas de pesquisa com base nos pareceres dos revisores anônimos. A nota final de cada proposta será baseada exclusivamente nas distribuições das avaliações dos revisores e nas informações fornecidas nas propostas.
A formação do CACIP com suas respectivas filiações, as áreas de atuação no comitê e o mandato estão informados na tabela abaixo. Em caso da não disponibilidade de algum membro por quaisquer motivos o LNLS indicará o(a) substituto(a). Os mandatos poderão ser reconduzidos.
| Membro do comitê (CACIP) | Filiação | País | Área CACIP | Mandato |
|---|---|---|---|---|
| Marcelo Raul Ceolin | INIFTA | Argentina | Química | 2022-24 |
| Maria Luiza Rocco | UFRJ | Brasil | Química | 2022-24 |
| Watson Loh | UNICAMP | Brasil | Química | 2022-24 |
| Alexandre Malta Rossi | CBPF | Brasil | Ciências da Terra e Sustentabilidade/Ciências da Vida | 2023-25 |
| Regina Cely Rodrigues Barroso | UERJ | Brasil | Ciências da Terra e Sustentabilidade/Ciências da Vida | 2022-24 |
| Teógenes Senna De Oliveira | UFV | Brasil | Ciências da Terra e Sustentabilidade/Ciências da Vida | 2022-24 |
| Wânia Duleba | USP | Brasil | Ciências da Terra e Sustentabilidade/Ciências da Vida | 2022-24 |
| Altair Soria Pereira | UFRGS | Brasil | Física/ Engenharia | 2022-24 |
| Jonder Morais | UFRGS | Brasil | Física/ Engenharia | 2022-24 |
| Paulo de Tarso | UFC | Brasil | Física/Engenharia | 2023-25 |
| Alejandro Pedro Ayala | UFC | Brasil | Física/ Engenharia | 2024-26 |
| Abner de Siervo | UNICAMP | Brasil | Física/ Engenharia | 2024-26 |
Critérios avaliados pelo LNLS-Comitê de alocação (Etapa 4 do fluxograma de propostas):
Toda proposta deve ser escrita na terceira pessoa, de forma a não identificar intencionalmente os candidatos. Seguem algumas dicas para ajudar a ocultar a identidade do candidato e garantir um processo de avaliação de proposta mais justo:
Por favor, entre em contato com as equipes das linhas de luz e os chefes das divisões científicas do LNLS para discutir suas ideias (). Para questões relacionadas com as orientações para o processo de submissão de propostas, contacte o escritório de usuários (EdU – edu@cnpem.br).