Introdução
A investigação científica da linguagem é uma importante atividade para a compreensão dos fenômenos humanos em nossa sociedade altamente complexa. Por esse motivo, a linguística e suas subáreas apresentam diferentes perspectivas e metodologias para pesquisar a nossa capacidade para a linguagem e suas manifestações sociais. Nesse sentido, linguistas têm dedicado esforços para compreender como a área pode fortalecer ainda mais o rigor de suas investigações e a robustez de seus resultados a partir das proposições e reivindicações da ciência aberta (BEREZ-KROEKER et al., 2018; SÖNNING; WERNER, 2021; GRIEVE, 2021; ROETTGER, 2021; SARDINHA et al., 2021; FREITAG et al., 2021). A ciência aberta, de modo geral, é um movimento na comunidade científica que propõe que as práticas de pesquisa sejam cada vez mais transparentes, acessíveis, livres e colaborativas (BARTLING; FRIESIKE, 2014).1 Contudo, como apontado por Berez-Kroeker e colegas (2018), ainda falta uma discussão mais ampla sobre como a linguística e suas subáreas podem adotar práticas mais sustentáveis e reprodutíveis para gerar e disseminar o conhecimento científico sobre a linguagem.
Destacamos, considerando os apontamentos de Berez-Kroeker e colegas (2018), que algumas subáreas da linguística, como a psicolinguística, a linguística computacional e a sociolinguística, por conta da natureza dos métodos utilizados em suas investigações, adotam algumas das práticas propostas pela ciência aberta desde antes da consolidação das proposições do movimento (detalhamento de hardwares e softwares utilizados na coleta de dados, compartilhamento de códigos e disponibilização de bancos de dados de fala, por exemplo). Apesar do debate na grande área no Brasil ainda ser incipiente, há iniciativas como o XII Congresso Internacional da Associação Brasileira de Linguística (ABRALIN).2 Este congresso colocou a ciência aberta como tema central das discussões do evento, promoveu o debate sobre os desafios e as possibilidades da linguística neste contexto e advogou pelo desenvolvimento de uma ciência aberta brasileira que fortaleça boas práticas de pesquisa com vistas à justiça social.
De modo geral, este artigo tem como objetivo preencher uma lacuna na literatura da área discutindo os aspectos teóricos e metodológicos da adoção do pré-registro de estudos e oferecendo um passo a passo elementar para a implementação desta prática. Mais especificamente, nossos objetivos neste trabalho são (i) discutir como a prática de pré-registro de estudos insere-se no contexto da ciência aberta, (ii) apresentar o que é o pré-registro de estudos e explicar porque ele deve ser feito, (iii) sugerir um passo a passo de como o pré-registro de estudos pode ser implementado e, por fim, (iv) argumentar que essa prática pode fortalecer o rigor e a reprodutibilidade da pesquisa na linguística experimental. Para isso, o texto organiza-se da seguinte maneira: esta primeira seção, “Introdução”, apresenta os objetivos deste trabalho. A segunda seção, “Os problemas de confiança na ciência, a ciência aberta e o pré-registro de estudos”, discorre sobre o contexto da prática de pré-registro de estudos. A terceira seção, “Pré-registro de estudos: o que é e por que fazer?”, explica o que é esta prática e apresenta as implicações metodológicas da realização do pré-registro. A quarta seção, “Pré-registro de estudos: como fazer?”, sugere como implementar esta prática. Por fim, a quinta seção, “Pré-registro de estudos e a linguística experimental”, sintetiza as implicações metodológicas do pré-registro de estudos em relação à pesquisa na linguística experimental.
1. Os problemas de confiança na ciência, a ciência aberta e o pré-registro de estudos
A confiança na ciência decorre, entre outras coisas, da confiança dos/as pesquisadores/as e das pessoas no método científico. O método científico é considerado confiável porque, caracteristicamente, é um processo empírico, sistemático, objetivo, replicável e cumulativo (GAZZANIGA; HEATHERTON; HALPERN, 2018). De forma geral, esse método é representado pelo modelo hipotético-dedutivo, esquematizado na Figura 1. Simplificadamente, esse modelo consiste em: (i) observar um fenômeno, (ii) elaborar uma pergunta de pesquisa sobre o fenômeno observado, (iii) desenhar um experimento para testar a pergunta elaborada, (iv) coletar dados, (v) analisar os dados obtidos, (vi) interpretar os resultados e, muitas vezes, (vii) publicar os resultados encontrados sejam eles confirmatórios ou não. Apesar dessas etapas serem bem descritas e conhecidas, nem sempre os/as pesquisadores/as percebem os problemas que podem enfraquecer a robustez dos resultados encontrados e, consequentemente, a confiança na ciência.
Figure 1. Figura 1. Esquema do modelo hipotético-dedutivo Fonte: elaborado pelos autores, com base em Munafò e colegas. (2017).
Os problemas que enfraquecem a robustez dos resultados das pesquisas científicas são apontados por pesquisadores/as há pelo menos 40 anos (ROSENTHAL, 1979; KUNDA, 1990; KERR, 1998). Todavia, a chamada crise na confiabilidade e reprodutibilidade das investigações científicas é mais recente (IOANNIDIS, 2005; OPEN SCIENCE COLLABORATION, 2015). Esse cenário promove intensos debates na comunidade científica com o intuito de contornar a crise de confiabilidade e adotar práticas científicas que fortaleçam a reprodutibilidade de estudos (MUNAFÒ et al., 2017). Esses debates fazem parte da mobilização de pesquisadores/as pela ciência aberta.
Ciência aberta, do inglês open science, é um termo geral que designa uma série de pressupostos sobre como a ciência poderia ser feita no século XXI, considerando as novas alternativas para a produção e a comunicação científica possibilitadas pela web (FECHER; FRIESIKE, 2014; ALBAGLI, 2015). Esse movimento, de acordo com Fecher e Friesike (2014), propõe mudanças na prática científica que organizam-se em cinco escolas de pensamento, a saber: a escola democrática, que advoga pelo acesso livre ao conhecimento científico; a escola pública, que reivindica que o conjunto de saberes científicos seja acessível ao público; a escola pragmática, que estuda como fazer com o que o processo de produção do conhecimento seja mais eficiente; a escola da métrica, que pensa como a produção científica pode ser mensurada alternativamente; e, por fim, a escola da infraestrutura, que desenvolve plataformas, ferramentas e serviços para auxiliar o fluxo do trabalho dos/as cientistas.
Entretanto, de acordo com Albagli e Maciel (2011) e Albagli (2015), ainda não há consenso sobre uma exata definição e extensão do que é a ciência aberta, bem como suas implicações para a “sociedade da informação”. O movimento está inserido em um quadro de tensão: por um lado, advoga-se por mudanças sistêmicas na produção e disseminação do conhecimento científico, com o objetivo de tornar as práticas de pesquisa mais colaborativas e interativas; por outro lado, existe a possibilidade de que o conhecimento produzido colaborativamente seja privatizado e perpetue desigualdades sociais sistêmicas, principalmente em países do Sul global (ALBAGLI; MACIEL, 2011; ALBAGLI, 2015). Por este motivo, os/as pesquisadores/as no Brasil podem discutir que tipo de ciência aberta será construída no país e quais interesses as práticas adotadas representam.
Neste ensaio, consideraremos a ciência aberta como um movimento que reivindica uma prática científica mais transparente, acessível, livre e colaborativa com vistas à justiça social. Dessa forma, a ciência aberta advoga por mudanças sistêmicas no processo de pesquisa com o objetivo de, por exemplo, aprimorar a comunicação científica (cf NOSEK; BAR-ANAN, 2012), integrar novos modelos de se fazer ciência aos modelos tradicionais (cf UHLMANN et al., 2019) e reestruturar os incentivos e as práticas científicas (cf NOSEK; SPIES; MOTYL, 2012). Um exemplo dessas mudanças sistêmicas que visam reestruturar e criar boas práticas na condução de pesquisas é o pré-registro de estudos (CHAMBERS et al., 2013; NOSEK et al., 2018).
A próxima seção deste trabalho discorre sobre o que é um pré-registro.
2. Pré-registro de estudos: o que é e por que fazer?
Como apresentado anteriormente, o modelo hipotético-dedutivo é uma representação simplificada das etapas necessárias para conduzir uma pesquisa científica. Por isso, muitas vezes não estão tão claras nessa representação as possíveis atitudes do/a pesquisador/a que podem comprometer o rigor do método científico e, consequentemente, a confiança na ciência. Munafò e colegas (2017), no artigo A manifesto for reproducible science, elencam uma série de potenciais problemas que podem enfraquecer ou até invalidar os resultados das pesquisas. Esses problemas são apresentados em outra versão do modelo hipotético-dedutivo, esquematizado na Figura 2.
Figure 2. Figura 2. Esquema do modelo hipotético-dedutivo e das atitudes que comprometem o rigor científico Fonte: elaborado pelos autores, com base em Munafò e colegas. (2017).
Como pode ser visto em itálico na Figura 2, uma série de problemas pode comprometer a metodologia da investigação científica e a robustez de resultados de pesquisas, como o viés de publicação, a flexibilidade analítica e a prática de HARKing – estes serão explicados nos próximos parágrafos. Munafò e colegas assim como outros/as pesquisadores/as (CHAMBERS et al., 2013; NOSEK et al., 2018) advogam que o pré-registro de estudos pode ser uma prática importante para eliminar os problemas apontados na Figura 2.
Assim, o pré-registro de estudos é a documentação das etapas de uma pesquisa desde seu início (p. ex., o desenvolvimento das perguntas de pesquisa, hipóteses, desenho experimental e análise de dados). Essa documentação, por sua vez, deve ser armazenada publicamente em um repositório (SULLIVAN; DEHAVEN; MELLOR, 2019).
A prática de documentar as etapas de uma pesquisa tem como objetivo principal diminuir o viés de publicação e a flexibilidade analítica. O viés de publicação, também conhecido como the file drawer problem (ROSENTHAL, 1979), refere-se ao fato de que mais pesquisas são conduzidas do que publicadas. Na comunidade científica, existe a cultura de supervalorização de resultados “positivos” e inéditos. Por isso, a submissão e publicação destes resultados são mais valorizadas do que a submissão e publicação de resultados “negativos” (FANELLI, 2012). Por sua vez, a flexibilidade analítica, também conhecida como P-hacking (SIMMONS; NELSON; SIMONSOHN, 2011), refere-se à possibilidade de mudar os resultados de interesse de uma determinada investigação a partir do conhecimento dos dados obtidos. Assim, valorizam-se os resultados significantes enquanto descartam-se do conhecimento do público os resultados “negativos” ou não-significantes.
Por consequência, o pré-registro também faz uma clara distinção entre pesquisas exploratórias e confirmatórias. Pesquisas exploratórias geralmente são conduzidas para investigar um fenômeno pouco conhecido/descrito e encontrar relações entre possíveis variáveis identificadas na observação do fenômeno investigado. As pesquisas confirmatórias, por sua vez, são conduzidas para testar as hipóteses geradas através da observação de um fenômeno e, portanto, essas pesquisas testam as teorias que justificam a existência do fenômeno. A distinção feita pelo pré-registro entre esses tipos de pesquisa evita, por exemplo, a prática de HARKing (KERR, 1998). A prática de apresentar hipóteses a posteriori como se elas fossem hipóteses a priori pode ser danosa à ciência pois ela pode resultar, por exemplo, em erros tipo I, na impossibilidade de infirmar uma teoria, além de gradualmente promover modelos distorcidos de ciência (KERR, 1998).
Em resumo, o pré-registro de estudos é potencialmente capaz de diminuir o viés de publicação e a flexibilidade analítica, promover a distinção de pesquisas exploratórias e confirmatórias e, ainda, evitar a prática de HARKing. Por isso, seus objetivos têm implicações metodológicas importantes para o fortalecimento do rigor das investigações científicas.
A seguir, sugerimos como o pré-registro de estudos pode ser feito.
3. Pré-registro de estudos: como fazer?
A documentação do pré-registro deve ser armazenada publicamente em um repositório. Por isso, existem vários repositórios on-line para implementar esta prática. Um deles é a Open Science Framework (OSF). A OSF é uma plataforma aberta para a criação, o gerenciamento e o armazenamento de projetos de pesquisa. Mais especificamente, essa plataforma permite que o fluxo de trabalho de um projeto seja centralizado em apenas um lugar. Ainda, ela permite que as etapas de uma pesquisa sejam todas transparentes e estejam abertas ao público e à comunidade científica desde o início do desenvolvimento da ideia de pesquisa até o desenho experimental e a análise de dados (FOSTER; DEARDORFF, 2017; SULLIVAN; DEHAVEN; MELLOR, 2019). Essa plataforma foi criada pelo Center for Open Science (COS) em 2013. O COS é uma organização sem fins lucrativos que conduz pesquisas sobre o processo de pesquisa (meta-ciência, do inglês, metascience) e tem como objetivo criar e fortalecer comunidades científicas, além de desenvolver ferramentas que auxiliem os pesquisadores durante a condução de estudos (FOSTER; DEARDORFF, 2017).
Na OSF existem vários modelos para realizar o pré-registro de pesquisas quantitativas e qualitativas.3 Apesar dos diferentes modelos, o objetivo geral deles é documentar as etapas de uma pesquisa e, principalmente, as etapas que são desenvolvidas antes da coleta de dados. Por isso, o pré-registro deve ser feito antes da coleta oficial de dados ou antes da análise (estatística) dos dados.
Considerando a existência de outras plataformas e de diferentes modelos para realizar um pré-registro, neste ensaio, nosso objetivo é enumerar o passo a passo necessário para realizar uma documentação de qualidade, independentemente do modelo escolhido ou da plataforma utilizada. Ainda, para melhor ilustrar a prática, exemplificaremos na próxima subseção o passo a passo com um estudo pré-registrado na OSF.4
3.1. Pré-registro de estudos: passo a passo
O primeiro passo necessário para realizar o pré-registro de um estudo é elaborar um breve resumo da pesquisa. Na Imagem 1, pode-se observar a documentação do estudo de Carvalho e colegas (2022) e o breve resumo elaborado pelas autoras.
Figure 3. Imagem 1. Pré-registro do estudo de Carvalho e colegas (2022) Fonte: https://osf.io/37x2t
O segundo passo é inserir na plataforma a(s) pergunta(s) de pesquisa e hipótese(s) do estudo, conforme ilustrado na Imagem 2.
Figure 4. Imagem 2. Pergunta de pesquisa do estudo de Carvalho e colegas (2022) Fonte: https://osf.io/37x2t
Outra informação importante que deve ser apresentada na documentação é o desenho geral do experimento. Para este passo, pode-se descrever o tipo do estudo e de blinding que será utilizado no experimento, como ilustrado na Imagem 3. Uma breve descrição do experimento, bem como informações acerca da randomização de itens experimentais e/ou participantes também podem ser inseridas no pré-registro.
Figure 5. Imagem 3. Desenho geral do experimento conduzido no estudo de Carvalho e colegas (2022) Fonte: https://osf.io/37x2t
A população de interesse, bem como o tamanho da amostra fazem parte do quarto passo do pré-registro, como exemplificado na Imagem 4. Neste passo, deve ser informado se os dados que serão analisados já foram coletados, se fazem parte de um banco de dados que ainda não foi analisado ou se ainda não foram coletados, por exemplo. Ainda, os procedimentos de coleta de dados e outras informações complementares podem ser inseridas na documentação.
Figure 6. Imagem 4. População e tamanho da amostra do experimento conduzido no estudo de Carvalho e colegas (2022) Fonte: https://osf.io/37x2t
Outra informação que deve ser indicada no pré-registro refere-se às variáveis que serão coletadas/observadas/manipuladas. Na Imagem 5, está ilustrado o quinto passo para realizar a documentação.
Figure 7. Imagem 5. Variáveis do estudo de Carvalho e colegas (2022) Fonte: https://osf.io/37x2t
Por fim, o sexto passo refere-se à inserção de um plano de pré-análise dos dados. Neste plano, ilustrado na Imagem 6, pode ser incluído os procedimentos para o processamento dos dados, critérios de inclusão ou exclusão de participantes e as possíveis análises estatísticas a serem utilizadas.
Os critérios de inclusão e/ou exclusão e as análises que serão utilizadas podem ser alterados depois da coleta de dados por conta da natureza dos dados obtidos ou de outras decisões metodológicas. Por isso, destacamos que o pré-registro é um “plano e não uma prisão”,5 como explicado por DeHaven (2017). Ou seja, as eventuais alterações no desenvolvimento da pesquisa não invalidam o pré-registro, desde que elas sejam justificadas. Consequentemente, é importante que no pré-registro estejam documentadas quais decisões serão tomadas no tratamento inicial dos dados, independentemente das mudanças que poderão ocorrer depois da coleta e/ou durante a análise.
Figure 8. Imagem 6. Plano de pré-análise do estudo de Carvalho e colegas (2022) Fonte: https://osf.io/37x2t
Metadados, ilustrados na Imagem 7, relacionados com as áreas em que o estudo se insere, a licença Creative Commons sob a qual o pré-registro será publicado e hashtags podem ser incluídos na documentação para aumentar a possibilidade de acesso do documento.
Figure 9. Imagem 7. Metadados complementares do estudo de Carvalho e colegas (2022) Fonte: https://osf.io/37x2t
Depois da organização das informações necessárias e da inserção destas informações em um dos modelos da OSF, o pré-registro pode ser publicado.6 Quando publicado, o pré-registro torna-se um documento que pode ser acessado por outros/as pesquisadores/as e, inclusive, citado em publicações científicas. A busca pelo documento publicado pode ser feita diretamente na plataforma na qual o pré-registro foi realizado ou em ferramentas de busca como o Google Chrome, por exemplo. Ainda, faz parte da prática de documentar uma pesquisa a disponibilização do endereço eletrônico do pré-registro por parte dos/as pesquisadores/as nos diferentes tipos de comunicação científica.
Em resumo, estas são as seis etapas que sintetizam as informações necessárias para a criação de pré-registro na OSF:
1. resumo da pesquisa;
2. pergunta(s) de pesquisa;
3. desenho geral do experimento;
4. população e tamanho da amostra;
5. as variáveis que serão coletadas/observadas e analisadas;
6. plano de pré-análise de dados.
Até aqui, discutimos o que é um pré-registro de estudos, porque ele deve ser feito e como essa prática pode ser implementada. Na próxima seção, argumentamos que o pré-registro é importante para a linguística experimental por conta da metodologia empregada na área.
4. Pré-registro de estudos e a linguística experimental
Como apresentado previamente, o pré-registro de estudos pode ser considerado uma prática de pesquisa que objetiva, primariamente, mitigar e/ou eliminar possíveis problemas que enfraquecem os resultados da pesquisa científica (como, por exemplo, o viés de publicação, a flexibilidade analítica e a prática de HARKing). Essa prática surgiu nas pesquisas da medicina clínica e tornou-se a regra para essa área. Entretanto, assim como outros/as pesquisadores/as (CHAMBERS et al., 2013; MUNAFÒ et al., 2017; NOSEK et al., 2018) acreditamos que o pré-registro é uma prática importante para a ciência como um todo e, portanto, para a ciência da linguagem também.
A linguística experimental, por sua vez, é uma subárea da linguística que tem como premissa investigar as teorias de representação linguística com dados quantitativos – sejam esses dados oriundos de experimentos ou de análise de corpora (EDDINGTON, 2009; PODESVA; SHARMA, 2013). Consequentemente, a pesquisa nesta subárea também está sujeita aos problemas apresentados anteriormente (MUNAFÒ et al., 2017). Dessa forma, a prática de pré-registro, ilustrada na seção anterior, pode fortalecer o rigor e a reprodutibilidade da investigação científica na linguística experimental, por ser potencialmente capaz de diminuir o viés de publicação e a flexibilidade analítica, promover a distinção de pesquisas exploratórias e confirmatórias e, consequentemente, evitar a prática de HARKing (MUNAFÒ et al., 2017; NOSEK et al., 2018; ROETTGER, 2021).
Retomamos a reflexão empreendida por Berez-Kroeker e colegas (2018) para ressaltar que a adoção de novas práticas para fortalecer o rigor da pesquisa na linguística e em suas subáreas é necessária no contexto da ciência aberta. Nosso objetivo neste ensaio é discutir os aspectos teóricos e metodológicos da adoção do pré-registro de estudos e oferecer um passo a passo elementar para implementação dessa prática em qualquer plataforma e/ou modelo escolhido.
Conforme apontamos, o debate acerca da ciência aberta ainda é incipiente na linguística brasileira. Consequentemente, a adoção do pré-registro ainda não é uma prática consolidada e sua eficácia no cenário dos estudos linguísticos do Brasil não pode ser mensurada. Por este motivo, sugerimos que discussões sejam empreendidas para (i) identificar como a área no geral e a linguística experimental, mais especificamente, pode se beneficiar do pré-registro, (ii) analisar e desenvolver eventuais modificações na aplicação dessa prática, considerando a realidade brasileira e (iii) avaliar por meio de estudos de meta-ciência os resultados da adoção do pré-registro e o seu potencial para aumentar a rigorosidade da pesquisa científica.
Agradecimentos
Agradecemos às pareceristas pelos comentários e sugestões que possibilitaram que este ensaio fosse aprimorado.
Informações Complementares
Conflito de Interesse
PRB é membro do programa de Embaixadores do Center for Open Science (COS).MBM não tem conflitos de interesse a declarar.
Declaração de Disponibilidade de Dados
O compartilhamento de dados não é aplicável a este artigo, pois nenhum dado novo foi criado ou analisado neste estudo.
Fontes de Financiamento
O presente trabalho foi realizado com o apoio do Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq), Brasil. PRB foi bolsista de Iniciação Científica do CNPq (ciclo 2019-2020) no projeto “Frequência e repetição: efeitos no processamento de estruturas morfológicas e sintáticas complexas”. MBM é bolsista de Produtividade em Pesquisa 1D do CNPq e coordenadora do projeto mencionado (Processo 310729/2016-5).
Referências
ALBAGI, S. Ciência aberta em questão.In: ALBAGLI, S.; MACIEL, M. L.; ABDO, A. H. (Orgs.). Ciência aberta, questões abertas. Brasília: IBICT; Rio de Janeiro: UNIRIO, 2015, p. 9-25.
ALBAGLI, S.; MACIEL, M. L. Informação, poder e política: a partir do Sul, para além do Sul. In: MACIEL, M. L.; ALBAGLI, S. (Orgs.). Informação, conhecimento e poder: mudança tecnológica e inovação social. Rio de Janeiro: Garamond, 2011, p. 9-39.
ALBAGLI, S.; MACIEL, M. L.; ABDO, A. H. (Orgs.). Ciência aberta, questões abertas. Brasília: IBICT; Rio de Janeiro: UNIRIO, 2015. 312 p.
ALLEN, C.; MEHLER, D. M. A. Open science challenges, benefits and tips in early career and beyond. PLoS Biology, v. 17, n. 12, p. 1–14, 2019. DOI: https://doi.org/10.1371/journal.pbio.3000587
BARTLING, S.; FRIESIKE, S. (Orgs.). Opening Science: The Evolving Guide on How the Internet is Changing Research, Collaboration and Scholarly Publishing. Cham: Springer, 2014. 339 p. DOI: https://doi.org/10.1007/978-3-319-00026-8
BEREZ-KROEKER, A. L. et al. (2018). Reproducible research in linguistics: A position statement on data citation and attribution in our field. Linguistics, v. 56, n. 1, p. 1–18. DOI: https://doi.org/10.1515/ling-2017-0032
CARVALHO, L. M.; MOTA, M. B.; RIGATTI, P. C. Spelling-sound knowledge in the context of multilingualism: Is lexical access selective or nonselective? Revista Linguagem em Foco, Fortaleza, v. 13, n. 4, p. 22–36, 2022. DOI: https://doi.org/10.46230/2674-8266-13-7387.
CHAMBERS, C. et al. Trust in science would be improved by study pre-registration. The Guardian, 05 jun. 2013. Disponível em: https://www.theguardian.com/science/blog/2013/jun/05/trust-in-science-study-pre-registration. Acesso em: 07 fev. 2020.
DEHAVEN, A. Preregistration: A Plan, Not a Prison. COS Blog, 23 maio 2017. Disponível em: https://cos.io/blog/preregistration-plan-not-prison/. Acesso em: 25 nov. 20201
EDDINGTON, D. (Org.). Quantitative and Experimental Linguistics. Munique: Lincom, 2009.
FANELLI, D. Negative results are disappearing from most disciplines and countries. Scientometrics, v. 90, n 3, p. 891–904, 2012. DOI: https://doi.org/10.1007/s11192-011-0494-7
FECHER, B; FRIESIKE, S. Open Science: One Term, Five Schools of Thought. In: BARTLING, S; FRIESIKE, S. (Orgs.). Opening Science: The Evolving Guide on How the Internet is Changing Research, Collaboration and Scholarly Publishing. Cham: Springer, 2014, p. 17–47. DOI: https://doi.org/10.1007/978-3-319-00026-8_2
FOSTER, E. D.; DEARDORFF, A. Open Science Framework (OSF). Journal of the Medical Library Association, v. 105, n. 2, p. 203–206, 2017. DOI: https://doi.org/10.5195/jmla.2017.88
FREITAG, R. M. K. et al. Desafios da gestão de dados linguísticos e a Ciência Aberta. Cadernos de Linguística, v. 2, n. 1, p. e307, 2021. DOI: https://doi.org/10.25189/2675-4916.2021.v2.n1.id307
GAZZANIGA, M.; HEATHERTON, T.; HALPERN, D. Ciência Psicológica. 5. ed. Porto Alegre: Artmed, 2018.
GRIEVE, J. Observation, experimentation, and replication in linguistics. Linguistics, v. 59, n. 5, p. 1343-1356, 2021. DOI: https://doi.org/10.1515/ling-2021-0094
HAVEN, T. L. et al. Preregistering Qualitative Research: A Delphi Study. International Journal of Qualitative Methods, v. 19, p. 1–13, 2020. DOI: https://doi.org/10.1177/1609406920976417
HAVEN, T. L.; VAN GROOTEL, L. Preregistering qualitative research. Accountability in Research, v. 26, n. 3, p. 229–244, 2019. DOI: https://doi.org/10.1080/08989621.2019.1580147
IOANNIDIS, J. P. A. Why most published research findings are false. PLoS Medicine, v. 2, n. 8, p. 0696–0701, 2005. DOI: https://doi.org/10.1371/journal.pmed.0020124
KERR, N. L. HARKing: Hypothesizing After the Results are Known. Personality and Social Psychology Review, v. 2, n. 3, p. 196–217, 1998. DOI: https://doi.org/10.1207/s15327957pspr0203_4
KUNDA, Z. The case for motivated reasoning. Psychological Bulletin, v. 108, n. 3, p. 480–498, 1990. DOI: https://doi.org/10.1037/0033-2909.108.3.480
MUNAFÒ, M. R. et al. A manifesto for reproducible science. Nature Human Behaviour, v. 1, n. 0021, p. 1–9, 2017. DOI: https://doi.org/10.1038/s41562-016-0021
NOSEK, B. A.; BAR-ANAN, Y. Scientific Utopia: I. Opening Scientific Communication. Psychological Inquiry, v. 23, n. 3, p. 217-243, 2012. DOI: https://doi.org/10.1080/1047840X.2012.692215
NOSEK, B. A. et al. The preregistration revolution. Proceedings of the National Academy of Sciences of the United States of America, v. 115, n. 11, p. 2600–2606, 2018. DOI: https://doi.org/10.1073/pnas.1708274114
NOSEK, B. A.; SPIES, J. R.; MOTYL, M. Scientific Utopia: II. Restructuring Incentives and Practices to Promote Truth Over Publishability. Perspectives on Psychological Science, v. 7, n. 6, p. 615–631, 2012. DOI: https://doi.org/10.1177/1745691612459058
OPEN SCIENCE COLLABORATION. Estimating the reproducibility of psychological science. Science, v. 349, n. 6251, aac4716, 2015. DOI: https://doi.org/10.1126/science.aac4716
PODESVA, R. J.; SHARMA, D. (Orgs.). Research Methods in Linguistics. 1. ed. Cambridge: Cambridge University Press, 2013.
ROETTGER, T. B. Preregistration in experimental linguistics: Applications, challenges, and limitations. Linguistics, v. 59, n. 5, p. 1227-1249, 2021. DOI: https://doi.org/10.1515/ling-2019-0048
ROSENTHAL, R. The file drawer problem and tolerance for null results. Psychological Bulletin, v. 86, n. 3, p. 638–641, 1979. DOI: https://doi.org/10.1037/0033-2909.86.3.638
SARDINHA, T. B. et al. Portal multimodal/multilíngue para o avanço da Ciência Aberta nas Humanidades. Cadernos de Linguística, v. 2, n. 4, p. e406, 2021. DOI: https://doi.org/10.25189/2675-4916.2021.v2.n4.id406
SÖNNING, L.; WERNER, V. The replication crisis, scientific revolutions, and linguistics. Linguistics, v. 59, n. 5, p. 1179-1206, 2021. DOI: https://doi.org/10.1515/ling-2019-0045
SIMMONS, J. P.; NELSON, L. D.; SIMONSOHN, U. False-positive psychology: Undisclosed flexibility in data collection and analysis allows presenting anything as significant. Psychological Science, v. 22, n. 11, p. 1359–1366, 2011. DOI: https://doi.org/10.1177/0956797611417632
SULLIVAN, I.; DEHAVEN, A.; MELLOR, D. Open and Reproducible Research on Open Science Framework.Current Protocols Essential Techniques, v. 18, n. e32, p. 1–24, 2019. DOI: https://doi.org/10.1002/cpet.32
UHLMANN, E. L. et al. Scientific Utopia III: Crowdsourcing Science. Perspectives on Psychological Science, v. 14, n. 5, p. 711–733, 2019. DOI: https://doi.org/10.1177%2F1745691619850561
Avaliação
DOI: 10.25189/2675-4916.2022.V3.N1.ID616.R
Raquel Meister Ko Freitag
Avaliadora 1; Universidade Federal de Sergipe, Sergipe, Brasil
Marcia dos Santos Machado Vieira
Avaliadora 2; Universidade Federal do Rio de Janeiro, Rio de Janeiro, Brasil
RODADA 1
Avaliadora 1
2021-12-23 | 02:02
A temática é muito pertinente e merece discussão e aprofundamento. No entanto, a contribuição anuncia que vai tratar de pré-registro. Mas, na prática, retoma pontos que já foram apresentados em outros textos, por outros autores. Para a contribuição fazer jus ao que se anuncia no título, seria importante que a seção 4 fosse ilustrada com projetos registrados, e que cada um dos itens enumerados fossem apresentados de maneira detalhada e colaborativa com o leitor que se interessa em adotar princípios de cência aberta que perpassem pelo pré-registro de projeto. Esta ilustração poderia ser realizada com mais de um projeto, de áreas diferentes, mostrando como se faz na prática. A discussão téorica de um objeto empírico como o registro de projeto pouco contribui para a difusão da prática.
Não há dúvidas de que o pré-registro é importante, em todas as áreas da ciência; a grande dúvida é: como realizar um pré-registro? onde encontrar modelos e tutoriais sobre como preencher? Estas mesmas dúvidas surgiram há quase 10 anos com a tomada de consciência dos linguistas sobre a necessidade de submissão de projetos a comitê de ética em pesquisa. Era importante (e ainda é) discutir sobre questõe de ética em pesquisa, mas também ensinar passo a passo o procedimento (ver, por exemplo: https://rkofreitag.github.io/etica.html).
Para este manuscrito ter potencialidade de impacto efetivo nas práticas, e contribuir de fato para o movimento de Ciência Aberta, sugiro que as seções 4 e 5 sejam ampliadas, contemplando exemplificação de projetos registrados de pelo menos uma área da linguística, e que a contribuição assuma a forma de tutorial.
Avaliadora 2
2021-12-22 | 04:15
O ensaio teórico centra-se num tema atual e em proeminência na comunidade científica, oferece contribuição relativa às principais coordenadas para registro de projeto de pesquisa em repositórios destinados a isso. Merece acréscimos: discussão da relação ciência-sociedade-poder; ilustração do processo (coordenadas, escolhas, metadados) de registro com base em pelo menos um estudo (específico) na linguística experimental. Assim, viabilizará uma oportunidade de leitura a colaborar para conscientização da comunidade acadêmica e qualificação de seus esforços em prol de ciência aberta e cidadã. Além disso, o texto estará mais condizente com o título.
O texto em si é persuasivo, em razão da qualidade da tessitura temática e da redação.
Observações feitas no corpo do texto ajudarão no processo de revisão.
RODADA 2
Avaliadora 1
2022-01-12 | 06:03
O detalhamento e a exemplificação sugeridos e acatados conferiram, na minha opinião, maior clareza ao texto, em especial para sua finalidade de difusão da importância de pré-registro da pesquisa, pois deixa o texto mais didático e amigável ao leitor. Em relação à sugestão de reorientação para tutorial, gostaria apenas de sugerir que os três pontos elencados na carta resposta ao parecer fossem incluídos no corpo do texto, pois apresentam uma rica agenda de trabalho que ainda precisamos desenvolver.
Em relação às notas de rodapé, algumas delas têm informação de posicionamento que mereceriam estar no corpo do texto principal, é o caso das notas 4, 5 e 6. Já as notas 6 e 7 parecem ser desnecessárias: não seria mais interessante colocar o link entre parêntesis? Isso ajudaria na leitura e no acesso aos links.
Eu fico ainda em dúvida se este texto se configura como um ensaio. Em um ensaio, eu esperaria uma criação inovadora e livre de normas (que é justamente o contrário do que defende o texto, a normatização do trabalho de pesquisa). Eu continuo achando que o texto tem cara de tutorial, ou outro gênero de caráter mais informativo ou de divulgação.
As observações acima são apenas pontos de vista desta parecerista, não necessariamente uma demanda de mudança no texto.
Avaliadora 2
2022-02-09 | 08:05
Recomenda-se a publicação do artigo, pois a versão atual incorporou revisões que estão entre as sugeridas em parecer anterior. De todo modo, destacam-se duas observações relativas ao perfil do artigo, que talvez ainda possam ser consideradas pelos autores. A soma à seção 5 de uma discussão pautada na comparação/mensuração de perdas e ganhos-avanços relativos a projetos concretos de pesquisa experimental brasileira que recorrem ao tipo de registro defendido e os que não recorrem fortaleceria essa sessão. A seção 5 ainda tem um perfil mais forte de reapresentação do que está na literatura sobre pré-registro de projetos alinhado a práticas de ciência aberta, ao que é defendido em repositórios concebidos para esse fim, do que de uma análise criteriosa de casos brasileiros concretos que aderem em relação aos que não aderem a essa prática. Outro aspecto é a falta de uma proposta concreta de ações/compromissos que esteja ligada à visibilidade do pré-registro defendido: talvez o encaminhamento de compromisso do pesquisador responsável (e seus assistentes) com a notificação desse pré-registro/de seu endereço em qualquer atividade de divulgação de resultados/desenvolvimento vinculados ao projeto (comunicações, publicações) dali em diante, entre outras diretrizes. Esta observação é feita tendo em vista este trecho do artigo: "Quando publicado, o pré-registro torna-se um documento que pode ser descoberto por outros/as pesquisadores/as e, inclusive, citado em publicações científicas." O efetivo acesso fica, então, a mercê, segundo os autores, de o registro ser descoberto?! E num momento de sobrecarga de informações, correrá o risco de não ser descoberto? O pré-registro em si é a condição para "fortalecer o rigor e a reprodutibilidade da investigação científica na linguística experimental, por ser potencialmente capaz de diminuir o viés de publicação e a flexibilidade analítica, promover a distinção de pesquisas exploratórias e confirmatórias e, consequentemente, evitar a prática de HARKing" ? Ou, na verdade, há uma teia de ações articuladas a esse pré-registro? O último parágrafo propõe a outros a necessidade de discussão sobre como encaminhar essa prática, sem que os autores vislumbrem caminho(s) pautado(s) na realidade brasileira, embora os autores finalizem a sessão 4 dizendo o seguinte: "Na próxima seção, argumentamos como o pré-registro é importante para a linguística experimental." Bem, cabe aos autores definir o perfil que lhes interessa ressaltar no artigo.
Resposta dos Autores
DOI: 10.25189/2675-4916.2022.V3.N1.ID616.A
RODADA 1
2022-01-07
Caro editor da Cadernos de Linguística, Prof. Dr. René Alain Santana de Almeida
Caras pareceristas, Profa. Dra. Raquel Meister Ko Freitag e Profa. Dra. Marcia dos Santos Machado Vieira,
Primeiramente, gostaríamos de agradecer pela oportunidade de submeter o artigo “Pré-registro de estudos na linguística experimental” para avaliação na Cadernos de Linguística. Também, gostaríamos de agradecer às pareceristas pela avaliação de nosso manuscrito e pelos comentários e sugestões oferecidos, essenciais para que pudéssemos revisar atentamente nosso trabalho e aprimorar a discussão sobre o tema que abordamos.
Nesta carta resposta, respondemos aos comentários e às sugestões feitas pelas pareceristas. Justificamos e comentamos a revisão a partir das solicitações das avaliadoras.
Parecer emitido pela Profa. Dra. Raquel Meister Ko Freitag
Parecer:
A temática é muito pertinente e merece discussão e aprofundamento. No entanto, a contribuição anuncia que vai tratar de pré-registro. Mas, na prática, retoma pontos que já foram apresentados em outros textos, por outros autores. Para a contribuição fazer jus ao que se anuncia no título, seria importante que a seção 4 fosse ilustrada com projetos registrados, e que cada um dos itens enumerados fosse apresentado de maneira detalhada e colaborativa com o leitor que se interessa em adotar princípios de ciência aberta que perpassem pelo pré-registro de projeto. Esta ilustração poderia ser realizada com mais de um projeto, de áreas diferentes, mostrando como se faz na prática. A discussão teórica de um objeto empírico como o registro de projeto pouco contribui para a difusão da prática.
Não há dúvidas de que o pré-registro é importante, em todas as áreas da ciência; a grande dúvida é: como realizar um pré-registro? onde encontrar modelos e tutoriais sobre como preencher? Estas mesmas dúvidas surgiram há quase 10 anos com a tomada de consciência dos linguistas sobre a necessidade de submissão de projetos a comitê de ética em pesquisa. Era importante (e ainda é) discutir sobre questões de ética em pesquisa, mas também ensinar passo a passo o procedimento (ver, por exemplo: https://rkofreitag.github.io/etica.html).
Para este manuscrito ter potencialidade de impacto efetivo nas práticas, e contribuir de fato para o movimento de Ciência Aberta, sugiro que as seções 4 e 5 sejam ampliadas, contemplando exemplificação de projetos registrados de pelo menos uma área da linguística, e que a contribuição assuma a forma de tutorial.
Resposta:
Agradecemos a leitura cuidadosa e as sugestões feitas pela Profa. Dra. Raquel Meister Ko Freitag, as quais foram, na maior parte, acatadas. Como sugerido pela Profa., ampliamos as seções 4 (páginas 7-14) e 5 (parágrafos 27 e 30) com o objetivo de exemplificar os itens enumerados na seção 4 com um projeto pré-registro na psicolinguística experimental. Apenas gostaríamos de ressaltar que, neste momento, não consideramos que a contribuição deva assumir a forma de tutorial. Justificamos a não incorporação dessa modificação pelos seguintes motivos:
(i) o objetivo de nosso artigo é discutir aspectos teóricos e metodológicos da adoção do pré-registro, pois, até onde sabemos, não há em português e, especificamente, na área da linguística, um texto que elenque os aspectos mobilizados para a discussão das implicações do pré-registro como prática adotada no cenário de produção do conhecimento científico;
(ii) a elaboração de um tutorial considerando apenas um modelo de uma plataforma específica não seria, em nossa opinião, uma atividade produtiva, pois existem diferentes modelos e diferentes plataformas para documentar as etapas de uma pesquisa. Para um tutorial eficaz, precisaremos analisar diferentes plataformas e modelos de pré-registro de estudos, de modo que pudéssemos discutir essas diferenças e fazer sugestões aos leitores. Por essa razão, optamos por, neste momento, apenas apresentar os passos mais elementares, básicos e gerais para realizar um pré-registro, válidos para qualquer plataforma e modelo escolhido;
(iii) a mudança da natureza de nosso artigo para um tutorial implica considerávies alterações textuais e retóricas no manuscrito, impossibilitando que a revisão seja feita no período estipulado pela Revista.
Ressaltamos, porém, que a sugestão feita pela Profa. Raquel Freitag é muito importante porque, de fato, aponta uma lacuna na literatura de nossa área. A sugestão de um tutorial de pré-registro será considerada por nós para futura submissão. Agradecemos, novamente, pelo parecer emitido e pela oportunidade de aprimorar nosso ensaio a partir desta avaliação.
Parecer emitido pela Profa. Dra. Marcia dos Santos Machado Vieira
Comentário 1:
O ensaio teórico centra-se num tema atual e em proeminência na comunidade científica, oferece contribuição relativa às principais coordenadas para registro de projeto de pesquisa em repositórios destinados a isso. Merece acréscimos: discussão da relação ciência-sociedade-poder; ilustração do processo (coordenadas, escolhas, metadados) de registro com base em pelo menos um estudo (específico) na linguística experimental. Assim, viabilizará uma oportunidade de leitura a colaborar para conscientização da comunidade acadêmica e qualificação de seus esforços em prol de ciência aberta e cidadã. Além disso, o texto estará mais condizente com o título.
O texto em si é persuasivo, em razão da qualidade da tessitura temática e da redação.
Resposta:
Agradecemos o parecer emitido pela Profa. Dra. Marcia dos Santos Machado Vieira. A avaliação nos auxiliou no processo de revisão e, por isso, somos gratos à leitura atenta e criteriosa da parecerista. Fizemos o acréscimo de uma discussão sobre a relação ciência-sociedade-poder (página 2, parágrafo 1 | páginas 4-5, parágrafo 5 e nota de rodapé 6 | página 14-15, seção 5, parágrafo 30) e de uma breve ilustração do processo de pré-registro de um estudo (páginas 7-14, seção 4). Abaixo, respondemos a cada um dos comentários detalhadamente.
Comentário 2:
Por um lado, crise... (ótica científica) Por outro, políticas (políticas ou econômicas) promotoras de: a) “exigência” de citação/apreciação quantitativa-dependência de empresas gestoras de métricas/bancos de textos ou acesso a textos e filtros para dar lugar a poucos nos espaços de recursos financeiros, b) ampla mobilidade digital, c) urgência de (re)usabilidade social/econômica, d) inevitabilidade de recursos tecnológicos/algoritmos para acesso a espaços inclusive restritos, potencialidade de ação de hacker, e) agenda das Nações Unidas para 2030 (ver obs. abaixo) ... enfim, um ecossistema de estados/fatos “propícios”/na base do design estratégico desse rumo.
(Já se fala abertamente em muskismo, novo capitalismo! “Personalidade do ano” na Time)
Resposta:
Agradecemos à Profa. Marcia Vieira pela observação. De fato, existem diferentes maneiras de conceber as proposições da ciência aberta e compreender as diferentes reivindicações do movimento (Cf. BARTLING; FRIESIKE, 2014). Em nosso ensaio, optamos pela ótica científica da chamada “crise” de confiabilidade, pois o pré-registro, especificamente, surge como uma prática possivelmente ancorada dentro da escola da infraestrutura – de acordo com Fecher e Friesike (2014). Para não omitir as importantes discussões acerca da relação ciência (aberta)-sociedade-poder (ALBAGLI, 2015), adicionamos a nota de rodapé 6 (página 5) para explicitar as tensões, desafios e possibilidades que existem na relação mencionada.
Comentários 3 e 4:
Nessa linha, a Abralin investe em um repositório digital de bancos de dados e metadados. Plataforma da Diversidade Linguística Brasileira – já é um projeto da ABRALIN, data@abralin.org. Cf. Linguistweets2, Mesa Culturas Multilíngues/Seminário Viagem da Língua do Museu da Língua Portuguesa (https://www.youtube.com/watch?v=1aeiXl88yuo por volta
de 19min).
E já conta com a adesão de Comissões da ABRALIN
Nota 3: Há outras áreas que também sempre adotaram procedimentos envolvidos nos que dão lugar a ciência aberta? Estranho que Sociolinguística não esteja listada também, haja vista os vários bancos de dados de fala que sustentam descrição de uso. Há algum motivo? Há relação com graus de adoção? Ou melhor: o que consideram, na nota 3, práticas adotadas antes dessa mobilização em prol do que se vem chamando Ciência Aberta?
Resposta:
Agradecemos à parecerista pelos dois comentários e pela sugestão de inclusão da sociolinguística na nota de rodapé 3 (página 3). Para incorporar os comentários, alteramos o texto da nota com dois objetivos: (i) incluir a Sociolinguística na lista de subáreas exemplificadas neste trecho e (ii) apresentar outras duas iniciativas da Associação Brasileira de Linguística (ABRALIN) que fomentam o debate acerca da ciência aberta na grande área da linguística. Ressaltamos, porém, que esta nota não pretende ser uma lista exaustiva de subáreas, práticas adotadas e iniciativas realizadas na linguística brasileira. Como não fizemos nenhum levantamento sistemático sobre esses tópicos, essa nota serve ao propósito de exemplificar algumas práticas que são tradicionalmente implementadas pelas subáreas mencionadas (psicolinguística, linguística computacional e sociolinguística).
Comentário 5:
Seria interessante falar dos tipos? Explicitar aqui pelo menos em linhas gerais, aprofundar adiante.
Resposta:
Agradecemos à parecerista pela sugestão, a qual foi incorporada ao manuscrito, informando o leitor que os problemas metodológicos minimizados pelo pré-registro, apontados no parágrafo em questão, serão explicitados adiante (página 6, parágrafo 8) no texto.
Comentário 6:
É possível dizer que isso, em alguma medida, sempre foi feito via apresentação de projeto de Mestrado ou de Doutorado a um Programa de Pós-Graduação e a uma banca de docentes? Só não foi vinculado a um repositório para consulta pública/ampla. O foco aqui está em documentar as etapas e procedimentos projetados ao desenvolvimento da pesquisa e/ou o que se desenvolve e como se desenvolve a cada passo/fase e então consolidar num relato comparável ao teor do projeto?
Resposta:
Agradecemos a oportunidade de discorrer sobre esta questão. A apresentação do projeto de pesquisa a um Programa de Pós-Graduação (PPG) e a uma banca relaciona-se à prática científica de elaboração de uma pesquisa e ao processo de avaliação e validação das escolhas metodológicas feitas pelos/as pesquisadores/as. Essa prática, de fato, em alguma medida, assemelha-se ao pré-registro. Entretanto, a documentação das etapas da pesquisa distingue-se da apresentação de um projeto a um PPG e banca em, pelo menos, dois fatores: (i) o pré-registro torna-se público de imediato ou após um período de embargo - dependendo da pesquisa conduzida -, (ii) a documentação é submetida em uma plataforma quando várias etapas (perguntas de pesquisa, desenho experimental, amostra, plano de pré-análise de dados, etc.) foram previamente decididas.
Nesse sentido, é necessário que o pré-registro seja público para que seja avaliado pela comunidade científica - ver também Registered Reports (CHAMBERS, 2013) – e feito preferencialmente antes da coleta oficial ou da análise dos dados para evitar influências do conhecimento dos dados sob a análise estatística conduzida pelo/a pesquisador/a (KUNDA, 1990; SIMMONS; NELSON; SIMONSOHN, 2011).
Comentário 7:
Periódicos não preferem... Equipes editoriais e de organizadores tecem as tais preferências, pessoas preferem!!! E o fazem com base nas pessoas que propõem métricas e avaliam os periódicos...num sistema montado para isso...
Essa impersonalização é pertinente ao espaço de ciência aberta?
Na verdade, talvez as equipes editorias nem recebam os tais textos com resultados negativos para avaliar... Temos uma cultura voltada a mostrar apenas sucessos! (A vida invejável do facebook é consequência, fora da academia). Sempre ouvi desde estudante (de IC) sobre a importância de mostrar o que não foi bem-sucedido com justificativa/é educativo, mas pouco li textos nesse sentido (mesmo em dissertações, teses, livros que podem ser geridos por outras preferências).
Os periódicos integram um cenário!
Fórum de Editores da Anpoll – FEANPOLL – um lugar para esse debate
Resposta:
Agradecemos o comentário feito pela parecerista. Reescrevemos uma parte do trecho mencionado com o objetivo de evidenciar que a preferência pela publicação de resultados “positivos” se trata, como pontuado pela Profa., de uma cultura da comunidade científica (página 6, parágrafo 10). Dessa forma, direcionamos a discussão para a cultura que engloba os/as pesquisadores, as equipes editoriais, os/as autores/as, os órgãos de fomento, o sistema de métrica da produção científica, etc. Esse direcionamento condiz com a complexidade do debate, pois ele está além da adoção de melhores práticas para a produção do conhecimento.
Comentário 8:
Vários eventos científicos vêm recorrendo a esse tipo de repositório, embora nem sempre haja adesão (por parte de pesquisadores). Afinal, outra questão é “integridade acadêmico-científica e conduta ética”, “reconhecimento (referenciar claramente) do trabalho de pares, da contribuição de terceiros”..., cultura em processo de construção.
Resposta:
De fato, a cultura da ciência aberta está em construção. Além da adoção de práticas para a produção do conhecimento científico, estamos vivenciando um processo de mudança na comunicação do conhecimento – por exemplo, a adoção de plataformas e repositórios que facilitam o compartilhamento (de pôsteres, apresentações digitais, etc.) e o armazenamento público de materiais que antes compunham apenas a “literatura cinza” da produção científica (relatórios, pre-prints, pré-registros, etc.).
Comentário 9:
O texto centra-se em observações gerais sobre o processo de registro de pesquisa. Ganhará, em termos de conteúdo, se vier a contar com uma seção a ilustrar o registro de pesquisa em Linguística Experimental concreta/específica, segundo as coordenadas aqui traçadas
Resposta:
Agradecemos a sugestão, que foi incorporada da seguinte maneira: estendemos a seção 4 (páginas 7-14) com o objetivo de ilustrar brevemente como implementar as coordenadas traçadas no ensaio. Entretanto, para considerar tanto a sugestão da Profa. Dra. Marcia dos Santos Machado Vieira quanto da Profa. Dra. Raquel Meister Ko Freitag, o estudo escolhido para ilustração insere-se na psicolinguística experimental.
Referências
ALBAGI, S. Ciência aberta em questão.In: ALBAGLI, S.; MACIEL, M. L.; ABDO, A. H. (Orgs.). Ciência aberta, questões abertas. Brasília: IBICT; Rio de Janeiro: UNIRIO, 2015, p. 9-25.
BARTLING, S.; FRIESIKE, S. (orgs.). Opening Science: The Evolving Guide on How the Internet is Changing Research, Collaboration and Scholarly Publishing. Cham: Springer, 2014. 339 p. DOI: https://doi.org/10.1007/978-3-319-00026-8
CHAMBERS, C. D. Registered Reports: A new publishing initiative at Cortex. CORTEX, v. 49, n. 3, p. 609–610, 2013. DOI: https://doi.org/10.1016/j.cortex.2012.12.016
FECHER, B; FRIESIKE, S. Open Science: One Term, Five Schools of Thought. In: BARTLING, S; FRIESIKE, S. (ed.). Opening Science. 1. ed. 2014, p. 17–47. Cham: Springer. DOI: https://doi.org/10.1007/978-3-319-00026-8_2
KUNDA, Z. The case for motivated reasoning. Psychological Bulletin, v. 108, n. 3, p. 480–498, 1990. DOI: https://doi.org/10.1037/0033-2909.108.3.480
SULLIVAN, I.; DEHAVEN, A.; MELLOR, D. Open and Reproducible Research on Open Science Framework. Current Protocols Essential Techniques, v. 18, n. e32, p. 1–24, 2019. DOI: https://doi.org/10.1002/cpet.32
RODADA 2
2022-02-24 | 04:09
Caro editor da Cadernos de Linguística, Prof. Dr. René Alain Santana de Almeida
Caras pareceristas, Profa. Dra. Raquel Meister Ko Freitag e Profa. Dra. Marcia dos Santos Machado Vieira,
Primeiramente, gostaríamos de agradecer pela oportunidade de publicar o artigo “Pré-registro de estudos na linguística experimental” na Cadernos de Linguística. Também, gostaríamos de novamente agradecer às pareceristas pelas avaliações emitidas sobre o nosso manuscrito e pelas sugestões oferecidas, essenciais para que pudéssemos revisar atentamente nosso trabalho.
Nesta carta resposta, respondemos aos pareceres de segunda rodada emitido pelas avaliadoras. Justificamos e comentamos a revisão a partir das sugestões feitas.
Parecer emitido pela Profa. Dra. Raquel Meister Ko Freitag
Parecer:
O detalhamento e a exemplificação sugeridos e acatados conferiram, na minha opinião, maior clareza ao texto, em especial para sua finalidade de difusão da importância de pré-registro da pesquisa, pois deixa o texto mais didático e amigável ao leitor. Em relação à sugestão de reorientação para tutorial, gostaria apenas de sugerir que os três pontos elencados na carta resposta ao parecer fossem incluídos no corpo do texto, pois apresentam uma rica agenda de trabalho que ainda precisamos desenvolver.
Em relação às notas de rodapé, algumas delas têm informação de posicionamento que mereceriam estar no corpo do texto principal, é o caso das notas 4, 5 e 6. Já as notas 6 e 7 parecem ser desnecessárias: não seria mais interessante colocar o link entre parêntesis? Isso ajudaria na leitura e no acesso aos links.
Eu fico ainda em dúvida se este texto se configura como um ensaio. Em um ensaio, eu esperaria uma criação inovadora e livre de normas (que é justamente o contrário do que defende o texto, a normatização do trabalho de pesquisa). Eu continuo achando que o texto tem cara de tutorial, ou outro gênero de caráter mais informativo ou de divulgação.
As observações acima são apenas pontos de vista desta parecerista, não necessariamente uma demanda de mudança no texto.
Resposta:
Agradecemos o parecer de segunda rodada emitido pela Profa. Dra. Raquel Meister Ko Freitag e as sugestões feitas. Como sugerido pela parecerista, os pontos elencados na carta resposta ao primeiro parecer foram incluídos no corpo do texto (página 3, parágrafo 3; páginas 14-15, parágrafos 34-35). Em ralação às notas de rodapé mencionadas, elas foram incorporadas no texto (páginas 2-4-5, parágrafos 2, 6 e 7). Especificamente, as notas 6 e 7 foram inseridas no texto como hyperlinks para facilitar a leitura e o acesso dos leitores.
Apesar de entendermos que as observações feitas pela avaliadora são pontos de vista e não demandas de mudança no texto, gostaríamos de ressaltar dois pontos. O primeiro tem a ver com o nosso objetivo no ensaio: discutir os aspectos teóricos e metodológicos da adoção do pré-registro de estudos e oferecer um passo a passo elementar para implementação dessa prática em qualquer plataforma e/ou modelo escolhido. Ensaios são textos que expressam livre pensamento e que podem ter compromisso com teorias ou não. No nosso caso, mobilizamos a literatura para sustentar nossa argumentação sobre a importância do pré-registro – uma prática pouco conhecida e/ou implementada na comunidade de linguistas do Brasil. O segundo ponto tem a ver com a elaboração de um tutorial. Conforme mencionamos na carta-resposta anterior, de acordo com nosso entendimento do gênero, a elaboração de um tutorial demandaria uma pesquisa extensa sobre os as diferentes plataformas disponíveis e os diferentes modelos disponibilizados para que o tutorial fosse, de fato, útil para a comunidade de linguistas no Brasil.
Agradecemos, novamente, pelo parecer e pela oportunidade de revisar nosso ensaio a partir desta avaliação.
Parecer emitido pela Profa. Dra. Marcia dos Santos Machado Vieira
Parecer:
Recomenda-se a publicação do artigo, pois a versão atual incorporou revisões que estão entre as sugeridas em parecer anterior. De todo modo, destacam-se duas observações relativas ao perfil do artigo, que talvez ainda possam ser consideradas pelos autores. A soma à seção 5 de uma discussão pautada na comparação/mensuração de perdas e ganhos-avanços relativos a projetos concretos de pesquisa experimental brasileira que recorrem ao tipo de registro defendido e os que não recorrem fortaleceria essa sessão. A seção 5 ainda tem um perfil mais forte de reapresentação do que está na literatura sobre pré-registro de projetos alinhado a práticas de ciência aberta, ao que é defendido em repositórios concebidos para esse fim, do que de uma análise criteriosa de casos brasileiros concretos que aderem em relação aos que não aderem a essa prática. Outro aspecto é a falta de uma proposta concreta de ações/compromissos que esteja ligada à visibilidade do pré-registro defendido: talvez o encaminhamento de compromisso do pesquisador responsável (e seus assistentes) com a notificação desse pré-registro/de seu endereço em qualquer atividade de divulgação de resultados/desenvolvimento vinculados ao projeto (comunicações, publicações) dali em diante, entre outras diretrizes. Esta observação é feita tendo em vista este trecho do artigo: "Quando publicado, o pré-registro torna-se um documento que pode ser descoberto por outros/as pesquisadores/as e, inclusive, citado em publicações científicas." O efetivo acesso fica, então, a mercê, segundo os autores, de o registro ser descoberto?! E num momento de sobrecarga de informações, correrá o risco de não ser descoberto? O pré-registro em si é a condição para "fortalecer o rigor e a reprodutibilidade da investigação científica na linguística experimental, por ser potencialmente capaz de diminuir o viés de publicação e a flexibilidade analítica, promover a distinção de pesquisas exploratórias e confirmatórias e, consequentemente, evitar a prática de HARKing"? Ou, na verdade, há uma teia de ações articuladas a esse pré-registro? O último parágrafo propõe a outros a necessidade de discussão sobre como encaminhar essa prática, sem que os autores vislumbrem caminho(s) pautado(s) na realidade brasileira, embora os autores finalizem a sessão 4 dizendo o seguinte: "Na próxima seção, argumentamos como o pré-registro é importante para a linguística experimental." Bem, cabe aos autores definir o perfil que lhes interessa ressaltar no artigo.
Resposta:
Agradecemos a leitura cuidadosa e as sugestões feitas Profa. Dra. Marcia dos Santos Machado Vieira. Gostaríamos de aproveitar a oportunidade para apresentar as modificações que realizamos com base neste parecer e esclarecer alguns dos apontamentos feitos pela parecerista sobre nosso trabalho.
Primeiramente, gostaríamos de destacar que não é objetivo do nosso ensaio comparar ou mensurar perdas e ganhos da implementação da prática de pré-registro e nem arbitrar sobre como a prática tem sido implementada no Brasil. Não podemos realizar nenhuma asserção neste sentido, pois (i) a prática ainda é pouco implementada no cenário da linguística brasileira, portanto, a cultura de pré-registro de estudos tem se formado gradualmente e (ii) a comparação ou mensuração das perdas e de ganhos do pré-registro não pode ser feita neste momento porque para isso é necessário o desenvolvimento de uma pesquisa (de meta-ciência, ver IOANNIDIS, 2018) com o objetivo de estudar a prática.
Em relação à mencionada falta de uma proposta concreta de ações ligada à visibilidade do pré-registro, adicionamos no texto (página 13, parágrafo 28) que faz parte da prática de documentação da pesquisa a disponibilização do endereço eletrônico do pré-registro na comunicação científica. Isso porque muitos periódicos científicos solicitam que os/as autores/as apresentem o endereço eletrônico do pré-registro como condição sine qua non para a submissão. Nesse sentido, alteramos a palavra “descoberto” por “acessado” (páginas 12-13, parágrafos 27 e 28), visto que a documentação fica disponível na plataforma e em buscadores como o Google Chrome, por exemplo.
Destacamos também que o pré-registro não é uma condição para “fortalecer o rigor e a reprodutibilidade da investigação científica na linguística experimental”. O pré-registro tem como objetivo diminuir o viés de publicação e a flexibilidade analítica e, consequentemente, promover a distinção de pesquisas exploratórias e confirmatórias (HARKing). De acordo com a literatura (ROSENTHAL, 1979; KUNDA, 1990; KERR, 1998; MUNAFÒ et al., 2017; NOSEK et al., 2018; ROETTGER, 2021, inter alia), o viés de publicação, a flexibilidade analítica e a prática de HARKing são problemas que enfraquecem o rigor e a reprodutibilidade da pesquisa. Dessa forma, se adotado, o pré-registro tem potencial para aumentar o rigor e a reprodutibilidade das investigações científicas.
Por fim, alteramos a redação do último parágrafo da seção 4 (página 14, parágrafo 30) para manter coerente esse trecho com nossos objetivos. Ainda, acrescentamos, na seção 5 (página 15, parágrafo 34) um parágrafo com o objetivo de esclarecer que acreditamos que o pré-registro de estudos tem potencial de fortalecer a confiança nos resultados das pesquisas linguísticas, porém, que a adoção da prática e sua eventual adaptação para o cenário brasileiro necessita de uma ampla discussão e sistemática avaliação dos resultados da implementação da prática a longo prazo.
Agradecemos, mais uma vez, a leitura e o parecer emitido sobre nosso trabalho.
Referências:
IOANNIDIS, J. P. A. Meta-research: Why research on research matters. PLOS Biology, v. 16, n. 3, e2005468, 2018. DOI: https://doi.org/10.1371/journal.pbio.2005468
KERR, N. L. HARKing: Hypothesizing After the Results are Known. Personality and Social Psychology Review, v. 2, n. 3, p. 196–217, 1998. DOI: https://doi.org/10.1207/s15327957pspr0203_4
KUNDA, Z. The case for motivated reasoning. Psychological Bulletin, v. 108, n. 3, p. 480–498, 1990. DOI: https://doi.org/10.1037/0033-2909.108.3.480
MUNAFÒ, M. R. et al. A manifesto for reproducible science. Nature Human Behaviour, v. 1, n. 0021, p. 1–9, 2017. DOI: https://doi.org/10.1038/s41562-016-0021
NOSEK, B. A. et al. The preregistration revolution. Proceedings of the National Academy of Sciences of the United States of America, v. 115, n. 11, p. 2600–2606, 2018. DOI: https://doi.org/10.1073/pnas.1708274114
ROETTGER, T. B. Preregistration in experimental linguistics: Applications, challenges, and limitations. Linguistics, v. 59, n. 5, p. 1227-1249, 2021. DOI: https://doi.org/10.1515/ling-2019-0048
ROSENTHAL, R. The file drawer problem and tolerance for null results. Psychological Bulletin, v. 86, n. 3, p. 638–641, 1979. DOI: https://doi.org/10.1037/0033-2909.86.3.638
XML
