Complexidade textual de itens de avaliação em larga escala: proposta de um mecanismo analítico
The growing concern with the improvement of educational quality has focused on the process of large-scale evaluations in Brazil, allowing a reformulation through the Reference Matrix that includes the competences and the measured skills. Against this background, this thesis has the primary object...
Na minha lista:
| Autor principal: | |
|---|---|
| Outros Autores: | |
| Formato: | doctoralThesis |
| Idioma: | pt_BR |
| Publicado em: |
Brasil
|
| Assuntos: | |
| Endereço do item: | https://repositorio.ufrn.br/jspui/handle/123456789/28075 |
| Tags: |
Adicionar Tag
Sem tags, seja o primeiro a adicionar uma tag!
|
| id |
ri-123456789-28075 |
|---|---|
| record_format |
dspace |
| institution |
Repositório Institucional |
| collection |
RI - UFRN |
| language |
pt_BR |
| topic |
Complexidade textual Domínio cognitivo Item de avaliação em larga escala Tipo de discurso Tópico discursivo CNPQ::LINGUISTICA, LETRAS E ARTES::LINGUISTICA |
| spellingShingle |
Complexidade textual Domínio cognitivo Item de avaliação em larga escala Tipo de discurso Tópico discursivo CNPQ::LINGUISTICA, LETRAS E ARTES::LINGUISTICA Conceição, Jailson Almeida Complexidade textual de itens de avaliação em larga escala: proposta de um mecanismo analítico |
| description |
The growing concern with the improvement of educational quality has focused on the process
of large-scale evaluations in Brazil, allowing a reformulation through the Reference Matrix that
includes the competences and the measured skills. Against this background, this thesis has the
primary objective of proposing an analytical mechanism to identify, based on criteria related to
the structure of the text, the degree of Textual Complexity (TC) of a large-scale evaluation item.
Specifically, it is aimed to: (a) discuss the notion of textual complexity; (b) to propose criteria
related to the compositional dimension of the text to measure the degree of complexity of a
large-scale evaluation items; (c) apply the notion of cognitive domain to the analysis of the
complexity of evaluation items. It was adopted an objective structural conception of TC that
concerns to the relation of compositional attributes of a text that make it more or less complex.
It is a different perspective from the ones that base the studies that have been done about TC,
which usually take as a base the lexicon and the syntactic structure. In the project undertaken
here, we take into account the basic item procedure representative of large-scale evaluation
items, whose sample therefore serves to demonstrate and discuss the possibility of applying the
proposed analytical model. On this basis, we start from the hypothesis that TC can be measured
by criteria related to the compositional and structural dimension of the text. To fulfill this goal,
we started from two approaches of textual studies to establish categories of TC analysis.
Sociodiscursive Interactionism (SDI) pointed to the types of discourse as a category. The
Interactive Textual Perspective (ITP) presented the discursive topic. In addition to these
approaches, we consider Bloom's Taxonomy (BT), which indicated properties related to the
cognitive domain mobilized by the text. As the research is centered on the understanding and
explanation of this TC, it is a qualitative work in approach and applied in nature. Considering
also that we intend to discuss TC in order to make it more explicit and build hypotheses, we are
in the field of exploratory research. The proposed analytical mechanism then comprises two
criteria: the compositional dimension (discourse types and discursive topic) and the cognitive
dimension (cognitive domain). Based on the types of discourse, the following properties are
foreseen: interactive discourse, theoretical discourse, interactive report, narration. Regarding
the discursive topic, the properties are: one or more of a topic, topic with or without unfolding,
implicit or explicit relation of concern. Finally, the properties of the cognitive domain are:
knowledge, comprehension, application, analysis, synthesis and evaluation. Based on these
properties, complexity scales are identified according to which an item can be considered, from
the textual point of view, more or less complex. The feasibility of this mechanism was applied
to a corpus composed of 24 items of the ENEM 2016 test, from the answers of more than
300,000 students in the application Quero Minha Nota! (I Want My Grade!), which estimates
the exam grade, TUNEDUC, a startup, specialist in high school educational data, namely:
Languages, Codes and their Technologies; Mathematics and its Technologies; Humanities and
their Technologies; Natural Sciences and their Technologies, which listed the 12 easiest items
and the 12 most difficult items. Thus, it was concluded that textual complexity is an issue that
should be considered in the broad discussion about how to elaborate and apply a large-scale
evaluation item. The results of the research indicated that, based on the dimensions and criteria
used, the items do not confirm this classification of easy and difficult, as the INEP claims by
TRI, but rather an item is low and of high complexity. |
| author2 |
Pinheiro, Clemilton Lopes |
| author_facet |
Pinheiro, Clemilton Lopes Conceição, Jailson Almeida |
| format |
doctoralThesis |
| author |
Conceição, Jailson Almeida |
| author_sort |
Conceição, Jailson Almeida |
| title |
Complexidade textual de itens de avaliação em larga escala: proposta de um mecanismo analítico |
| title_short |
Complexidade textual de itens de avaliação em larga escala: proposta de um mecanismo analítico |
| title_full |
Complexidade textual de itens de avaliação em larga escala: proposta de um mecanismo analítico |
| title_fullStr |
Complexidade textual de itens de avaliação em larga escala: proposta de um mecanismo analítico |
| title_full_unstemmed |
Complexidade textual de itens de avaliação em larga escala: proposta de um mecanismo analítico |
| title_sort |
complexidade textual de itens de avaliação em larga escala: proposta de um mecanismo analítico |
| publisher |
Brasil |
| publishDate |
2019 |
| url |
https://repositorio.ufrn.br/jspui/handle/123456789/28075 |
| work_keys_str_mv |
AT conceicaojailsonalmeida complexidadetextualdeitensdeavaliacaoemlargaescalapropostadeummecanismoanalitico |
| _version_ |
1773958165393571840 |
| spelling |
ri-123456789-280752019-12-01T05:30:51Z Complexidade textual de itens de avaliação em larga escala: proposta de um mecanismo analítico Conceição, Jailson Almeida Pinheiro, Clemilton Lopes Tinoco, Glicia Marili Azevedo de Medeiros Gomes, João Bosco Figueiredo Amorim, Marcelo da Silva Silva, Silvio Luis da Complexidade textual Domínio cognitivo Item de avaliação em larga escala Tipo de discurso Tópico discursivo CNPQ::LINGUISTICA, LETRAS E ARTES::LINGUISTICA The growing concern with the improvement of educational quality has focused on the process of large-scale evaluations in Brazil, allowing a reformulation through the Reference Matrix that includes the competences and the measured skills. Against this background, this thesis has the primary objective of proposing an analytical mechanism to identify, based on criteria related to the structure of the text, the degree of Textual Complexity (TC) of a large-scale evaluation item. Specifically, it is aimed to: (a) discuss the notion of textual complexity; (b) to propose criteria related to the compositional dimension of the text to measure the degree of complexity of a large-scale evaluation items; (c) apply the notion of cognitive domain to the analysis of the complexity of evaluation items. It was adopted an objective structural conception of TC that concerns to the relation of compositional attributes of a text that make it more or less complex. It is a different perspective from the ones that base the studies that have been done about TC, which usually take as a base the lexicon and the syntactic structure. In the project undertaken here, we take into account the basic item procedure representative of large-scale evaluation items, whose sample therefore serves to demonstrate and discuss the possibility of applying the proposed analytical model. On this basis, we start from the hypothesis that TC can be measured by criteria related to the compositional and structural dimension of the text. To fulfill this goal, we started from two approaches of textual studies to establish categories of TC analysis. Sociodiscursive Interactionism (SDI) pointed to the types of discourse as a category. The Interactive Textual Perspective (ITP) presented the discursive topic. In addition to these approaches, we consider Bloom's Taxonomy (BT), which indicated properties related to the cognitive domain mobilized by the text. As the research is centered on the understanding and explanation of this TC, it is a qualitative work in approach and applied in nature. Considering also that we intend to discuss TC in order to make it more explicit and build hypotheses, we are in the field of exploratory research. The proposed analytical mechanism then comprises two criteria: the compositional dimension (discourse types and discursive topic) and the cognitive dimension (cognitive domain). Based on the types of discourse, the following properties are foreseen: interactive discourse, theoretical discourse, interactive report, narration. Regarding the discursive topic, the properties are: one or more of a topic, topic with or without unfolding, implicit or explicit relation of concern. Finally, the properties of the cognitive domain are: knowledge, comprehension, application, analysis, synthesis and evaluation. Based on these properties, complexity scales are identified according to which an item can be considered, from the textual point of view, more or less complex. The feasibility of this mechanism was applied to a corpus composed of 24 items of the ENEM 2016 test, from the answers of more than 300,000 students in the application Quero Minha Nota! (I Want My Grade!), which estimates the exam grade, TUNEDUC, a startup, specialist in high school educational data, namely: Languages, Codes and their Technologies; Mathematics and its Technologies; Humanities and their Technologies; Natural Sciences and their Technologies, which listed the 12 easiest items and the 12 most difficult items. Thus, it was concluded that textual complexity is an issue that should be considered in the broad discussion about how to elaborate and apply a large-scale evaluation item. The results of the research indicated that, based on the dimensions and criteria used, the items do not confirm this classification of easy and difficult, as the INEP claims by TRI, but rather an item is low and of high complexity. A crescente preocupação com a melhoria da qualidade educacional incidiu sobre o processo de avaliações em larga escala no Brasil, permitindo uma reformulação por meio da Matriz de Referência que contempla as competências e as habilidades aferidas. Frente a esse contexto, esta tese tem por objetivo precípuo propor um mecanismo analítico para identificar, com base em critérios relacionados à estrutura do texto, o grau de Complexidade Textual (CT) de um item de avaliação em larga escala. De forma específica, objetivamos: (a) discutir a noção de complexidade textual; (b) mensurar o grau de complexidade de itens de avaliação em larga escala a partir da dimensão composicional do texto; (c) aplicar a noção de domínio cognitivo à análise da complexidade de itens de avaliação em larga escala. Adotamos uma concepção objetiva estrutural de CT que diz respeito à relação de propriedades composicionais de um texto que o tornam mais ou menos complexo. Trata-se de uma perspectiva diferente das que fundamentam os estudos realizados até então sobre CT, os quais, normalmente, tomam como base o léxico e a estrutura sintática. No empreendimento aqui realizado, levamos em conta o procedimento básico de itens representativa dositens de avaliação em larga escala, cuja amostra serve, portanto, para demonstrar e discutir a possibilidade de aplicação do modelo analítico proposto. Nesse esteio, partimos da hipótese de que a CT pode ser medida por critérios relacionados à dimensão composicional e estrutural do texto. Para cumprirmos tal intento, partimos de duas abordagens dos estudos do texto para estabelecer categorias de análise da CT. O Interacionismo Sociodiscursivo (ISD) apontou os tipos de discurso como categoria. A Perspectiva Textual-Interativa (PTI) apresentou o tópico discursivo. Além dessas abordagens, consideramos a Taxonomia de Bloom (TB), que indicou atributos relativos ao domínio cognitivo mobilizado pelo texto. Como a pesquisa está centrada na compreensão e explicação dessa CT, trata-se de um trabalho qualitativo quanto à abordagem e aplicado quanto à natureza. Considerando, ainda, que intentamos discutir a CT com vistas a torná-la mais explícita e construir hipóteses, situamo-nos no campo da pesquisa exploratória. O mecanismo analítico proposto compreende, então, dois critérios: a dimensão composicional (tipos de discurso e tópico discursivo) e a dimensão cognitiva (domínio cognitivo). Com base nos tipos de discurso, são previstas asseguintes propriedades: discurso interativo, discurso teórico, relato interativo, narração. Em relação ao tópico discursivo, as propriedades são: um ou mais de um tópico, tópico com ou sem desdobramento, relação de concernência implícita ou explícita. Por fim, as propriedades do domínio cognitivo são: conhecimento, compreensão, aplicação, análise, síntese e avaliação. Baseando-nos nessas propriedades, são identificadas escalas de complexidade nas quais um item pode ser considerado, do ponto de vista textual, mais ou menos complexo. A viabilidade desse mecanismo foi aplicada a um corpus composto por 24 itens da prova do ENEM de 2016, a partir das respostas de mais de 300.000 alunos no aplicativo Quero Minha Nota!, que estima a nota no exame, a TUNEDUC, startup, especialista em dados educacionais do Ensino Médio, a saber: Linguagens, Códigos e suas Tecnologias; Matemática e suas Tecnologias; Ciências Humanas e suas Tecnologias; Ciências da Natureza e suas Tecnologias, que elencou os 12 itens mais fáceis e os 12 mais difíceis. Assim, partimos do pressuposto de que a complexidade textual é uma questão que deve ser considerada na ampla discussão sobre como elaborar e aplicar um item de avaliação em larga escala. Os resultados da pesquisa apontaram que, com base nas dimensões e critérios utilizados, os itens não confirmam essa classificação de fáceis e difíceis como apregoa o INEP pela TRI, mas, sim, um item é de baixa ou de alta complexidade. 2019-11-29T21:24:38Z 2019-11-29T21:24:38Z 2019-09-13 doctoralThesis CONCEIÇÃO, Jailson Almeida. Complexidade textual de itens de avaliação em larga escala: proposta de um mecanismo analítico. 2019. 130f. Tese (Doutorado em Estudos da Linguagem) - Centro de Ciências Humanas, Letras e Artes, Universidade Federal do Rio Grande do Norte, Natal, 2019. https://repositorio.ufrn.br/jspui/handle/123456789/28075 pt_BR Acesso Aberto application/pdf Brasil UFRN PROGRAMA DE PÓS-GRADUAÇÃO EM ESTUDOS DA LINGUAGEM |