A predição de parâmetros genéticos e o estudo da diversidade em variedades de café são etapas importantes para a seleção eficiente de genótipos que apresentem características superiores e garantir a manutenção da variabilidade genética. Muitas variáveis importantes para o melhoramento do café não possuem distribuições normais, dificultando a obtenção de predições acuradas e informações a respeito da estrutura genética das populações. Os modelos lineares generalizados mistos (MLGM) foram propostos para modelar variáveis que tenham distribuições diferentes das normais, por meio da inserção de uma função de ligação ao modelo. Essas características tornam os MLGM potenciais ferramentas para predição de componentes de variância, parâmetros genéticos e obtenção de valores de BLUP. O estudo da diversidade genética do café é comumente feito por métodos multivariados convencionais. Entretanto, alguns estudos têm utilizado um tipo de redes neural, chamada Self-organizing maps (SOM). Portanto, os objetivos deste estudo foram comparar modelos lineares mistos (MLM) com os MLGM na estimação de parâmetros genéticos, rankeamento dos genótipos através dos valores de BLUP e investigar a aplicabilidade das redes neurais SOM para o estudo da diversidade genética em variedades de Coffea arabica. Os MLGM detectaram variabilidade genética em um maior número de variáveis avaliadas. As variâncias genéticas e residuais estimadas pelos MLGM foram menores, entretanto, as análises de resíduos indicaram que os MLGM obtiveram desvios menores entre os valores ajustados e esperados pelos modelos em relação aos MLM. As interpretações dos parâmetros genéticos estimados via MLGM é mais complexa devido às diferentes escalas do modelo. Portanto, os MLGM foram mais eficazes para os ajustes dos dados, mas são necessárias investigações a respeito da influência as diferentes escalas atribuídas aos componentes do modelo na estimação dos parâmetros genéticos. As análises de redes neurais ofereceram diferentes informações a respeito das variáveis avaliadas, permitiram a identificação de genótipos superiores para as variáveis analisadas e identificação de grupos genéticos similares e divergentes. Portanto, o método SOM é viável, informativo e refinado para o estudo da diversidade genética em populações de melhoramento. Palavras-chave: Melhoramento genético do café. Métodos estatísticos. Mapas auto-organizáveis de Kohonen. Modelos mistos.
The prediction of genetic parameters and study of coffee varieties diversity are very important steps for the selection of important characteristics, superior genotypes and guarantee genetic variability maintenance. There is a interest for robust statistical tools that bring more acurated results for genetic breeding. Many important variables for the coffee breeding have non normal distribution, making it difficult obtain accurate predictions and good informations about varieties genetic structure. Generalized linear mixed models (GLMM) have been proposed to analyse variables that has non normal distributions adding a link function to the model. These characteristics turns GLMM a potential tool to predict components of variances, genetic parameters and BLUP values. The study of the genetic diversity of coffee commonly uses classical approaches. However, some studies have been using a type of neural network, called Self organizing maps (SOM). Therefore, the aims of this study were to compare linear mixed models (LMM) with GLMM in genetic parameters estimations and genotype ranking and to investigate the applicability of neural network SOM for the study of genetic diversity in Coffea arabica varieties. MLGM detected genetic variability in a greater number of evaluated variables. The genetic and residual variances estimated by the MLGM were smaller, however, the residual analyzes indicated that the MLGM obtained smaller deviations between the adjusted and expected values by the models in relation to the MLM. The interpretations of the genetic parameters estimated via MLGM are more complex due to the different scales of the model. However, the interpretations of the genetic parameters estimated using GLMM are more complex due to the different scales of the model. Therefore, GLMM was more efficient for data adjustments, but investigations and respect for the influence of the model's components on the prediction of genetic parameters are needed. The neural networks analysis offered different information about the evaluated variables and allowed the identification of superior genotypes for the variables and identification of similar and divergent genetic groups. Therefore, the SOM method is viable, informative, and refined for the study of genetic diversity in breeding populations. Keywords: Coffee breeding. Statistical methods. Kohonen’s self-organizing maps. Mixed models.