Previsões de ausência em cuidados especializados em Unidades de Saúde Pública de Florianópolis

Olá pessoal, sou aluno da UFSC, e esse trabalho aqui é um trabalho de comunicação do nosso grupo de engenharia e ciência de dados em Florianópolis. <br />Aqui é mais um overview o que eu vou passar para vocês porque o trabalho está em andamento, então são os nossos preliminary results e eu vou mostrar aqui o que a gente construiu um modelo de previsão de faltas em atendimentos especializados em Unidades de Saúde de Florianópolis, que é um problema lá real.<br />O Sistema Único de Saúde (SUS) tem convivido com bastante problema de financiamento e gerenciamento, além dos problemas de gerenciar os recursos, isso vem dando uma dor de cabeça bastante grande tanto para a gestão quanto para o estado, e isso traz prejuízos de recursos financeiros mal administrados.<br />Apesar do impasse do recurso financeiro ideal nós estamos no caminho do desenvolvimento. O Brasil está um pouco pior comparado com alguns países em questão de repasse do PIB para saúde mas está melhor do que alguns outros em desenvolvimento como Chile e México.<br />Nessa época que a gente tem escassez de recursos e a gente não sabe se vai piorar ou não, a gente tem duas frentes para se trabalhar: ou pega mais dinheiro ou trabalha bem com o que tem. A ideia do trabalho surgiu dessa cooperação para tentar mitigar alguns dos problemas de gerenciamento de recursos que é justamente essa questão de faltas.<br />No caso o grande problema em termos de eficiência lá no SUS e em Florianópolis, é o desperdício causado por faltas em consultas médicas e odontológicas, ou seja, a pessoa marca a consulta e não vai. Existem diversos fatores, esses fatores a gente vem analisando diretamente com a agência de inteligência do SUS, a gente tem os dados e a gente verifica o que está acontecendo.<br />Em Florianópolis por exemplo tem um índice médio de faltas de 3% em consultas médicas e 12% em consultas odontológicas, então é um percentual bastante grande principalmente com relação às consultas odontológicas e isso gera perda de recurso financeiro, além de atrasar a fila.<br />Como objetivo que a gente identificou, analisar características que levam a ausência nas consultas de atendimento de complexidade mais alta no SUS em Florianópolis e construir um modelo que possa identificar os pacientes com grande probabilidade de faltas em consultas especializadas. A gente mapeou isso como um problema de classificação binária, se o cara vai faltar ou não vai faltar.<br />A gente pegou os dados de consultas agendadas, 18.503 consultas, no tempo de 1º de janeiro de 2016 até 30 de junho de 2018, para dois centros de especialização odontológico, com várias especialidades, então a gente pegou um pequeno recorte para poder trazer aqui no WIDAT. Então a gente analisou especialidades odontológicas para esse trabalho, a radiologia com 10.612 consultas, periodontia com 2.531, e endodontia com 5.360 consultas, no período de mais ou menos 1 ano e meio.<br />Algumas características que a gente analisou, que são as nossas features para começar a trabalhar, algumas delas a qualidade no cadastro, porque o SUS de Florianópolis tem um protocolo de atendimento que é todo digital, de uns 2 anos para cá nós temos uma base que a gente consegue trabalhar com todos os dados daquelas consultas, e um desses dados a escolaridade, dias da semana que acontecem as faltas quando são agendadas as consultas, o período que na verdade esse período foi um trabalho de data cleaning porque a gente transformou um horário em período porque senão ficaria muito a quantidade de variáveis a ser analisada então a gente acabou binarizando ali e fazendo manha e tarde, sexo, dentro outras variáveis.<br />Vou apresentar algumas que a gente analisou que é bem interessante de mostrar. A gente fez a aplicação de alguns algoritmos de machine learning, a gente pegou um set de algoritmo para poder verificar essa previsão, e a gente analisou a acurácia e a sensibilidade, que é bastante importante nesse caso para prever as faltas.<br />A sensibilidade que é a proporção de verdadeiros positivos, que é a capacidade do sistema predizer corretamente a condição para casos que realmente tem a condição de verdadeiro, ou seja, são os acertos positivos sobre o total de positivos, os verdadeiros positivos e os falsos negativos. Falsos negativos é que seriam faltas mas foram classificados como não.<br />Primeiro a gente faz segundo aquele rito de data science, faz um data cleaning, faz um data analytics, e a gente fez uma análise de dados com relação às especialidades de consultas em odontologia e viu ainda que a radiologia tem uma quantidade bastante de faltas, a periodontia também e a endodontia, entre outras especialidades.<br />Um exemplo simples aqui, a gente tem faltas por dia na semana em radiologia, a gente tem que de segunda a sexta essa distribuição de faltas, a gente percebeu que de sexta-feira é quando tem mais faltas, quando o pessoal mais falta em consultas especializadas. Lembrando que essas consultas especializadas muitas vezes são pagas pelo estado, são consultas que o SUS para ali 300 reais dependendo do tipo da consulta, e o cidadão falta na sexta-feira por exemplo, na segunda é quando menos falta.<br />Um outro dado interessante de odontologia e radiologia no caso é o nível de escolaridade. A gente vê aqui que o pessoal com mais escolaridade possível como mestrado e doutorado faltam menos mas a gente vê que isso vai crescendo, o superior incompleto falta mais, e o pessoal que tem o fundamental completo ou incompleto.<br />A gente tem uma distribuição aqui dos tipos de escolaridade com relação às faltas em consultas, então tem uma relação, quanto maior a escolaridade mas só que aqui fura um pouco no superior completo, mas quanto mais alta a escolaridade menor a probabilidade de faltar. Teria que cruzar com outros tipos de dados do IBGE para poder encontrar uma razão para isso daí.<br />Um outro tipo de variável foi o sexo, então há uma diferença pequena mas nessa análise os homens faltam um pouco mais que às mulheres nas consultas.<br />Mais uma análise, por período, então o período da tarde a gente verificou que há uma quantidade de faltas maior para a odontologia do que na manhã. Teria que verificar e cruzar com outros dados para verificar a razão disso daí. Inicialmente é uma análise mais crua daquele dado que está disponibilizado pelo SUS.<br />A partir dessas análises de dados, temos outras variáveis e outras análises que a gente fez, a gente parte para poder fazer aquele procedimento para escolher as características que mais são importantes e representam aquele modelo de predição de faltas. A gente pegou alguns algoritmos de machine learning, os mais usados e os principais, como: o modelo linear para tentar ver se os dados seguem uma linearidade; o Random Forest que é bastante importante em diversas análises de machine learning para grandes quantidade de dados; Rede Neural, pegamos uma rede simples; e os Boosts com três configurações (Gradiente Boosting, Stochastic Gradient Boosting e o AdaBoost).<br />Desses resultados que nós tivemos iniciais, nós tivemos ali na nossa matriz de confusão que nos dá ali a sensibilidade como um dado importante e como a acurácia. A gente não teve uma acurácia muito boa dessas features, mas a gente teve uma sensibilidade até aceitável.<br />Para a radiologia nós tivemos uma acurácia não muito boa mas a sensibilidade até um pouco melhor do que a acurácia. A precisão, uma boa precisão. E para a periodontia nós tivemos ali resultados chegando até 70% de acurácia e precisão quase 80%, e sensibilidade 80%.<br />A gente percebeu que melhora a acurácia a precisão também aumenta, nós fizemos diversos, porque quando nós começamos ter um underfit modelo a gente tem três coisas que agente pode fazer: uma ou a gente mexe nos parâmetros, a gente fez; usamos um boot search para poder varrer aquela quantidade de parâmetros possíveis que o modelo precisava e fizemos isso, então comprimos o rito. Outra coisa que a gente pode fazer é justamente melhorar a engineers, escolher novas features que representam melhor o modelo, só que a gente tinha todas as features naquele momento.<br />Nesse caso a gente percebeu que varremos todos os parâmetros possíveis e máximo de resultado que a gente teve foi esse que eu apresentei para vocês, quanto mais de 70% acurácia e 80% de sensibilidade em relação ao modelo.<br />A gente agora, inclusive essa semana, o pessoal está conseguindo coletar mais duas variáveis, uma de chuva, se teve chuva naquele momento, e ver se o cara faltasse, essa variável a gente consegue no instituto de meteorologia, é bem simples o acesso ao site, você cadastra e eles te dão um dataset que você quiser e você escolhe o tema, eles te dão os MLs de chuva, umidade, várias características que precisa.<br />E uma variável que a gente acho bastante importante é o tempo de espera, que é um pouco óbvio, porque tem consulta que demoram 7 meses ou 1 ano, a gente não sabe nem se o cara vai estar vivo até lá por exemplo. Então essa é uma variável bastante importante que estamos trabalhando e incluindo no modelo para ver se a gente melhora esse modelo de predição para chegar até no entorno de 90% ou 95%, já seria ideal para que o SUS possa utilizar esse modelo. Ou seja, a ideia é, o cara vai fazer o cadastro da consulta, o sistema vai alertar uma probabilidade muito alta do cara faltar, então para o SUS isso é muito interessante para que o SUS possa ligar algum tempo antes, para saber e alertar que tem consulta, de repente o cara não vai também porque morreu por exemplo, ou a pessoa conseguiu juntar dinheiro no tempo e fez a consulta no particular. <br />Isso para o SUS ele vai gastar 1 real de ligação e vai economizar 299 reais da consulta, além de reescalonar a fila, então esse é um trabalho bastante importante para a saúde. É nessa parceria que a gente está tentando melhorar o uso desses recursos, aqui às referências do trabalho e é isso.