A Microsoft introduziu o MU, um novo modelo de inteligência synthetic (AI) que pode ser executado localmente em um dispositivo. Na semana passada, a gigante da tecnologia de Redmond lançou novos recursos do Home windows 11 na versão beta, entre os quais o novo recurso de agentes de IA em ambientes. O recurso permite que os usuários descrevam o que desejam fazer no menu Configurações e usa agentes de IA para navegar para a opção ou executar autonomamente a ação. A empresa agora confirmou que o recurso é alimentado pelo MUM MODELO DE LÍNGUA MU (SLM).
O Mannequin Mannequin da Microsoft alimenta agentes em configurações do Home windows
Em um Postagem do bloga gigante da tecnologia detalhou seu novo modelo de IA. Atualmente, ele é implantado totalmente no dispositivo em PCs compatíveis com copilot+ e é executado na unidade de processamento neural (NPU) do dispositivo. A Microsoft trabalhou na otimização e latência do modelo e afirma que responde a mais de 100 tokens por segundo para atender aos “requisitos de UX exigentes do agente no cenário de configurações”.
O MU é construído em uma arquitetura de codificador-decodificador baseada em transformador, com 330 milhões de parâmetros de token, tornando o SLM um bom ajuste para a implantação em pequena escala. Em tal arquitetura, o codificador primeiro converte a entrada em uma representação legível de comprimento fixo, que é então analisado pelo decodificador, que também gera a saída.
A Microsoft disse que essa arquitetura foi preferida devido à alta eficiência e otimização, o que é necessário ao funcionar com largura de banda computacional limitada. Para mantê -lo alinhado com as restrições da NPU, a empresa também optou por dimensões de camada e distribuição otimizada de parâmetros entre o codificador e o decodificador.
Destilado dos modelos PHI da empresa, o MU foi treinado usando GPUs A100 no Azure Machine Studying. Normalmente, os modelos destilados exibem maior eficiência em comparação com o modelo pai. A Microsoft melhorou ainda mais sua eficiência, emparelhando o modelo com dados específicos de tarefas e ajustes finos por meio de métodos de adaptação de baixo rank (LORA). Curiosamente, a empresa afirma que a MU realiza um nível semelhante ao PHI-3.5-mini, apesar de ter um décimo do tamanho.
Otimizando o MU para configurações do Home windows
A gigante da tecnologia também teve que resolver outro problema antes que o modelo pudesse alimentar agentes de IA nas configurações – precisava lidar com tokens de entrada e saída para alterar centenas de configurações do sistema. Isso exigiu não apenas uma vasta rede de conhecimento, mas também a baixa latência para concluir as tarefas quase instantaneamente.
Portanto, o Microsoft ampliou maciçamente seus dados de treinamento, passando de 50 configurações para centenas e usou técnicas como rotulagem sintética e injeção de ruído para ensinar à IA como as pessoas frase as tarefas comuns. Depois de treinar com mais de 3,6 milhões de exemplos, o modelo tornou -se rápido e preciso o suficiente para responder em menos de meio segundo, afirmou a empresa.
Um desafio importante foi que o MU teve um desempenho melhor com consultas de várias palavras em frases mais curtas ou vagas. Por exemplo, digitar “Brovilhagem de tela inferior à noite” oferece mais contexto do que apenas digitar “brilho”. Para resolver isso, a Microsoft continua mostrando os resultados tradicionais de pesquisa baseados em palavras-chave quando uma consulta é muito vaga.
A Microsoft também observou uma lacuna baseada em idiomas. Nos casos em que uma configuração pode se aplicar a mais de uma única funcionalidade (por exemplo, “aumentar o brilho” pode se referir à tela do dispositivo ou a um monitor externo). Para abordar essa lacuna, o modelo de IA atualmente se concentra nas configurações mais usadas. Isso é algo que a gigante da tecnologia continua a refinar.
