Algumas pessoas acabam relatando o erro no Photoshop em casos que ele fecha ao selecionar a opção “select and mask”.
Um dos motivos disso acontecer é a falta de memória virtual para execução desta ação. Para isso você pode testar desabilitar o OpenCL
seguindo esses passos -> Preferences > Performance > Advance Settings > desmarcar a opção Use OpenCL.
O Erro exibido pode ser -> could not apply the workspace because of a program error ou could not apply the workspace because there is not enough memory (ram)
Que será também pela falta de memória ram do PC.