Para fullscreem:

Cole esse código num botão dentro do flash (no action do flash):

CODE
on (release) {
getURL("javascript:void(window.open('seusite.swf','NomedoSite','
fullscreen=yes,scrollbars=no'));");
}

Em 'nome do site' coloque uma palavra apenas e sem acentos ou outros caracteres, costuma dar problemas.

É bom dar o tamanho de 800x600 ao palco do flash e não 500x400 que vem no default.

Para popup:

Cole esse código num botão dentro do flash (no action do flash):

CODE
on (release) {
getURL("javascript:void(window.open('seuarquivo.swf','Nomedajanela ','width=633,height=425,top=0,left=0,scrollbars=no'));");
}

whidth e heigth é onde se regula o tamanho do popup, e top e left e são a posição na tela.

Pra fechar janelas popups e full use esse action no botão do flash (dendro do flash):

CODE
on (release) {
getURL("javascript:window.close()", "_top");
}

Lembre-se se por um aviso para a pessoa desligar o anti-popup e o bloqueio de scripts.