População Alvohttps://www.anacom.pt/render.jsp?contentId=55129
Definição e Selecção da Amostrahttps://www.anacom.pt/render.jsp?contentId=55130
Controlo de qualidade dos resultadoshttps://www.anacom.pt/render.jsp?contentId=55131
Precisão dos resultadoshttps://www.anacom.pt/render.jsp?contentId=55132
Ponderaçãohttps://www.anacom.pt/render.jsp?contentId=55133
Arquitectura Técnica, Modo de Funcionamento e Detalhe dos Componenteshttps://www.anacom.pt/render.jsp?contentId=55134
População Alvo
A população-alvo é composta por locais indoor e outdoor dos concelhos de Faro, Lisboa e Porto. Entende-se por locais indoor residências de particulares, ao passo que os outdoors são constituídos por locais públicos, como sejam áreas de comércio e lazer, aeroportos, escolas, em que existe uma elevada utilização de internet banda larga móvel.
Para cada elemento do painel foram testados os três operadores de serviço móvel - Optimus, TMN e Vodafone. O recrutamento do painel teve como critério a existência de cobertura UMTS adequada às ofertas a analisar.
Definição e Selecção da Amostra
Nos concelhos de Lisboa e Porto, onde o estudo já tinha sido efectuado em 2008, utilizou-se uma amostra longitudinal com rotação. Desta forma, foi constituída uma base de contactos com os elementos destes concelhos que participaram no estudo anterior e que revelaram interesse em participar novamente no mesmo. Esta metodologia foi aplicada sem prejuízo da distribuição amostral definida para o total das medições, que respeita a distribuição populacional de cada freguesia. Esta opção é particularmente adequada neste contexto pelo facto de conduzir a significativos ganhos de precisão no estudo da evolução face ao que seria obtido pela utilização de amostras independentes.
Para alimentar a parte da amostra não satisfeita pelo painel de 2008 e para o concelho de Faro, nos acessos indoor, foi utilizado um método de selecção constituído por três etapas. A primeira fase correspondeu à selecção das freguesias a incluir na amostra. Seguidamente foi determinado o número de pontos a observar em cada freguesia, sendo que este número foi distribuído proporcionalmente à população de cada freguesia. Posteriormente, a partir de uma base de contactos dos lares em cada concelho, foi seleccionada aleatoriamente uma primeira amostra de locais (correspondentes às primeiras observações). Seguidamente foram seleccionados os pontos de observação efectivos usando o método de Bola de Neve, garantindo que não havia selecção de mais do que um ponto em caso de Ruas, Praças, etc, e duas observações no caso de Avenidas. Os recrutamentos foram feitos por telefone.
A selecção dos acessos outdoor (no concelho de Faro e também na amostra não satisfeita pelo painel de 2008 nos concelhos de Lisboa e Porto) foi feita a partir de uma base de contactos destes locais em cada concelho, procurando assegurar dispersão geográfica entre os pontos avaliados e variedade por tipo de local (centros comerciais e outras zonas de lazer, universidades, escolas, aeroportos, outros).
Nos mapas seguintes apresentam-se os pontos de observações efectivos.
Figura 1 - Pontos de observações no concelho de Faro
(Clique na imagem para ver o mapa numa nova janela)
Figura 2 - Pontos de observações no concelho de Lisboa
(Clique na imagem para ver o mapa numa nova janela)
Figura 3 - Pontos de observações no concelho de Porto
(Clique na imagem para ver o mapa numa nova janela)
Na Tabela 1 apresenta-se as dimensões amostrais obtidas. Deve-se ter em conta que em cada local do painel foi realizado um total de 61 medições: 9 por cada dia da semana e 8 por cada dia de fim-de-semana.
|
Segmento |
Amostra |
|
Utilizadores UMTS |
540 |
|
Utilizadores UMTS por Operador |
180 |
|
Medições: por indicador e operador |
32.940 |
|
Medições: por indicador, operador e cidade |
10.980 |
Da análise do quadro anterior é possível verificar que se constituiu um painel de 180 locais, distribuídos equitativamente entre os concelhos de Lisboa, Porto e Faro (60 utilizadores por concelho). Em cada local, foram avaliados os três operadores já referidos, o que permitiu definir uma amostra total de 540 utilizadores.
No caso das medições por indicador e operador, por cada período horário foram realizados pelo menos três testes (um teste para o servidor na FCCN e dois para os servidores em ISP internacionais, sendo eles um na Europa e um nos E.U.A.), desta forma tem-se 3 testes X 61 períodos X 180 lares, obtendo-se 32.940 medições por indicador e operador e 10.980 medições por indicador, operador e cidade (3 testes X 61 períodos X 60 lares).
O estudo incidiu sobre as ofertas comerciais de cada operador apresentadas seguidamente.
|
Operador Móvel |
Tecnologia |
Designação da |
Velocidade máxima |
Velocidade máxima |
|
Optimus |
UMTA-HSDPA 2 |
Kanguru Basic |
2 |
384 |
|
TMN |
UMTS-HSDPA |
Banda Larga pré-paga |
2 |
384 |
|
Vodafone |
UMTA-HSDPA |
Vita Net Plus |
2 |
384 |
A realização dos testes decorreu nos dias úteis e fins-de-semana entre 27 de Novembro de 2009 e 7 de Fevereiro de 2010 3, conforme a seguinte distribuição horária:
|
Ordem |
Dias Úteis |
Fins-de-Semana |
|
Das 8 às 10 horas |
X |
X |
|
Das 10 às 12 horas |
X |
X |
|
Das 12 às 16 horas |
X |
X |
|
Das 16 às 18 horas |
X |
X |
|
Das 18 às 20 horas |
X |
X |
|
Das 20 às 21 horas |
X |
X |
|
Das 21 às 23 horas |
X |
X |
|
Das 23 à 1 hora |
X |
X |
|
Da 1 às 4 horas |
X |
X |
Controlo de qualidade dos resultados
Foi assegurado um rigoroso controlo de qualidade do trabalho realizado em todas as etapas. Na fase de recolha da informação, foram monitorizados regularmente os dados recolhidos, com vista a detectar situações anómalas que afectassem a qualidade das medições. Posteriormente, o controlo de qualidade da informação recolhida passou pela análise de valores atípicos. Foram identificados Outliers em várias medidas que se justificaram por downtime de servidor(es). Estes valores foram excluídos.
Precisão dos resultados
A precisão dos resultados 4 obtida para uma média, com um nível de confiança de 95%, para um dos indicadores recolhidos (neste caso a velocidade de Download) descreve-se no seguinte quadro:
|
|
Precisão Absoluta (kbps) |
Precisão Relativa |
|||||
|
OPTIMUS |
TMN |
Vodafone |
OPTIMUS |
TMN |
Vodafone |
||
|
FARO |
USA |
5,05 |
2,44 |
4,86 |
0,5% |
0,3% |
0,5% |
|
UK |
17,49 |
5,75 |
16,66 |
1,1% |
0,5% |
1,0% |
|
|
Nacional |
19,77 |
7,27 |
19,90 |
1,3% |
0,6% |
1,2% |
|
|
LISBOA |
USA |
4,61 |
2,15 |
5,17 |
0,4% |
0,3% |
0,5% |
|
UK |
18,19 |
5,82 |
17,15 |
1,0% |
0,5% |
0,9% |
|
|
Nacional |
19,36 |
7,00 |
19,09 |
1,0% |
0,5% |
1,0% |
|
|
PORTO |
USA |
4,79 |
1,83 |
4,24 |
0,5% |
0,3% |
0,4% |
|
UK |
13,84 |
6,36 |
12,17 |
0,9% |
0,5% |
0,7% |
|
|
Nacional |
13,19 |
7,58 |
15,07 |
0,8% |
0,6% |
0,7% |
|
De notar que, para o cálculo da margem de erro, se utilizou a fórmula correspondente a uma amostragem aleatória simples uma vez que não se conhecem os pesos das variáveis de cruzamento.
Para uma leitura mais detalhada das Margens de Erro consultar o Relatório no Anexo 4.1.
Ponderação
Os resultados foram ajustados de modo que as observações amostrais ponderadas pelas modalidades das variáveis Dia da semana e Período, após o ajustamento, fiquem com o mesmo peso dentro de cada operador, servidor e concelho.
Arquitectura Técnica, Modo de Funcionamento e Detalhe dos Componentes
-
Arquitectura Técnica
A solução técnica usada para a aferição da qualidade do serviço de acesso à banda larga móvel foi o TEMS™ Automatic.
O TEMS™ Automatic é um sistema autónomo que possibilita a aferição da qualidade percepcionada pelo utilizador final, disponibilizando um volume elevado de informação que pode ser usada para uma comparação estatística isenta e precisa do desempenho de vários operadores móveis ou de várias ofertas comerciais dentro de um operador móvel. Permite obter também detalhes para a identificação/resolução de problemas e análises. As medidas são efectuadas sem intervenção humana.
A arquitectura do sistema TEMS™ Automatic implementada para este estudo consistiu em:
a. 30 Unidades remotas de medida: MTU
b. 1 Servidor central para colecta de dados e processamento
c. 1 Servidor FTP/HTTP instalado na FCCN
d. 2 Servidores internacionais (Houston, Londres)
Figura 4 - Arquitectura de Testes
(Clique na imagem para ver a figura numa nova janela)
As unidades remotas de medida (doravante designadas por MTU) foram colocadas em modo estático nos diversos acessos indoor e outdoor, efectuando os testes pretendidos de forma automática nos momentos previamente determinados.
Os testes foram efectuados aferindo as ligações do MTU a cada um dos três servidores. Após o MTU colectar os dados dos testes, estes são enviados para o servidor central, para pós-processamento.
As ordens de trabalho foram enviadas para os MTU de forma automática, após estes terem sido instalados nos vários acessos. O envio dos dados colectados para o servidor central é também automático, efectuado em intervalos regulares.
O pós-processamento dos dados é efectuado no momento em que estes são recebidos no servidor central, sendo adicionados à base de dados do sistema para posterior análise. A partir daqui foi criada uma base de dados massivamente populada considerando todos os dados recolhidos que possibilitem uma comparação estatística robusta entre operadores.
-
Modo de funcionamento
A colocação dos MTU foi precedida de uma verificação de cobertura, garantindo que a potência (RSCP - Received Signal Code Power) mínima para o sinal UMTS de -90dBm. Verificou-se também a existência de tecnologia HSDPA para os três operadores.
Cumprida esta condição, seguiu-se a execução dos testes por um período de uma semana por local, cumprindo o mesmo critério para todos os acessos que fizeram parte da amostra para as cidades de Faro, Lisboa e Porto, 60 locais em cada um dos concelhos num total de 180.
As unidades mantiveram-se imóveis (estáticas) durante o período de colecta e desobstruídas.
As sequências de testes, efectuados pelas unidades de medida, usaram aplicações informáticas que permitiram aferir os indicadores apresentados neste estudo para cada operador, com recurso a ligações a todos os servidores de teste, nacionais e internacionais.
Pelo facto de ser usada uma única placa de dados 3G com antena externa na unidade de medidas, foram garantidas as mesmas condições de propagação para os três operadores. Os testes foram separados no tempo com intervalos mínimos, fazendo uso da função ''SIM Multiplexing'' da unidade de medidas. Assim, um SIM de cada operador usou alternadamente uma única placa de dados 3G para transferência da página HTTP, ''upload'' ou ''download'' do ficheiro binário por FTP, efectuar o Ping, ou os testes de Streaming aos servidores alvo de teste.
-
Detalhe dos componentes
Unidade remota de medidas MTU
A unidade MTU utilizada no estudo foi a MTU750.
Uma única antena externa ligada à placa de dados da unidade garante exactamente as mesmas condições rádio para os 3 operadores em análise. Cada uma destas unidades foi geo-referenciada por forma a localizar o acesso indoor ou outdoor.
A placa de dados incluída no MTU750 é compatível com as especificações 3GPP, permitindo débitos HSDPA até 7,2 Mbps e HSUPA até 2Mbps (Option Globetrotter data card used in MTU750 is a 7,2 Mbps/2Mbps capable data card).
No MTU estavam instalados 3 SIMs de dados, para efectuar os testes a cada um dos operadores (Optimus, Vodafone e TMN).
Figura 5- MTU750
(Clique na imagem para ver a figura numa nova janela)
Servidores FTP/HTTP Nacional e Internacionais
Para a aferição dos indicadores para cada um dos operadores, os MTU efectuaram testes de HTTP, FTP, Streaming e PING a um servidor nacional e 2 servidores internacionais com as seguintes características:
Portugal (Lisboa FCCN):
Sun Solaris 10
RAM 16GB
USA (Houston):
Microsoft Windows Server 2003 SP2
Intel Xeon CPU 2.4GHz
RAM 2GB
UK (Londres):
Microsoft Windows Server 2003 SP2
Intel Core2 Duo CPU 2.93GHz
RAM 2GB
1 Os operadores têm diferentes interpretações relativamente à velocidade máxima de download das ofertas em estudo. Apesar da oferta comercial analisada indicar velocidades máximas até 2 Mbps em downlink, e 384 Kbps em uplink, os perfis registados no HLR têm velocidades diferentes dependendo do operador. Os SIM cards da TMN têm velocidades definidas de 2560 Kbps no downlink e 5824 Kbps no uplink. A Vodafone configura os perfis associados aos SIM cards com velocidades máximas de 2432 Kbps no downlink e 384 Kbps no uplink. Já a Optimus têm como velocidades máximas definidas 2432 Kbps no downlink e 576 Kbps no uplink. É possível verificar que todos os operadores permitem velocidades de download superiores às anunciadas em termos comerciais, e que a TMN e a Optimus permitem igualmente velocidades de uplink superiores às definidas comercialmente.
2 High-Speed Downlink Packet Access.
3 Interrupção de medições entre os dias 23 de Dezembro de 2009 e 3 de Janeiro de 2010 por se considerar como um período atípico.
4 A Precisão Absoluta dos resultados, também designada por Margem de Erro (Absoluta), corresponde a metade da amplitude do intervalo de confiança para a variável em estudo. A Precisão Relativa corresponde à percentagem da Precisão Absoluta sobre a estimativa obtida para essa mesma variável.
