FUNDAMENTOS DE VISÃO COMPUTACIONAL. Marco Antônio Piteri José Carlos Rodrigues. Organizadores

Transcrição

1

2 FUNDAMENTOS DE VISÃO COMPUTACIONAL Marco Antônio Piteri José Carlos Rodrigues Organizadores Presidente Prudente 2011

3 FUNDAMENTOS DE VISÃO COMPUTACIONAL Alejandro César Orgambide Frery Departamento de Matemática,Instituto de Ciências Exatas, UFAL Universidade Federal de Alagoas Talita Perciano Costa Leite Universidade de São Paulo Mauricio Galo Antonio Maria Garcia Tommaselli {galo, UNESP / Universidade Estadual Paulista FCT / Faculdade de Ciências e Tecnologia Departamento de Cartográfia Denise Stringhini Ilana de Almeida Souza Leandro Augusto da Silva Maurício Marengoni {dstring, iasouza, prof.leandro.augusto, mmarengoni}@mackenzie.br Universidade Presbiteriana Mackenzie Presidente Prudente - SP, Brasil 2010

4 Coordenação Editorial: Marco Antônio Piteri e José Carlos Rodrigues Editora: Editora Gráfica Viena Impresso na Gráfica: Editora Gráfica Viena Editoração e Capa: Helder C. R. de Oliveira e Marco A. Piteri Apoio: FAPESP, CNPq, CAPES e FUNDUNESP Copyright c 2011 by UNESP - Faculdade de Ciências e Tecnologia - Câmpus de Presidente Prudente Direitos reservados. Essa publicação não impede os autores de publicarem parcialmente ou na sua totalidade, os respectivos capítulos de sua autoria por outra editora, em qualquer meio, desde que faça a citação à edição original. F977 Fundamentos de Visão Computacional/ Marco Antônio Piteri (coord.), José Carlos Rodrigues (coord.). - Presidente Prudente, SP : Gráfica Viena, 2011 FCT/UNESP-PP, p. : il. ISBN Visão Computacional 2. Processamento de Imagens 3. Calibração de Câmaras 4. Software R 5. OpenCV I. Piteri, Marco Antônio. II. Rodrigues, José Carlos. III. Universidade Estadual Paulista. Faculdade de Ciências e Tecnologia. IV. Título CDD Ficha catalográfica elaborada pela Bibliotecária Claudia Adriana Spindola - Seção Técnica de Aquisição e Tratamento da Informação - Serviço Técnico da Biblioteca e Documentação - UNESP, Câmpus de Presidente Prudente

5

6 Sumário Prefácio vii 1 Calibração de Câmaras Introdução Importância da Calibração Visão Geral dos Métodos de Calibração Modelo de Câmara Sistemas de Referência Envolvidos Modelo Matemático Fundamental Modelos Matemáticos para Correção de Erros Sistemáticos Distorção Radial Simétrica Distorção Descentrada Modelo de Afinidade Modelos Baseados em Polinômios Estimativa dos Parâmetros e Modelo Estocástico Modelo Estocástico Métodos de Calibração Calibração Usando Equações de Colinearidade Transformação Linear Direta - DLT Plumb Line Method - Método do Fio de Prumo Método de Tsai Considerações Finais Referências Bibliográficas v

7

8 Prefácio É notório o amadurecimento e as conquistas originadas a partir das pesquisas realizadas na área de Visão Computacional, tanto de uma perspectiva teórica, como prática, já que parte significativa do conhecimento científico gerado por essa disciplina nos últimos 30, 40 anos tem se transformado em tecnologia e está, em grande parte, disponível em vários segmentos do mercado. Atualmente, é possível encontrar dezenas de produtos que embarcam tecnologias desenvolvidas no âmbito do corpo de conhecimentos gerado pela disciplina de Visão Computacional. Para ilustrar: em nível mundial, o mercado de Biometria, segundo a empresa International Biometric Group, deve movimentar no ano de 2014 cifras da ordem de uma dezena de bilhões de dólares. Esta é apenas uma das faces mais visíveis da Visão Computacional. Ela também encontra aplicações na medicina, em sistemas de manufatura e de inspeção industrial, navegação autônoma de veículos aéreos, terrestres e marítimos, entre outras tantas. Em plena era da tecnologia da informação, projetos como o Google Maps TM e Google Street View TM estão facilmente acessíveis e são capazes de potencializar ações educativas, de lazer e de cultura, literalmente a milhões de pessoas espalhadas pelo planeta. Como sabemos, esses softwares incorporam uma quantidade enorme de conhecimentos e de técnicas desenvolvidas no âmbito da área de Visão Computacional e de áreas correlatas. Um outro aspecto naturalmente intrínseco e associado à área de Visão Computacional é sua interdisciplinaridade. No presente, um número vii

9 viii expressivo de novas tecnologias é gerado na fronteira de conhecimentos provenientes de diferentes áreas do saber. Isso talvez ajude a explicar, em parte, o sucesso e os resultados alcançados a partir das pesquisas oriundas dessa temática. No Brasil, é visível o elevado interesse pela área de Visão Computacional, em particular nas Universidades e Institutos Nacionais de Pesquisa. É fácil encontrar minicursos, tutoriais e disciplinas sendo oferecidas tanto no nível de graduação quanto de pós-graduação, em várias instituições brasileiras. Entretanto, embora haja uma quantidade razoável de livros na língua inglesa, o mesmo não se verifica em termos da língua portuguesa, havendo carência de títulos, seja de obras de autores nacionais, seja de um maior número de traduções de textos considerados clássicos no assunto. Entre as diferentes atividades realizadas no âmbito do Workshop de Visão Computacional (WVC), não há dúvidas de que o oferecimento de minicursos básicos voltados para a formação complementar dos participantes tem uma enorme aceitação. Nesse sentido, com o intuito de potencializar o material gerado e distribuído durante os três minicursos do VI WVC, realizado na Faculdade de Ciência e Tecnologia da UNESP - Câmpus de Presidente Prudente-SP, os autores foram convidados a desenvolverem um texto adicional, cujos resultados encontram-se sintetizados no presente compêndio. Esperamos que essa iniciativa contribua para fomentar e ajudar a preencher a lacuna na produção de textos em nossa língua materna. É preciso considerar ainda que, quando os autores foram convidados a definirem os temas de seus respectivos minicursos, não tinham a priori quaisquer informações relacionadas às demais propostas. Contudo, verifica-se que o resultado final, obtido com a junção dos três capítulos que integram este livro, aponta para um diálogo estreito e bastante coeso entre eles. Desse modo, consideramos que esta obra possa ser de extrema valia para estudantes de diferentes cursos da área de exatas interessados na temática de Visão Computacional e disciplinas congêneres, quer no nível da graduação, quer em sua fase inicial em programas de pós-graduação. Essa é a expectativa dos autores, corroboradas pelos organizadores. Em síntese, o livro aborda tópicos fundamentais no contexto da Vi-

10 ix são Computacional. Um dos capítulos é mais teórico e introduz os conceitos e princípios básicos associados ao tema de calibração de câmaras. Os dois outros capítulos exploram as plataformas de softwares R e OpenCV, respectivamente. Ambas de domínio público, consolidadas e amplamente utilizadas pela comunidade acadêmica e científica em nível mundial. Uma grande vantagem dessas bibliotecas, entre outras, é que elas possuem um conjunto de centenas de poderosas primitivas extremamente robustas, muitas delas encapsulando um alto nível de sofisticação e capazes de dar respostas em tempo real para variadas aplicações nas mais diferentes áreas do conhecimento humano. Além disso, tornam possível, de forma muito rápida, a realização da prototipagem de novas metodologias computacionais, assim como sua validação, conferindo um ganho de produtividade significativo. Nesse sentido, constituem-se em ferramentas alternativas, disponíveis e relevantes a qualquer pessoa interessada nos domínios da Visão Computacional e áreas correlatas. Por fim, os organizadores gostariam de agradecer a todos que no último ano estiveram envolvidos no projeto deste livro e, em particular, ressaltar a colaboração do aluno do curso de Ciência da Computação da FCT/UNESP - Câmpus de Presidente Prudente, Helder César Rodrigues de Oliveira, que auxiliou de modo decisivo no processo de diagramação. Presidente Prudente, 26 de janeiro de Marco Antônio Piteri José Carlos Rodrigues Organizadores

11

12 Capítulo 1 Calibração de Câmaras 1.1 Introdução Mauricio Galo Antonio Maria Garcia Tommaselli UNESP / Universidade Estadual Paulista FCT / Faculdade de Ciências e Tecnologia Departamento de Cartografia Desde o trabalho do cientista alemão Johann Heinrich Schultze, que observou o escurecimento do nitrato de prata quanto exposto à luz (1725), até a apresentação da primeira fotografia à Academia Francesa de Artes e Ciência (1837), pelo pintor e físico francês Louis J. M. Daguerre ( ), se passaram mais de 100 anos. Por volta de 1887, o efeito fotoelétrico foi apresentado pelo físico alemão Heinrich Rudolf Hertz, que posteriormente também foi estudado e teve a contribuição de outros cientistas, como Albert Einstein, em um trabalho apresentado em 1905, que inclusive lhe rendeu o prêmio Nobel em Física, no ano de Este desenvolvimento, bem como o desenvolvimento da física dos semicondutores, após este período, permitiu a invenção do CCD na década de 70, pelos cientistas Willard S. Boyle e George E. Smith, que foram dois dos três ganhadores do prêmio Nobel de Física de Essa evolução permitiu o desenvolvimento de diferentes ramos da Física, que propiciou o aparecimento dos modernos sensores digitais de imageamento, utilizados em inúmeras aplicações. 1

13 2 Calibração de Câmaras Graças a esta evolução, aproximadamente 280 anos após a contribuição de Schultze, é possível contar com câmaras digitais em aparelhos celulares; câmaras de vídeo; câmaras de amador; câmaras profissionais; sensores de imageamento aerotransportados; sensores orbitais a bordo de satélites artificiais de recursos naturais e satélites artificiais militares; dentre inúmeros outros sistemas. Em todos estes dispositivos e sistemas de imageamento, um elemento chave é o silício, fundamental na construção de sensores do tipo CCD (Charge Couple Device), ou CMOS (Complementary Metal Oxide Semiconductor), que compõem as modernas câmaras digitais. Independente dos sistemas digitais citados, resultantes de desenvolvimentos e esforços na área da física dos semicondutores e estado sólido; ou dos clássicos filmes a base de nitrato de prata; não pode-se esquecer das contribuições de outra área da Física, a óptica, essencial no desenvolvimento dos sistemas ópticos dos dispositivos de imageamento mencionados. Todo este desenvolvimento, rapidamente mencionado, foi fundamental para a evolução de outras áreas do conhecimento, como a Visão Computacional e a Visão de Máquina, a Fotogrametria e o Sensoriamento Remoto, e áreas correlatas, que utilizam de imagens, nas mais diversas formas, em termos de intervalo espectral, resolução geométrica, etc. Estas imagens são adquiridas por diferentes sensores, com características específicas, conforme a área do conhecimento, o que permite a aplicação e uso de imagens, nos mais diversos campos do conhecimento. Nestas disciplinas, que utilizam imagens adquiridas com sensores ópticos, um problema fundamental é a Calibração de Câmaras, que permite determinar as características geométricas e radiométricas do sensor. Neste texto são apresentados os aspectos introdutórios relacionados à Calibração de Câmaras, sendo dada ênfase à calibração geométrica de câmaras digitais. Com este propósito são apresentados aspectos básicos importantes para o entendimento do problema, como referenciais, modelos matemáticos usados no relacionamento entre os espaços envolvidos, modelos matemáticos para a correção dos erros sistemáticos bem como os principais métodos de calibração. Para o aprofundamento em tópicos específicos são recomendadas as referências apresentadas ao final do Capítulo.

14 Introdução Importância da Calibração As lentes das câmaras provocam aberrações, que prejudicam a qualidade da imagem e provocam o deslocamento dos pontos projetados no plano imagem. Estas aberrações podem ser provocadas por diferentes fatores tais como: curvatura e polimento não uniforme das lentes que compõem o sistema óptico. Além desses fatores pode-se também considerar a homogeneidade e pureza do material que compõe a lente, que tem influência no índice de refração. Todos estes fatores afetam a qualidade das imagens adquiridas por uma câmara, independente da câmara ser digital ou de filme. Em função dos problemas inerentes ao sistema óptico, em trabalhos ligados a áreas como Fotogrametria, Visão Computacional, Visão de Máquina, e outras, muitas vezes são requeridas câmaras com alta qualidade geométrica. Em áreas específicas como a Fotogrametria, por exemplo, os parâmetros intrínsecos à câmara, chamados de parâmetros de orientação interior (POI), que permitem a correção dos erros sistemáticos, devem ser especificados em um certificado de calibração. Com estes parâmetros disponíveis, as coordenadas medidas sobre as imagens podem ser corrigidas destes erros sistemáticos, a fim de que os produtos gerados a partir das imagens atendam às especificações pré-estabelecidas. No entanto, nem todas as câmaras disponíveis são construídas com finalidades métricas e, portanto, não possuem certificado de calibração, o que não implica que elas não possam ser utilizadas com esta finalidade. Para utilizar uma câmara que não tenha sido produzida originalmente com o propósito métrico, deve-se, inicialmente, realizar um procedimento que permita determinar os parâmetros de orientação interior. Este procedimento denomina-se Calibração de Câmaras. No Brasil, diferentes grupos de pesquisa trabalham com o assunto, mas não existe, até o momento, uma normatização específica estabelecida por órgãos oficiais. Na Europa, por exemplo, existem grupos de trabalhos, como o EuroSDR - European Spatial Data Research (EUROSDR [17]; CRAMER [13]; HEIPKE e MOONEY [30]) no qual questões relativas à calibração, tanto em termos geométricos quando radiométricos, são tratadas, sendo realizados e comparados experimentos com diferentes sensores e métodos, por diferentes instituições, visando a recomendação de procedimentos.

15 4 Calibração de Câmaras Nos EUA o ASPRS Camera Calibration Panel [4] também discute este assunto. Além destes dois exemplos pode-se também mencionar a existência de comissões científicas específicas para a discussão deste tema em sociedades científicas internacionais, como a ISPRS International Society of Photogrammetry and Remote Sensing (ver Outro exemplo relevante, que merece ser destacado, foi desenvolvido na província de Colúmbia Britânica, no Canadá, que estabeleceu critérios para a calibração de câmaras digitais de pequeno e médio formato, como pode-se ver em ILMB [33]. Por estes poucos exemplos apresentados pode-se ver a importância dada ao tema em alguns países. Na sequência será dada uma visão geral dos métodos de calibração Visão Geral dos Métodos de Calibração A calibração de câmaras pode ser realizada tanto considerando os aspectos geométricos quanto os radiométricos. Conceitualmente, a calibração de câmaras, em termos geométricos, pode ser entendida como sendo a determinação de parâmetros que permitam a reconstrução do feixe de raios que gera as imagens (ANDRADE [2]). Nesta calibração procura-se determinar os parâmetros de orientação interior (POI) tais como a distância focal, a posição do ponto principal (será definido posteriormente) e os parâmetros que permitem modelar as distorções das lentes. Na calibração radiométrica ou espectral, essencialmente procura-se avaliar a resposta do sensor em função do sinal incidente no sistema. De acordo com Mikhail, Bethel e McGlone [39] esta calibração pode ser feita de modo relativo ou absoluto. Na calibração relativa a idéia é avaliar a resposta dos pixels da matriz de sensores, ou de um conjunto de matrizes de sensores, para uma mesma radiância 1 incidente. Na avaliação absoluta é estabelecida a relação entre o sinal incidente e o sinal resultante, de modo que, a partir da imagem de uma dada cena, seja possível inferir sobre sua radiância. Para detalhes adicionais sobre a calibração radiométrica de sensores de imageamento sugere-se Honkavara [31]. No caso da calibração geométrica de câmaras, denominada neste tra- 1 Quantidade de radiação que deixa determinada superfície, por unidade de área, em uma dada direção.

16 Introdução 5 balho apenas como calibração de câmaras, diferentes métodos podem ser considerados: Métodos de Laboratório e Método de Campo. Dentre os métodos de laboratório os mais comuns são o Método dos Multicolimarodes e o Método do Goniômetro. No Método dos Multicolimadores a idéia é utilizar dois conjuntos de colimadores 2 (dois bancos de colimadores) de modo que a luz emitida por cada colimador simule um objeto situado no infinito, a fim de que as imagens de todos os colimadores sejam projetadas no mesmo plano focal. Uma vez que os ângulos entre os colimadores são conhecidos a priori, por construção, a partir destes ângulos e de medidas feitas sobre os alvos projetados na imagem, a distância focal, a posição do ponto principal e os parâmetros da distorção radial simétrica podem ser determinados. No Método do Goniômetro, cujo princípio é similar ao do método descrito anteriormente, os ângulos não são fixos, como os ângulos entre os colimadores, sendo os ângulos α (na Figura 1.1b) medidos pelo goniômetro. A Figura 1.1 mostra o princípio dos equipamentos usados nos dois métodos de laboratório. (a) Banco de colimadores. (b) Goniômetro. Figura 1.1: Principio dos equipamentos usados na calibração em laboratório. 2 Colimador: Projetor óptico com uma cruz montada em seu plano de foco infinito [2].

17 6 Calibração de Câmaras Para detalhes adicionais sobre estes dois métodos sugere-se: [11, 39, 2]. Na Figura 1.1a é possível notar os pontos nodais anterior (front node) e posterior (rear node). De acordo com Baker [5] estes pontos são pontos axiais nos quais, de acordo com a óptica gaussiana, qualquer raio passante por um deles emergirá do segundo ponto numa direção paralela ao raio original incidente. Quanto aos Métodos de Campo, os mais comuns são os Método Estelar, dos Campos Mistos e das Câmaras Convergentes. Método Estelar O Método Estelar de calibração de câmaras consiste na utilização de imagens estelares, adquiridas a partir de um ponto com coordenadas astronômicas, latitude (ϕ) e longitude (λ), conhecidas, bem como de observações sobre as imagens. Uma vez fotografado um conjunto de estrelas, identificadas com o auxílio de um mapa celeste, de medidas de ângulos horizontais e verticais das estrelas observadas e do instante de coleta das imagens, pode-se obter, a partir de anuários astronômicos, a ascensão reta, α(t), e a declinação δ(t) para cada estrela observada. A partir destas coordenadas e das medidas realizadas sobre a imagem, bem como da correção da refração fotogramétrica, é possível escrever um modelo matemático que relaciona as coordenadas no sistema equatorial (α(t),δ(t)), ascensão reta e declinação, respectivamente, com as coordenadas medidas sobre a imagem e estimar os parâmetros de orientação interior da câmara utilizada, pelo MMQ Método dos Mínimos Quadrados, que será discutido posteriormente. Um aspecto interessante deste método de calibração é que as estrelas atuam como pontos de apoio e, de acordo com Livingston [36], este método foi utilizado tanto para realizar a calibração de câmaras balísticas quanto para câmaras aéreas. Este método foi utilizado de modo mais amplo a partir da metade do século XX, tendo como requisito boas condições atmosféricas para a coleta das imagens. Por esta razão não é um método muito prático e o seu uso é limitado, independente da alta qualidade dos parâmetros estimados. Para detalhes adicionais sobre o método sugere-se: [36, 39, 2].

18 Introdução 7 Método dos Campos Mistos Como será visto na Seção 1.5.1, o modelo matemático usado na calibração de câmaras incorpora parâmetros intrínsecos ou de orientação interior, que são inerentes à câmara, bem como parâmetros como posição e orientação, que são responsáveis pela orientação exterior da câmara. Em algumas situações onde o terreno fotografado é aproximadamente plano e as fotos verticais, pode-se provar que existe elevada dependência linear entre algumas colunas da matriz das derivadas parciais, na solução pelo MMQ e, consequentemente, da matriz normal a ser invertida. Por esta razão alguns parâmetros estimados são fortemente correlacionados, como por exemplo os POI e os parâmetros de orientação exterior (POE), estes últimos formados pela posição e orientação da câmara no instante da aquisição das imagens. Deste modo esta dependência linear deve ser evitada ou minimizada e uma das maneiras é adquirir imagens de terrenos com certo desnível, da ordem de 20% da altura de vôo, de acordo com Leigh (1973) 3 apud Andrade e Olivas [3]. Com o propósito de reduzir a correlação entre alguns parâmetros foi desenvolvido por Dean Charles Merchant, no início da década de 1970, no Departamento de Ciências Geodésicas da The Ohio State University, um método de calibração de câmaras. Este método foi aperfeiçoado pelo Prof. José Bittencourt de Andrade, da UFPR, sendo usado no Brasil para a calibração de câmaras aerofotogramétricas (Andrade e Olivas [3]). Na solução usada no Brasil foi usando um campo de teste montanhoso, sendo dadas injunções nas altitudes e em algumas distâncias, de modo a eliminar a deficiência de posto igual a 8, sendo 7 referentes à definição do referencial e a oitava relacionada à escala vertical. Detalhes adicionais deste método, conhecido como Método dos Campos Mistos ou Método dos Campos Misturados, podem ser obtidos em Olivas [43], Andrade e Olivas [3] e [2]. Atualmente, com a possibilidade de uso de receptores de sinais de satelites de posicionamento pelo GNSS (Global Navigation Satellite System) como GPS (Global Positioning System), GLONASS (Global Orbiting Navigation Satellite System), GALILEO, dentre outros; a bordo da aeronave durante a missão de aquisição das imagens aéreas, este pro- 3 LEIGH, G. E. A study in improvement of one aspect of the metric camera system. The Ohio State University, 1973.

19 8 Calibração de Câmaras blema de correlação entre os POI e POE é reduzido. Método das Câmaras Convergentes Devido ao problema da dependência linear entre alguns parâmetros de orientação interior e outros de orientação exterior, mencionado no Método dos Campos Mistos, também surgiu o Método das Câmaras Convergentes. Este método foi proposto por Duane C. Brown e uma das primeiras aplicações foi na calibração de uma câmara usada na Missão Apollo 14, ocorrida em 1971, devido a uma falha em uma das câmaras programadas para aquisição. O princípio deste método pode ser resumido a realizar a calibração da câmara utilizando imagens adquiridas com grande convergência (da ordem de 90 o ), sendo que pelo menos uma das imagens deve ter uma rotação de um ângulo kappa (em torno do eixo z), ortogonal às demais. Deste modo, segundo Andrade [2], a deficiência de posto é reduzida de 8 para 7 e apenas 7 injunções relativas à fixação do referencial são necessárias. Um aspecto interessante desta solução é a possibilidade de fixar a posição e orientação de uma das estações e estimar a posição e orientação das demais em relação ao feixe fixo. Esta solução recebe também o nome self-calibration (auto-calibração), pois é possível calibrar a câmara somente com suas próprias informações geométricas, sem controle externo, exceto um fator de escala. Como referências adicionais relativas a este método sugere-se: [43, 37, 2, 11]. 1.2 Modelo de Câmara O modelo mais simples de câmara é denominado Câmara Escura, ou Câmara de Orifício (pinhole camera) no qual um pequeno orifício em uma caixa fechada permite a projeção dos raios passantes pelo orifício e a formação de uma imagem invertida, como mostrado na Figura 1.2. Este modelo, embora seja o mais simples, também possibilita visualizar o princípio do modelo matemático fundamental usado em Fotogrametria, que é o da colinearidade entre os pontos do espaço objeto, o orifício (que representa o CP - Centro de Perspectiva) e os pontos

20 Modelo de Câmara 9 (a) Desenho de câmara de orifício. (b) Trajeto dos raios dentro da câmara e relação entre o tamanho da imagem e distância a partir do orifício C. Figura 1.2: Princípio da câmara escura. Fonte: Balikar [6]. imagens correspondentes. A câmara de orifício representa o modelo de uma câmara de quadro (ou frame), como ilustra a Figura 1.3, onde são vistos mais dois modelos de câmara: linear de varredura ou sensor linear pushbroom e o sensor de varredura pontual, ou sensor whiskbroom. O modelo de sensor pushbroom é usual tanto em plataformas aerotransportadas quanto orbitais e o sensor de varredura pontual foi usado nas primeiras plataformas orbitais. Para mais detalhes sobre modelos de câmara as seguintes referências são sugeridas: Livingston [36], Schenk [47], Mikhail, Bethel e McGlone [39] e Graham e Koh [27]. Nos tópicos seguintes serão discutidos alguns aspectos relacionados à Calibração de Câmaras, sendo os modelos desenvolvidos especificamente para câmaras de quadro (ou frame). No entanto, vários dos modelos descritos, com pequenas adaptações, podem ser aplicados aos demais

21 10 Calibração de Câmaras (a) Sensor de quadro ou frame. (b) Sensor linear pushbroom. (c) Sensor de varredura pontual whiskbroom. Figura 1.3: Geometria dos principais sensores de imageamento. Fonte: Mikhail, Bethel e McGlone [39]. tipos de modelos de câmaras Sistemas de Referência Envolvidos Para a realização da calibração de câmaras devem ser feitas diversas medidas sobre o plano imagem, sendo envolvidos neste processamento

22 Modelo de Câmara 11 diferentes sistemas de referência. Antes de definir os sistemas é importante resgatar o conceito de imagem digital, que pode ser definida como uma matriz na qual, a cada elemento de imagem (pixel), cuja posição é dada por um par ordenado (coluna,linha) ou (x, y), é associado um tom de cinza, ou brilho, expresso genericamente por g(x, y) ou g(c, l), para o caso de imagens em tons de cinza. Para o caso de imagens coloridas, nas quais os intervalos espectrais correspondem às bandas vermelha (R), verde (G) e azul (B) do espectro eletromagnético, a cada pixel será associado um terno de coordenadas (R(c, l),g(c, l),b(c, l)). Neste sistema (denominado sistema de imagem) normalmente a origem é definida no centro do pixel situado no canto superior esquerdo, com o eixo x coincidente com a direção das linhas e o eixo y coincidente com a direção das linhas, como ilustra a Figura 1.4. Figura 1.4: Sistema de imagem. No caso de fotografias adquiridas por câmaras aéreas métricas, que possuem marcas fiduciais, utiliza-se o sistema fiducial. Neste sistema a origem é situada no Centro Fiducial (CF), obtido pelo cruzamento das linhas que unem marcas fiduciais opostas, sendo o eixo x F orientado na direção das marcas mais próximas à direção de vôo. Este sistema é ilustrado na próxima figura onde pode-se ver que o eixo y F forma um ângulo de 90 o com o eixo x F. Em função do modo como o sistema é definido, e como não há simetria perfeita entre as marcas, não necessariamente o

23 12 Calibração de Câmaras eixo y F passa pelos pontos 2 e 4. Figura 1.5: Marcas fiduciais, centro fiducial e sistema fiducial. Na figura anterior foi mostrada uma situação no qual são disponíveis 4 marcas fiduciais nas laterais do quadro da foto. Outras situações são possíveis, como 4 marcas nos cantos e 8 marcas fiduciais (4 nos cantos e 4 nas laterais). Mais detalhes sobre este sistema podem ser obtidos em Schenk [47] e Lugnani [37]. Na Figura 1.6 é mostrada uma imagem com oito marcas fiduciais e duas marcas destacadas, uma no canto e outra em uma das laterais. Considerando uma imagem adquirida diretamente a partir de uma câmara digital, na qual o sensor pode ser do tipo CCD (Charge Couple Device), ou CMOS (Complementary Metal Oxide Semiconductor), o sistema equivalente ao fiducial, descrito anteriormente, pode ser considerado como sendo o sistema com origem no centro geométrico da matriz de sensores, cuja posição é representada por (C x, C y ) como ilustra a Figura 1.7. Assumindo que a imagem adquirida possua W colunas e H linhas, a posição do centro geométrico da matriz de sensores (C x, C y ) poderá ser calculada por: C x = W 1 2 (1.1) C y = H 1 2 Uma vez medido um pixel na posição (coluna,linha)=(c, l), para transformá-lo para o sistema (x, y ), deve-se fazer translações em c e

24 Modelo de Câmara 13 (a) Imagem aérea com 8 marcas fiduciais. (b) Detalhes de uma marca no canto. (c) Detalhes de uma marca na lateral. Figura 1.6: Exemplo de imagem aérea e localização das marcas fiduciais. Figura 1.7: Sistemas de imagem (x, y) e sistema com origem no centro geométrico da imagem (x, y ). l e uma reflexão no eixo y. Deste modo, as coordenadas (x, y ), na unidade pixel, de um ponto situado na posição (c, l) poderão ser obtidas por:

25 14 Calibração de Câmaras [ x y ] [ = c C x (l C y ) ] (1.2) As coordenadas obtidas pela Equação 1.2 estão na unidade pixel e para transformá-las para grandezas no sistema métrico é necessário conhecer as dimensões dos pixels em x e y. Considerando que as dimensões em x e y são representadas respectivamente por S x e S y, as coordenadas (x, y ) podem ser calculadas por: [ xf y F ] = [ ( ( Sx c W 1 )) 2 ( ( S y l H 1 )) 2 ] [ Sx 0 = 0 S y ] [ c W 1 2 l H 1 2 ] (1.3) A partir da Equação 1.3 pode-se obter a equação inversa, que permite o cálculo das coordenadas (c, l) a partir de (x, y ), W, H, S x e S y, ou seja: [ c l ] = [ 1 S x S y ] [ x y ] + [ W 1 2 H 1 2 ] (1.4) Os sistemas apresentados até este ponto são sistemas cartesianos bidimensionais (2D). Considerando o plano imagem e o centro perspectivo (CP), a projeção ortogonal do CP sobre o plano imagem define o ponto principal (pp) que não coincide necessariamente com o centro fiducial, no caso de imagens obtidas por câmaras métricas, ou com o centro geométrico da imagem, no caso de câmaras digitais. A partir do CP, pode-se considerar um sistema cartesiano tridimensional (3D) onde o eixo z tem a direção da normal ao plano imagem e os eixos (x, y) são paralelos aos sistemas fiducial (x F, y F ), ou equivalente (x, y ), para o caso de imagens digitais, como mostrado na Figura 1.8. Este sistema é denominado Sistema Fotogramétrico. Pode-se observar na Figura 1.8a, que a componente z de qualquer ponto que está sobre o plano imagem possui coordenada igual a f, onde f é a distância focal (ou constante da câmara). Considerando que a posição do ponto principal no sistema (x, y ) seja (x 0, y 0 ) e assumindo que são conhecidas as coordenadas de um ponto qualquer sobre o quadro

26 Modelo de Câmara 15 fotográfico, no sistema (x, y ), pode-se determinar as coordenadas deste ponto no sistema fotogramétrico por: x = x x 0 y = y y 0 z = f (1.5) Pode-se observar que os sistemas fotogramétrico e o sistema com origem centro da imagem são dextrogiros, ou de mão direita, como o sistema fiducial. Além dos sistemas descritos também é necessário ter um sistema cartesiano 3D associado ao espaço objeto, onde as coordenadas são representadas por (X, Y, Z). Para mais detalhes sobre sistemas de referência utilizados em Fotogrametria são sugeridas as seguintes leituras: [37, 52, 39, 2] Modelo Matemático Fundamental Na seção anterior foram apresentados alguns sistemas de coordenadas e o próximo passo é estabelecer uma relação que envolve os espaços imagem e o objeto. As coordenadas no espaço objeto e espaço imagem podem (a) Sistema Fotogramétrico (x, y, z). (b) Projeção dos eixos (x, y) sobre o plano imagem. Figura 1.8: Sistema Fotogramétrico.

27 16 Calibração de Câmaras ser relacionadas pelas equações de colinearidade. As equações de colinearidade podem ser consideradas como sendo as equações fundamentais da Fotogrametria e também da Visão 3D. Elas podem ser deduzidas baseando-se na condição de colinearidade envolvendo um ponto imagem, o centro perspectivo e o ponto objeto correspondente. Considerando como sistema de coordenadas do espaço objeto um sistema cartesiano local, representado por (X, Y, Z), o plano imagem e o sistema fotogramétrico, bem como o ponto P(X, Y, Z) no espaço objeto, o ponto imagem (p), imagem de P, e o CP, cujas coordenadas no espaço objeto são (X cp, Y cp, Z cp ), podem ser definidos os vetores mostrados na Figura 1.9b. (a) Sistemas do espaço objeto e fotogramétrico. (b) Vetores ligando os pontos O (origem do sistema do espaço objeto), CP, P e p. Figura 1.9: Sistema do espaço objeto, sistema fotogramétrico e a condição de colinearidade. Para a dedução das equações de colinearidade pode-se considerar a relação vetorial, entre os vetores da Figura 1.9, podendo-se escrever a seguinte igualdade vetorial: OP = O CP + CP P (1.6)

28 Modelo de Câmara 17 Por outro lado, pode-se escrever o vetor que liga os pontos CP e P como sendo o produto de um escalar k pelo vetor definido por CP e p, ou seja, CP P = k CP p. Deste modo, a Equação 1.6 pode ser escrita como: OP = O CP + k CP p (1.7) Dos vetores presentes na Equação 1.7, OP e O CP podem ser expressos em função das coordenadas no sistema do espaço objeto e o vetor CP p pode ser escrito em função das coordenadas no sistema fotogramétrico. Assim, isolando k CP p pode-se escrever: k CP p = OP O CP. (1.8) Portanto, para que os componentes dos vetores sejam incorporados a todos os elementos da Equação 1.8, deve-se aplicar rotações no sistema de coordenadas do espaço objeto, de modo que eles se tornem paralelos. Assumindo as matrizes de rotação em torno dos eixos X, Y e Z e a aplicação sucessiva das seguintes rotações: - ω - em torno de X; - φ - em torno de Y ; - κ - em torno de Z; pode-se escrever a seguinte matriz de rotação: M = [ m c1 m c2 m c2 ], (1.9) nas quais m ci, com i {1,2,3}, são as colunas da matriz M, calculadas por:

29 18 Calibração de Câmaras m c1 = m c2 = m c3 = cos φcos κ cos φsinκ sinφ sinω sinφcos κ + cos ω. sin κ, sinω sinφsin κ + cos ω cos κ sinω cos φ cos ω sinφcos κ + sinω sinκ cos ω sinφsin κ + sinω cos κ cos ω cos φ que podem ser obtidas pelo produto M = R z (κ)r y (φ)r x (ω). Considerando a matriz M, os componentes de cada um dos vetores descritos e substituindo-os na Equação 1.8, obtém-se: = k x y z = M m 11 m 12 m 13 m 21 m 22 m 23 m 31 m 32 m 33 X X cp Y Y cp Z Z cp = X X cp Y Y cp Z Z cp (1.10) Desenvolvendo o produto matricial na equação anterior, podem ser obtidas as seguintes equações para (x, y, z): x = k 1 [m 11 (X X cp ) + m 12 (Y Y cp ) + m 13 (Z Z cp )] y = k 1 [m 21 (X X cp ) + m 22 (Y Y cp ) + m 23 (Z Z cp )] (1.11) z = k 1 [m 31 (X X cp ) + m 32 (Y Y cp ) + m 33 (Z Z cp )] Dividindo as duas primeiras equações pela terceira, fazendo as devidas simplificações e lembrando ainda da Equação 1.5, pode-se finalmente

30 Modelos Matemáticos para Correção de Erros Sistemáticos 19 escrever as equações de colinearidade: x = x 0 f y = y 0 f ( m11 (X X cp)+m 12 (Y Y cp)+m 13 (Z Z cp) m 31 (X X cp)+m 32 (Y Y cp)+m 33 (Z Z cp) ( m21 (X X cp)+m 22 (Y Y cp)+m 23 (Z Z cp) m 31 (X X cp)+m 32 (Y Y cp)+m 33 (Z Z cp) ) ) (1.12) No desenvolvimento apresentado não foram consideradas as influências da refração atmosférica e nem das distorções inerentes ao sensor (câmara). Deste modo, a Equação 1.12 reflete um caso ideal, no qual apenas a posição do ponto principal é considerada e as demais influências são desprezadas. 1.3 Modelos Matemáticos para Correção de Erros Sistemáticos No modelo matemático mostrado na Equação 1.12 os parâmetros de orientação interior que aparecem de forma explicita são a distância focal e a posição do ponto principal (x 0, y 0 ). Além destes, os parâmetros inerentes ao sistema óptico devem ser incorporados. Dentre as distorções que podem ser incorporadas pode-se mencionar: distorção radial simétrica, distorção descentrada e parâmetros de afinidade. Além destas distorções pode-se também incluir deformações relacionadas à planura do sensor (out-of plane distortion) e outras no plano imagem (in plane distortion). Nas seções seguintes serão apresentados alguns dos modelos matemáticos usuais para a solução deste problema. É relevante destacar que a modelagem destes efeitos pode ser tanto baseada em modelos físicos, quanto em modelos nos quais os parâmetros não necessariamente apresentam um significado físico. Além destes modelos, vários outros podem ser considerados, tais como modelos baseados em polinômios ortogonais, como apresentados por El-Hakim e Faig [16], Ebner [15] e Brown [8], dentre outros. Mais detalhes sobre alguns destes modelos podem ser vistos em Santos e Dalmolin [46] e Ruy et al [45].

31 20 Calibração de Câmaras Distorção Radial Simétrica A distorção radial simétrica pode ser considerada, conforme descrito por Andrade e Olivas [3], como sendo a refração sofrida por um raio de luz incidente ao atravessar o sistema óptico. A Figura 1.10 mostra, de forma esquemática, o deslocamento δ(r) provocado pela modificação do ângulo α por um valor δα. Figura 1.10: Distorção radial simétrica. Fonte: Andrade e Olivas [3]. A modelagem deste efeito foi proposta por A. E. Conrady em 1919, sendo feita por um polinômio impar dado por: δr = K 1 r 3 + K 2 r 5 + K 3 r , (1.13) nos quais K 1, K 2 e K 3 são os coeficientes deste polinômio e r é a distância de um ponto imagem (x, y ), no sistema com origem no centro da matriz de sensores ao ponto principal, ou seja, r = (x x 0 ) 2 + (y y 0 ) 2. A Equação 1.13 permite o cálculo do valor de δr para cada valor de r. No entanto, na prática é necessário calcular a influência para cada uma das componentes, como ilustrado na Figura Considerando a função δr e a semelhança de alguns triângulos presentes na Figura 1.11 pode-se mostrar que as correções nas componentes x e y podem ser obtidas por: δr x = (x x 0 ) ( K 1 r 2 + K 2 r 4 + K 3 r 6 + ) δr y = (x x 0 ) ( K 1 r 2 + K 2 r 4 + K 3 r 6 + ) (1.14)

32 Modelos Matemáticos para Correção de Erros Sistemáticos 21 Figura 1.11: Decomposição da distorção radial simétrica em x e y. A Figura 1.12 mostra os efeitos desta distorção no plano imagem, para duas câmaras diferentes. (a) Distorção na forma de barril (barrel distortion). (b) Distorção na forma de almofada (pincushion distortion). Figura 1.12: Distorção radial simétrica. Ao observar a Figura 1.12 pode-se notar em (a) que, à medida que r aumenta, os pontos sofrem um deslocamento no sentido do ponto principal, ou seja, os valores de δr (Equação 1.13) são negativos. Em (b) os pontos se afastam do ponto principal à medida que r aumenta. O modelo apresentado é o mais usado e alguns modelos variantes podem ser considerados, como por exemplo:

33 22 Calibração de Câmaras δx r = (x x 0 ) [ ( K 1 r 2 r0) 2 ( + K2 r 4 r0) 4 ( + K3 r 6 r0 6 )] δy r = (y y 0 ) [ ( K 1 r 2 r0) 2 ( + K2 r 4 r0) 4 ( + K3 r 6 r0 6 )] (1.15) Neste modelo, a única diferença em relação ao anterior se refere ao termo r 0, que corresponde a um valor arbitrário de r para o qual as componentes (δx r, δy r ) simultaneamente se anulam. Deste modo, a partir da definição de um valor adequado para r 0, a curva de distorção pode ser balanceada, como ilustrado na Figura (a) Curva de distorção e superfície de distorção para r 0=0 mm. (b) Curva de distorção e superfície de distorção para r 0=15 mm. Figura 1.13: Curvas de distorção radial simétrica para o modelo dado pela Equação 1.15 e respectivas superfícies de distorção.. Fonte: [22]. A partir destes gráficos pode-se notar que as curvas de distorção se anulam para r = 0 mm (em a e b) e em r = 15 mm (em b), que são justamente os valores arbitrados para r 0. Nas superfícies mostradas à direita podem ser vistas as magnitudes das distorções, para estes dois casos. É relevante ressaltar que a mudança no valor de r 0 não elimina a distorção, mas apenas redistribui e diminui a separação entre as distorções mínima e máxima, provocando, em contrapartida, uma mudança

34 Modelos Matemáticos para Correção de Erros Sistemáticos 23 no valor da distância focal. Mais detalhes sobre o modelo dado pela Equação 1.15 podem ser obtidos em ILMB [33] e Galo et al [22]. Para detalhes adicionais sobre a modelagem da distorção radial simétrica as seguintes referências são sugeridas: Andrade e Olivas [3] e Andrade [2] Distorção Descentrada Os sistemas ópticos das câmaras de melhor qualidade são formados por um conjunto de lentes, como mostra o exemplo da Figura Em função do número de lentes que compõe o sistema, o alinhamento perfeito dos eixos ópticos das lentes individuais, ou seja, dos centros de curvaturas de todas as lentes do sistema, de modo que eles sejam rigorosamente colineares, é muito difícil de ser realizado na prática. Figura 1.14: Exemplo de um sistema óptico composto por 8 lentes. Este sistema, Zeiss Biogon T 4.5/38 CF, é usado em uma das câmaras Hasselblad. Fonte: Deste modo, devido à dificuldade no alinhamento dos centros de curvatura das diversas lentes pode-se ter uma distorção, denominada descentrada. Pode-se também admitir que devido ao uso da câmara, em situações adversas, se tenha o deslocamento de uma ou mais lentes do sistema, provocando tambem esta distorção. A distorção descentrada pode ser modelada pelas seguintes equações: δx d = [ P 1 ( r 2 + 2(x x 0 ) 2) + 2P 2 (x x 0 )(y y 0 ) ] ( 1 + P 3 r 2 + ) δy d = [ 2P 1 (x x 0 )(y ( y 0 ) + P 2 r 2 + 2(y y 0 ) 2)] ( 1 + P 3 r 2 + ) (1.16) nas quais P 1, P 2 e P 3 são os coeficientes que podem ser estimados para diferentes câmaras. De acordo com Fryer e Brown [20] o termo P 3 é

35 24 Calibração de Câmaras raramente significante e por esta razão o modelo frequentemente usado se reduz a: ( δx d = P 1 r 2 + 2(x x 0 ) 2) + 2P 2 (x x 0 )(y y 0 ) δy d = 2P 1 (x x 0 )(y ( (1.17) y 0 ) + P 2 r 2 + 2(y y 0 ) 2) Este modelo é conhecido por modelo de Conrady-Brown, uma vez que foi proposto por A. E. Conrady em 1919 e posteriormente modificado por D. C. Brown em Na Figura 1.15 pode-se ver o comportamento desta distorção para uma câmara digital. Figura 1.15: Vetores mostrando o comportamento da distorção descentrada para uma câmara digital. Por esta figura é possível notar que esta distorção não possui simetria, como na distorção radial simétrica. A distorção descentrada na realidade pode ser considerada como composta pelas componentes tangencial e radial assimétrica. Para detalhes adicionais sobre a distorção descentrada sugere-se: Livingston [36], Andrade e Olivas [3], Fryer e Brown [20] e Andrade [2] Modelo de Afinidade Outro modelo usado em Fotogrametria é o modelo de afinidade, que permite modelar a não ortogonalidade dos eixos do sistema de referência e diferenciais de escala entre os eixos. Este modelo não está ligado ao sistema de lentes da câmara, ao contrário dos anteriores. O modelo

36 Modelos Matemáticos para Correção de Erros Sistemáticos 25 originalmente proposto por Moniwa [41] foi desenvolvido para aplicações a curta distância e é dado pela seguinte equação: δx a = A(y y 0 ) δy a = B(y y 0 ) (1.18) em que A e B são parâmetros que podem ser relacionados com o ângulo de não ortogonalidade (β) e com um diferencial de escala em y (dy) por A = dy.senβ e B = dy.cos(β) 1 (ver [41, 42]). Este modelo foi modificado de modo a incorporar o diferencial de escala em x, ao invés do diferencial de escala em y, para o caso de uso com imagens adquiridas com câmara digital, como pode-se ver em Tommaselli e Tozzi [50]. Deste modo, o modelo passa a ser escrito por: δx a = A(x x 0 ) δy a = B(x x 0 ) (1.19) Os modelos descritos são usados em alguns aplicativos, mas outras versões são utilizadas com o mesmo propósito, como por exemplo: δx a = A 1 (x x 0 ) + A 2 (y y 0 ) δy a = A 1 (y y 0 ) (1.20) que é utilizado por Habib e Morgan [28, 29], e como pode ser visto em ILMB [33], por exemplo. Outro modelo, que também é utilizado, considera as distorções no plano, sendo por isso denominado in-plane distortion. Este modelo é escrito por: δx f = b 1 (x x 0 ) + b 2 (y y 0 ) (1.21) δy f = 0 De acordo com Fraser [18] e Dörstel, Jacobsen e Stallmann [14] o parâmetro b 1 é um parâmetro de escala, que incorpora eventuais diferenças de escala nas direções x e y e o parâmetro b 2 compensa a não ortogonalidade da matriz de sensores, ou entre os eixos x e y.

37 26 Calibração de Câmaras Modelos Baseados em Polinômios Os modelos apresentados nas seções anteriores, relativos à modelagem das distorções do sistema óptico, são, em sua maioria, baseados em equações nas quais os parâmetros possuem um significado físico. Outros modelos foram propostos, com o mesmo objetivo, mas são baseados em modelos matemáticos nos quais nem todos os parâmetros possuem significado físico. Um destes modelos é o proposto por Brown, como pode-se ver em Moniwa [42]: δx = a 1 x + a 2 y + a 3 x 2 + a 4 xy + a 5 y 2 + a 6 x 2 y + a 7 xy [ 2 c1 x 2 + c 2 xy + c 3 y 2 + c 4 x 3 + c 5 x 2 y + c 6 xy 2 + c 7 y 3] + x c (1.22) δy = b 1 x + b 2 y + b 3 x 2 + b 4 xy + b 5 y 2 + b 6 x 2 y + b 7 xy [ 2 c1 x 2 + c 2 xy + c 3 y 2 + c 4 x 3 + c 5 x 2 y + c 6 xy 2 + c 7 y 3] + x c em que a i, b i, c i, com i {1,...,7} são os 21 coeficientes dos polinômios e c é a constante da câmara (distância focal calibrada). Em função do grande número de parâmetros, um problema neste tipo de abordagem é a possibilidade de ocorrência de elevadas correlações entre estes parâmetros. Como alternativas, outros modelos foram sugeridos, como os modelos de Ebner [15], Kölbt, Bauer e Müller, Jacobsen, dentre outros. O modelo de Ebner [15], por exemplo, considera funções ortogonais. Além desse, tem-se também os modelos ortogonais baseados no desenvolvimento de harmônicos esféricos, como pode-se ver em El-Hakim e Faig [16]. Para detalhes relativos aos modelos apresentados, bem como para outros modelos, as seguintes referências são sugeridas: Moniwa [42], El- Hakim e Faig [16], Santos e Dalmolin [46] e Ruy et al [45]. 1.4 Estimativa dos Parâmetros e Modelo Estocástico Como foi visto anteriormente, os parâmetros dos modelos matemáticos que permitem a correção dos erros sistemáticos devem ser estimados. Deste modo, deve-se adquirir as imagens, selecionar os pontos ou feições

38 Estimativa dos Parâmetros e Modelo Estocástico 27 a serem utilizadas, medí-los (ou medí-las) e posteriormente escrever um sistema de equações que deve ser resolvido de modo que os parâmetros possam ser estimados e posteriormente usados, no caso do uso de outras imagens com a mesma câmara. Em todo esse processo existe uma etapa de estimativa da solução de um sistema de equações, normalmente superabundante, que resulta nos valores numéricos dos POI, bem como sua matriz de covariância, que indica a qualidade dos parâmetros estimados. Independente da estimativa de parâmetros ser realizada a partir de um sistema de equações lineares, ou não lineares, quando se tem um conjunto superabundante de observações é necessário adotar um critério para obter uma solução única e representativa do(s) parâmetro(s) que estão sendo estimados. Considerando um conjunto de equações e um vetor V no qual cada elemento representa o resíduo de uma observação, o critério da soma mínima dos quadrados dos resíduos, proposto por Gauss e Legendre, pode ser escrito como: V 2 min (1.23) Este critério norteia o desenvolvimento do Método dos Quadrados Mínimos (MQM) ou Método dos Mínimos Quadrados (MMQ), introduzido há aproximadamente dois séculos por C. F. Gauss e A. M. Legendre, como pode-se ver em Gemael [25] e Mikhail [38]. Admitindo que as observações tenham sido obtidas com diferentes precisões, pode-se fazer uma ponderação na Equação 1.23, associando um peso a cada um dos elementos do vetor V. Designando a variância da unidade de peso a priori por σ0 2 e a matriz variância-covariância (MVC) das observações por ΣLb, a matriz dos pesos pode ser calculada por: P = σ Lb (1.24) Deste modo, o critério dos quadrados mínimos pode ser rescrito como: V t PV min (1.25) Segundo Gemael [25], são basicamente três os métodos de solução do MMQ: o método paramétrico (ou das observações indiretas), o método

39 28 Calibração de Câmaras dos correlatos (ou das equações de condição) e o método combinado. No método paramétrico as observações podem ser escritas em função dos parâmetros, na forma explícita. No método dos correlatos as observações são relacionadas funcionalmente, e no método combinado as observações e os parâmetros são relacionados por um modelo implícito. Na sequência é feito o desenvolvimento do Método Paramétrico, mostrando como pode ser obtido o vetor das correções aos parâmetros, a partir do critério da minimização dos quadrados dos resíduos. Considerando a notação utilizada por Gemael [25] no Método Paramétrico, ou Método dos Parâmetros ou das Observações Indiretas, o modelo funcional básico pode ser escrito da seguinte forma: L a = F(X a ), (1.26) no qual L a é o vetor das observações ajustadas e X a é o vetor dos parâmetros ajustados. Fazendo, L a = L b + V, (1.27) sendo L b o vetor das observações, e escrevendo o vetor dos parâmetros ajustados como sendo composto pela soma do vetor dos parâmetros aproximados (X 0 ) com o vetor das correções aos parâmetros (X), ou seja: X a = X 0 + X, (1.28) pode-se reescrever a Equação 1.26 da seguinte forma L b + V = F(X 0 + X) (1.29) Caso a função ou conjunto de funções F não seja(m) linear(es), podese expandir o termo F(X 0 + X) por série de Taylor em torno do ponto de expansão da série em X 0. Desprezando os termos de ordem 2 tem-se: L b + V = F(X 0 ) + F X a X (1.30) Xa=X 0

40 Estimativa dos Parâmetros e Modelo Estocástico 29 A partir desta equação, fazendo A = F/ X a Xa=X 0 e isolando o vetor V, tem-se o modelo linearizado do método dos parâmetros, ou seja: V = F(X 0 ) + AX L b = AX + L, (1.31) com L = L 0 L b, sendo L 0 = F(X 0 ). Considerando o valor de V dado pela Equação 1.31 pode-se escrever a função φ(x) = V t PV e aplicar uma condição que garanta o atendimento do critério estabelecido pela Equação 1.25, ou dos Quadrados Mínimos. Para tanto, os pontos críticos da função φ(x) podem ser obtidos fazendose φ X = 0, ou seja: φ X = (V t PV ) = ((AX + L)t P(AX + L)) = 0 (1.32) X X Desenvolvendo as derivadas parciais acima e igualando a zero chegase a uma equação na qual se tem apenas uma incógnita (X), sendo a solução dada por: φ X = 2At PAX + 2A t PL = 0 X = (A t PA) 1 A t PL (1.33) A partir do resultado acima tem-se o valor das correções aos parâmetros aproximados X 0. No desenvolvimento em série de Taylor, os termos de ordem maior ou igual a 2 foram desprezados. Portanto, é necessário um processo iterativo no qual o vetor dos parâmetros aproximados é atualizado a cada iteração, até que as correções se aproximem de zero, ou de um limiar (ǫ) preestabelecido. No momento em que todas as correções forem menores que este limiar a solução é encontrada. Deste modo, a cada iteração o vetor dos parâmetros ajustados é recalculado e considerando uma iteração genérica i (com i 1) pode-se escrever: X ai = X ai 1 N 1 i 1 U i 1, (1.34) sendo X a0 = X 0, N = A t PA e U = A t PL. Uma vez obtido o vetor solução (X a ), a MVC dos parâmetros ajustados ΣX a pode ser calculada por:

41 30 Calibração de Câmaras = σ 2 0 N 1, (1.35) Xa em que σ 2 0 é a variância da unidade de peso a posteriori, que pode ser calculada em função dos resíduos, da matriz peso, e do número de graus de liberdade por: σ 2 0= V t PV n o n p, (1.36) sendo n o o número de observações e n p o número de parâmetros. A Figura 1.16 apresenta, na forma de um fluxograma, o algoritmo do MMQ, sendo mostradas as etapas de todo o procedimento, desde a leitura das observações, até o cálculo da Matriz Variância-Covariância - MVC dos parâmetros ajustados. Figura 1.16: Fluxograma mostrando as principais fases do MMQ pelo Método Paramétrico. Fonte: [21]. No desenvolvimento apresentado não foram consideradas restrições ou injunções. Para tanto, pode-se considerar relações adicionais envol-

42 Estimativa dos Parâmetros e Modelo Estocástico 31 vendo parâmetros e que estas relações possam ser representadas por uma função análoga à Equação 1.26, sendo expressas aqui com o sobrescrito I, de injunção, ou seja: L I a = F I (X a ) (1.37) Por analogia ao MMQ sem injunções ter-se-á os elementos L I, V I, P I, N I e U I. Admitindo-se que não haja correlação entre as observações L e L I, o sistema formado pelas equações terá a seguinte solução: { La = F(X a ) L I a = F I (X a ), X = (A t PA + A It P I A I ) 1 (A t PL + A It P I L I ) = (N + N I ) 1 (U + U I ) (1.38) sendo a matriz variância-covariância dos parâmetros ajustados dada por = σ 2 0 (N + N I ) 1, (1.39) Xa e a variância da unidade de peso a posteriori igual a σ 2 0= V t PV + V It P I V I n o + n I n p, (1.40) como pode ser visto em Lugnani [37] e Gemael [25]. Deste modo, uma vez escolhido o modelo matemático que será utilizado na solução do problema tratado, Calibração de Câmaras no presente caso, o ajustamento pelo MMQ poderá ser realizado e possibilitará o cálculo dos parâmetros de interesse Modelo Estocástico Na subseção anterior foi apresentado o princípio do Método dos Mínimos Quadrados, sendo considerada a solução pelo Método Paramétrico,

43 32 Calibração de Câmaras em que o modelo funcional é do tipo L a = F(X a ). Ao observar a Equação 1.24, ou seja, P = σ0 2 1 Lb pode-se notar que a matriz P é função da variância da unidade de peso a priori (σ0 2 ) bem como da matriz variância-covariância (MVC) das observações, representada por ΣL b. A matriz MVC das observações possui a dimensão n o xn o onde n o é o número de observações. Esta matriz deve conter na diagonal principal a variância de cada uma das observações e os elementos ij (com i j, ou seja, fora da diagonal) a covariância das observações ij. A matriz MVC das observações contém informações sobre as propriedades estatísticas das observações, ou seja, ela representa o Modelo Estocástico das observações, que é importante no processo, uma vez que a MVC das observações é usada para estimar a matriz peso P, e este, por consequência, afeta as correções aos parâmetros, bem como a MVC dos parâmetros estimados. Em termos práticos o modelo estocástico pode ser simplificado, dependendo das informações disponíveis relacionadas às observações. Ao fazer a repetição de uma mesma medida pode-se estimar o seu desvio padrão e consequentemente a variância. A determinação da covariância entre diferentes observações não é imediata, mas pode ser feita. O que ocorre muitas vezes em aplicações reais é a simplificação do modelo estocástico, ao considerar as covariâncias nulas, por exemplo. Além disso, para simplificar ainda mais a solução algumas vezes adota-se o mesmo peso para diferentes observações, embora não seja possível garantir que elas sejam iguais, devido a diferentes fatores. Deste modo, é importante considerar que ao simplificar o modelo estocástico deve-se ter a consciência de que tanto os parâmetros estimados quando a MVC podem ser afetados. Outro aspecto importante se refere ao vetor dos parâmetros, que no caso da Calibração de Câmaras depende dos modelos matemáticos utilizados para a correção dos erros sistemáticos (descritos na Seção 1.3). Para detalhes adicionais sobre ajustamento de observações as seguintes referências são sugeridas: Lugnani [37], Mikhail [38] e Gemael [25].

44 Métodos de Calibração Métodos de Calibração Como visto na Seção 1.1.2, são diversos os métodos de solução da calibração de câmaras. Foram apresentados os princípios gerais de alguns desses métodos e nas seções seguintes alguns deles serão detalhados. Para informações adicionais das diferentes soluções, bem com para exemplos de aplicações, são indicadas referências em cada subseção Calibração Usando Equações de Colinearidade com Parâmetros Adicionais Na Equação 1.12, que representa o modelo de colinearidade, ou equações de colinearidade, aparece apenas a correção da posição do ponto principal. Considerando os dois primeiros termos da Equação 1.5, composto por (x, y), pode-se escrever estas coordenadas, na forma matricial por: [ x y ] [ x = y ] [ x0 y 0 ] [ x y ] (1.41) O vetor composto pelas componentes ( x, y) não aparece na Equação 1.5 e pode incorporar as funções capazes de modelar as distorções em x e y respectivamente. Em função disso o vetor composto por ( x, y) recebe a denominação modelo de erros. Para o caso de câmaras métricas analógicas o modelo de erros é composto pela distorção radial simétrica e distorção descentrada, como se pode ver em Andrade e Olivas [3] e Mitishita e Olivas [40], por exemplo. Neste caso o modelo de erros se resume a: [ x y ] [ δxr = δy r ] [ δxd + δy d ], (1.42) que incorpora as Equações 1.14 e Em algumas aplicações em que são usadas câmaras digitais, os seguintes modelos são utilizados: [ ] [ x δxr = y δy r [ ] [ x δxr = y δy r ] [ δxd + δy d ] [ δxd + δy d ] [ δxa + δy a ] + [ δxf δy f ], (1.43) ]. (1.44)

45 34 Calibração de Câmaras No caso de uso da Equação 1.43, algumas vezes são considerados os modelos dados pelas Equações 1.14, 1.17 e 1.19 e em outras as Equações 1.20 ao invés da Na solução usada para a calibração da câmara DMC (Digital Mapping Camera) da Z/I Imaging, por exemplo, o modelo baseado na Equação 1.44, que incorpora as Equações 1.14, 1.17 e 1.21, é utilizado. As equações de colinearidade, escritas fazendo a incorporação destas correções, podem ser expressas por: x = x 0 + x f N X N Z = x 0 + x f m 11(X X cp ) + m 12 (Y Y cp ) + m 13 (Z Z cp ) m 31 (X X cp ) + m 32 (Y Y cp ) + m 33 (Z Z cp ) y = y 0 + y f N Y N Z = y 0 + y f m 21(X X cp ) + m 22 (Y Y cp ) + m 23 (Z Z cp ) m 31 (X X cp ) + m 32 (Y Y cp ) + m 33 (Z Z cp ) (1.45) Uma vez definido o modelo de erro, o próximo passo e fazer a coleta de dados, a medição dos pontos bem como fazer a solução pelo Método dos Mínimos Quadrados. Na Seção 1.4 foi apresentado o critério dos mínimos quadrados e a solução pelo MMQ, com base no modelo funcional L a = F(X a ). Considerando o vetor das observações, composto pela coordenadas medidas na imagem e os parâmetros de OI (f, x 0, y 0, K 1, K 2, K 3, P 1, P 2 ), bem como os parâmetros de orientação exterior (OE) das imagens como incógnitas, além dos pontos no espaço objeto, os vetores L a e X a serão, respectivamente: L b = [ x 11 } y 11 x 21 {{ y 21 } Foto 1 x kj } y kj {{ ] T (1.46) } Foto j

46 Métodos de Calibração 35 X a = [ f x 0 y 0 K 1 K 2 K 3 P 1 P 2 κ 1 ϕ 1 ω 1 Xcp 1 Y cp 1 Zcp 1 (1.47) κ j ϕ j ω j Xcp j Y cp j Zcp ] j T X 1 Y 1 Z 1 X n Y n Z n Deste modo, a solução pelo MMQ poderá ser obtida. Considerando os vetores acima e resgatando as Equações 1.34, pode-se ver que deverão ser montadas as matrizes A, P e L. A matriz A será composta pelas derivadas parciais das Equações 1.45, em relação aos parâmetros presentes na Equação A matriz P será composta pelos pesos das observações e o vetor L será calculado por L = F(X 0 ) L b, no qual X 0 é o vetor dos parâmetros aproximados e L b o vetor das observações. Além da solução brevemente discutida, usando o modelo funcional L a = F(X a ), pode-se também considerar o modelo funcional: F (L a, X a ) = 0, (1.48) que é conhecido como modelo combinado. Este modelo é utilizado quando as observações não puderem ser escritas como um modelo explícito dos parâmetros, como ocorre no modelo L a = F(X a ). Em trabalhos vistos na literatura podem ser vistas as duas soluções para o problema da calibração. Ao observar as Equações 1.45 pode-se notar que as coordenadas medidas no sistema com origem no centro do quadro (x, y ) são escritas como função dos demais parâmetros, indicando que o modelo paramétrico pode ser utilizado. Devese observar que, admitindo-se (x, y ) como observações, estas variáveis também aparecem no modelo de erro ( x, y). Deste modo, algumas considerações sobre o modelo estocástico devem ser feitas para a solução pelo método paramétrico. Outra possibilidade é a solução pelo modelo dado pela Equação Usando as mesmas notações usadas na Equação 1.45 pode-se escrever: x x 0 x + f N X N Z = 0 y y 0 y + f N Y N Z = 0 (1.49)

47 36 Calibração de Câmaras Considerando o modelo matemático dado pela Equação 1.49, o vetor L b poderá ser escrito por: L b = [ } x 11 y 11 x 21 {{ y 21 } Foto 1 }{{} Foto j x 21 } y 21 {{ } Foto 2 (1.50) X 1 Y 1 Z 1 X n Y n Z n ] T }{{} Pontos do espaço objeto e o vetor dos parâmetros pela Equação A partir destas considerações a solução pode ser formulada. Para maiores detalhes sobre o método combinado sugere-se Gemael [25], Andrade [2] e Mikhail [38] Transformação Linear Direta - DLT A Transformação Linear Direta (DLT) foi desenvolvida em 1971, na Universidade de Illinois por Abdel-Aziz e Karara [1], com o objetivo de permitir o uso de câmaras de amador (não-métricas) para aplicações à curta distância. O conceito básico da DLT é a realização da transformação direta de coordenadas de máquina para coordenadas no espaço objeto, eliminando passos intermediários. O modelo matemático é obtido agrupando-se parâmetros a partir do modelo de colinearidade. O modelo final é linear e não exige iterações para o cálculo dos parâmetros. Após modificações posteriores a DLT incorporou o parâmetro K 1. Partindo-se das Equações de colinearidade 1.49 (ou 1.45), multiplicando os termos dos numeradores de ambas as equações por f, e isolando os termos que dependem das coordenadas X, Y, Z, chega-se a: x + x = fm 11X fm 12 Y fm 13 Z+(fm 11 X cp+fm 12 Y cp+fm 13 Z cp) m 31 X+m 32 Y +m 33 Z (m 31 X cp+m 32 Y cp+m 33 Z cp) y + y = fm 21X fm 22 Y fm 23 Z+(fm 21 X cp+fm 22 Y cp+fm 23 Z cp) m 31 X+m 32 Y +m 33 Z (m 31 X cp+m 32 Y cp+m 33 Z cp), (1.51) nas quais (x, y) são as coordenadas no sistema fotogramétrico, isto é, reduzidas ao ponto principal e x, y são os componentes do modelo de erros, que incorpora os efeitos sistemáticos.

48 Métodos de Calibração 37 Fazendo L 1 = (m 31 X cp + m 32 Y cp + m 33 Z cp ) e multiplicando os termos, tanto do numerador quanto do denominador por L, de modo que a igualdade seja mantida, chega-se a: x + x = fm 11LX fm 12 LY fm 13 LZ+Lf(m 11 X cp+m 12 Y cp+m 13 Z cp) m 31 LX+m 32 LY +m 33 LZ+1 y + y = fm 21LX fm 22 LY fm 23 LZ+Lf(m 21 X cp+m 22 Y cp+m 23 Z cp) m 31 LX+m 32 LY +m 33 LZ+1 (1.52) Pode-se, então, definir novos parâmetros a partir do agrupamento dos parâmetros originais, da seguinte forma: L 1 = fm 11 L L 2 = fm 12 L L 3 = fm 13 L L 4 = Lf (m 11 X cp + m 12 Y cp + m 13 Z cp ) L 5 = fm 21 L L 6 = fm 22 L L 7 = fm 23 L L 8 = L(m 21 X cp + m 22 Y cp + m 23 Z cp ) L 9 = m 31 L L 10 = m 32 L L 11 = m 33 L (1.53) Reescrevendo as equações anteriores e incorporando os elementos L 1,...L 11 e os termos x e y, correspondentes aos erros sistemáticos, tem-se o modelo da DLT: x + x = L 1X + L 2 Y + L 3 Z + L 4 L 9 X + L 10 Y + L 11 Z + 1 y + y = L 5X + L 6 Y + L 7 Z + L 8 L 9 X + L 10 Y + L 11 Z + 1 (1.54) Assumindo um modelo de erros sistemáticos simplificado, com deslocamento do ponto principal nulo e apenas o coeficiente K 1 para as distorções das lentes tem-se: x = xk 1 r 2 y = yk 1 r 2. (1.55)

49 38 Calibração de Câmaras Introduzindo as Equações 1.55 nas 1.54 chega-se a: L 1 X + L 2 Y + L 3 Z + L 4 = L 9 xx + L 10 xy + L 11 xz + x + xk 1 r 2 A L 5 X + L 6 Y + L 7 Z + L 8 = L 9 yx + L 10 yy + L 11 yz + y + yk 1 r 2 A A = L 9 X + L 10 Y + L 11 Z + 1 (1.56) Utilizando-se as Equações 1.56 e admitindo que n pontos possuam coordenadas no espaço objeto bem como suas homólogas no espaço imagem conhecidas, pode-se montar um sistema de 2n equações a 12 incógnitas: x 1 y 1. x n y n = 2n B 12 L 1 L 2. L 10 L 11 K 1 A = [ ] 2nB1 8 2n B2 4 L 1 L 2. L 10 L 11 K 1 A (1.57) sendo B uma matriz que pode ser montada a partir de B1 e B2 por 4 : 2nB1 8 = 2nB2 4 = X 1 Y 1 Z X 1 Y 1 Z X n Y n Z n X n Y n Z n 1 x 1 X 1 x 1 Y 1 x 1 Z 1 x 1 r1 2 y 1 X 1 y 1 Y 1 y 1 X 1 y 1 r x n X n x n Y n x n Z n x n rn 2 y n X n y n Y n y n Z n y n rn 2 Pode-se associar um vetor dos resíduos às coordenadas imagem medidas e estimar os parâmetros pelo Método dos Mínimos Quadrados, 4 A matriz B da Equação 1.57 pode ser montada diretamente e a divisão nos blocos B1 e B2 foi feita apenas para adequação de espaço neste texto.

50 Métodos de Calibração 39 desde que haja um conjunto de, no mínimo, 7 pontos de controle. Como o modelo é linear, não há necessidade de parâmetros aproximados nem de um processo iterativo. Uma recomendação importante é a de que os pontos de controle não devam estar em um mesmo plano, ou então de que a câmara seja colocada em uma posição oblíqua, em relação ao espaço objeto, para eliminar as correlações entre os parâmetros. Uma das restrições a este método é a de que os parâmetros gerados não têm significado físico, pois são resultado de agrupamento de parâmetros originais. Este método é muito parecido ao descrito em Gonzalez e Wintz [26], utilizando transformações homogêneas. A diferença básica é que Karara e Abdel-Aziz, ao deduzir o modelo da DLT, partiram do modelo de colinearidade original procurando agrupar parâmetros. É possível, a partir dos parâmetros L calcular alguns dos parâmetros originais, que possuem significado físico, como o ponto principal e os fatores de escala. Supondo que duas imagens tenham sido tomadas com uma superposição adequada e que os 12 parâmetros da DLT para cada imagem tenham sido estimados a partir de pontos de controle, pode-se utilizar as Equações 1.56 para calcular as coordenadas (X, Y, Z) de pontos medidos em ambas as imagens, montando-se um sistema de 4 equações a 3 incógnitas (X, Y, Z) Plumb Line Method - Método do Fio de Prumo Assim como os pontos de controle, linhas retas também podem ser utilizadas para realizar a calibração de câmaras. Segundo alguns autores, uma das vantagens da utilização de retas é que, em geral, na imagem, tanto a detecção automática, quanto à visualização destas entidades é mais simples quando comparadas a pontos de controle. Existem métodos que usam retas para relacionar o espaço objeto com o espaço imagem e outros que utilizam apenas a imagem destas feições para a determinação de alguns parâmetros de orientação interior. Um dos primeiros métodos de calibração que utiliza entidades do tipo linhas foi o método plumb-line (método do fio de prumo), desenvolvido por Brown [8]. Este método é assim denominado, pois são utilizados vários fios de prumo como fonte de informação de controle, o que per-

51 40 Calibração de Câmaras mite o cálculo dos parâmetros de distorção das lentes (distorção radial simétrica e descentrada). Este método parte do princípio que, em uma projeção perspectiva, não havendo distorções, a imagem de uma linha reta do espaço objeto será também uma linha reta na imagem. Assim, os desvios da colinearidade dos pontos da linha na imagem são atribuídos às distorções radial simétrica e descentrada. Neste método não há a necessidade de correspondência com o espaço objeto, isto é, não há a necessidade que as retas sejam conhecidas no espaço objeto, bem como a posição da câmara no instante da tomada das fotos. O modelo matemático usado no método plumb-line é a equação da reta no plano. Para o cálculo dos parâmetros, devem ser observados vários pontos sobre a reta projetada na imagem. A vantagem desse método é que não há a necessidade do uso de equipamentos de laboratório, ou campos de calibração, sendo necessárias apenas linhas retas, muito comuns em ambientes antrópicos. Porém, este método não pode ser usado para recuperar os parâmetros de orientação exterior, bem como a distância principal. Além disso, as coordenadas do ponto principal, não são recuperadas facilmente, e estas, quando mal determinadas, provocam erros significativos na estimação das distorções das lentes. Método de Prescott e McLean Prescott e McLean [44] apresentaram um processo de otimização, semelhante ao método plumb-line, para a obtenção dos parâmetros de distorção das lentes da câmara usando linhas retas. Admitindo que as curvaturas das retas na imagem sejam causadas apenas pela distorção das lentes, os parâmetros das distorções radial simétrica e descentrada podem ser calculados através de um processo iterativo usando um modelo de distorção. Este processo pode ser realizado sem o conhecimento das coordenadas tridimensionais das retas no espaço objeto. As Equações 1.58 apresentam as coordenadas imagem, com o efeito das distorções radial simétrica e descentrada:

52 Métodos de Calibração 41 x = x + x(k 1 r 2 + K 2 r 4 + ) + [ P 1 (r x 2 ) + 2P 2 xȳ ] [ 1 + P 3 r 2 + ] y = y + ȳ(k 1 r 2 + K 2 r 4 + ) + [ P 2 (r 2 + 2ȳ 2 ) + 2P ] [, 1 xȳ 1 + P 3 r 2 + ] (1.58) nas quais: (x, y) são as coordenadas dos pontos pertencentes à reta, corrigidas das distorções; x = (x x 0 ) ȳ = (y y 0 ), (x, y ) são as coordenadas dos pontos com o efeito das distorções. Considerando a reta escrita na forma paramétrica (ρ = xcos θ +ysenθ), os parâmetros θ e ρ podem ser determinados em conjunto com as distorções. Prescott e McLean [44] propuseram um método de otimização no qual minimiza-se a somatória dos quadrados das distâncias entre cada ponto da linha e sua reta correspondente, ou seja, F = M N m m=1 k=1 (x k cos θ m + y k senθ m ρ m ) 2, (1.59) na qual: ρ é a menor distância entre o ponto principal e a linha reta; θ é o ângulo entre ρ e o eixo horizontal; M é o número de linhas; N m é o número de pontos na linha m Método de Tsai O método de Tsai [51], baseia-se na condição geométrica de alinhamento entre as coordenadas imagem (ideais), coordenadas sob o efeito da distorção radial e o ponto principal. Esta condição geométrica não é nova, pois o próprio modelo da distorção considera a propriedade de deslocamento radial da imagem. Para evitar o problema de otimização não

53 42 Calibração de Câmaras linear (MMQ) do método de calibração clássico, Tsai usou esta condição geométrica (Radial Alignment Constraint - RAC) para desacoplar os parâmetros de calibração em dois grupos e, assim, obter a calibração em tempo real e com precisão comparável aos métodos tradicionais. O método de Tsai utiliza um conjunto de pontos coplanares e uma única imagem, podendo ser estendido para conjuntos não coplanares e múltiplas imagens. As transformações geométricas usadas por Tsai [51], adaptadas para possibilitar o desenvolvimento do método em dois estágios, são ligeiramente diferentes das adotadas normalmente. A principal diferença, é que são realizadas em primeiro lugar as rotações, e, depois, as translações entre o referencial objeto e o referencial imagem. Com isto as translações obtidas estão no referencial rotacionado, paralelo ao referencial imagem. Além disto, o eixo z do sistema fotogramétrico aponta do CP da câmara, para o espaço objeto, passando pelo ponto principal. Deve-se destacar que a definição do ponto principal pode diferir, em algumas situações. Por exemplo, o ponto principal, na concepção de Tsai é a intersecção do eixo óptico com o plano imagem e no conceito apresentado na Seção é a projeção ortogonal do CP no plano imagem. Para outras definições de ponto principal sugere-se Fryer [19], Cooper e Robson [12] e Andrade [2]. As equações a serem desenvolvidas a seguir sofreram algumas adaptações, de modo a seguir a estrutura dos métodos anteriores. Distorção das Lentes, Fator de Escala em x e Centro da Imagem O método de Tsai utiliza um modelo de distorção das lentes simplificado, que despreza a distorção descentrada e considera apenas o parâmetro K 1 para a distorção radial simétrica (Equações 1.60). Adotando a nomenclatura de Tsai [51], as coordenadas fotogramétricas serão obtidas a partir das coordenadas imagem distorcidas (x d, y d ) por meio das expressões: x = x d + δx r = x d + K 1 r 2 x d y = y d + δy r = y d + K 1 r 2 y d, (1.60) nas quais: r 2 = ( x 2 d + y2 d). As coordenadas distorcidas estão refe-

54 Métodos de Calibração 43 renciadas ao ponto principal da imagem, mas ainda são afetadas pela distorção. Como já foi discutido na Seção 1.2.1, o sistema de coordenadas imagem é baseado na posição de um pixel na memória, ou seja, as coordenadas são expressas em pixels. A transformação do sistema de coordenadas da imagem (c, l) para o sistema de coordenadas fotogramétricas envolve, no mínimo, duas translações, uma escala e uma reflexão de eixos. A escala em y é dada pela distância entre linhas adjacentes, enquanto que a escala em x é dada pela distância entre colunas adjacentes. Se for considerada uma distância fixa para y, a escala em x deve ser calibrada, para absorver pequenas diferenças entre as dimensões de um pixel em x e y. Normalmente a origem do referencial da imagem é adotada no canto superior esquerdo da imagem. Mesmo que esta origem fosse estabelecida no centro geométrico da imagem não haveria coincidência com a origem do referencial fotogramétrico (ponto principal), dada a dificuldade de estabelecer fisicamente este alinhamento. Os parâmetros de translação c x e c y modelam esta discrepância entre as origens dos referenciais imagem e fotogramétrico. A transformação de coordenadas fotogramétricas, após o acréscimo do efeito da distorção, para coordenadas imagem, pode ser feita através das Expressões 1.61: c = s xx d dx + c x l = y d dy + c y, (1.61) nas quais: c e l são a coluna e linha do pixel correspondente ao ponto x d, y d ; c x e c y são as coordenadas do ponto principal, no sistema de coordenadas imagem; dx e dy são os fatores de escala nominais (distância entre os pixels na câmara, ou tamanho do pixel), nas direções x e y, respectivamente; e s x é o fator de escala horizontal. O fator de escala vertical (dy) não precisa ser calibrado, ao se considerar que existe uma correspondência entre linhas na matriz de sensores e linhas na imagem. Como o espaçamento real entre sensores adjacentes,

55 44 Calibração de Câmaras no plano focal da câmara, é conhecido com precisão a partir das especificações dos fabricantes, o fator de escala horizontal é o único elemento a ser calibrado, para a transformação de coordenadas da imagem para coordenadas fotogramétricas (mais as coordenadas do ponto principal). Pode-se usar um único valor para estes fatores (dx e dy) e usar um fator de escala em s x para absorver as pequenas diferenças de dimensões. Este fator pode ser descrito como parte do modelo de afinidade nas Equações 1.19, 1.20 e 1.21, por exemplo. Nas câmaras digitais atuais não há variação no número de pixels em coluna, pois há uma correspondência entre o número de sensores e o número de pixels na imagem digitalizada. Nas imagens digitalizadas de sinais analógicos de TV, há uma incerteza no valor do fator de escala horizontal, oriunda da diferença entre o número de sensores na câmara e o número de pixels digitalizados. Durante a aquisição de imagens neste modo, os sinais discretos, captados por cada linha da matriz de sensores, são convertidos inicialmente para um sinal analógico, que é, então, amostrado pelo sistema de aquisição de imagens em amostras discretas e colocados em uma linha da imagem. Ainda segundo [51], o fator de escala s x é usado para parametrizar diferenças residuais na determinação de dx e dy. No primeiro estágio da calibração, Tsai [51] considerou, inicialmente, que o ponto principal é coincidente com o centro geométrico da imagem. Deste modo, uma vez medidas as coordenadas de um ponto de controle na imagem, estas coordenadas são transformadas para coordenadas fotogramétricas distorcidas, pelas equações: x d = (c c x)dx s x y d = (l c y )dy (1.62) Na próxima seção, apresenta-se o desenvolvimento do modelo para cálculo da matriz de rotação e das translações, também com pequenas adaptações para manter a compatibilidade com a notação apresentada ao longo do texto.

56 Métodos de Calibração 45 Calibração dos Parâmetros Extrínsecos e Intrínsecos Considere inicialmente as Equações 1.51, isolando-se os termos dependentes da posição do centro perspectivo da câmara, e considerando a notação usada em [51] para o modelo de distorção: x d + K 1 r 2 x d = f m 11X+m 12 Y +m 13 Z (m 11 X cp+m 12 Y cp+m 13 Z cp) m 31 X+m 32 Y +m 33 Z (m 31 X cp+m 32 Y cp+m 33 Z cp) y d + K 1 r 2 y d = f m 21X+m 22 Y +m 23 Z (m 21 X cp+m 22 Y cp+m 23 Z cp) m 31 X+m 32 Y +m 33 Z (m 31 X cp+m 32 Y cp+m 33 Z cp) (1.63) Denominando: Tx = (m 11 X cp + m 12 Y cp + m 13 Z cp ) Ty = (m 21 X cp + m 22 Y cp + m 23 Z cp ) Tz = (m 31 X cp + m 32 Y cp + m 33 Z cp ), estes elementos corresponderão às translações a serem aplicadas para coincidir o referencial da imagem com o referencial do espaço objeto, mas no sistema de coordenadas do espaço imagem. As equações de colinearidade, após inclusão destes termos, podem ser reescritas como: x d + K 1 r 2 x d = f m 11X + m 12 Y + m 13 Z + Tx m 31 X + m 32 Y + m 33 Z + Tz y d + K 1 r 2 y d = f m 21X + m 22 Y + m 23 Z + Ty m 31 X + m 32 Y + m 33 Z + Tz (1.64) Tsai, baseado na condição de alinhamento radial, usou uma estratégia para eliminar o parâmetro de distorção K 1. Dividindo as Equações de colinearidade 1.64 obtém-se a equação: x d = m 11X + m 12 Y + m 13 Z + Tx y d m 21 X + m 22 Y + m 23 Z + Ty (1.65) Escolhendo um conjunto de pontos de calibração coplanares, pode-se fazer Z = 0, o que elimina os termos m 13 e m 23 nas Equações 1.65, que podem ser reordenadas, levando à Equação 1.66.

57 46 Calibração de Câmaras y d m 11 X + y d m 12 Y + y d Tx x d m 21 X x d m 22 Y x d Ty = 0 (1.66) As incógnitas nesta equação passam a ser: [ m11 m 12 m 21 m 22 Tx Ty ] T Tsai [51] também apresenta uma estratégia para reduzir as incógnitas para 5, dividindo-se a Equação 1.66 por Ty, chegando à Equação 1.67: y d X m 11 Ty + y dy m 12 Ty + y Tx d Ty x dx m 21 Ty x dy m 22 Ty x d = 0 (1.67) As 5 incógnitas passam a ser: [ m11 Ty 1 m 12 Ty 1 m 21 Ty 1 m 22 Ty 1 TxTy 1 ] T O MMQ pode ser aplicado para estimar os parâmetros agrupados, caso haja um número de pontos maior que 5. O passo seguinte é calcular os parâmetros a partir dos valores estimados pela resolução do sistema de equações lineares. O primeiro a ser calculado é T y e Tsai [51] demonstrou que este parâmetro pode ser calculado pela Equação Inicialmente Tsai [51] define uma submatriz C, com os elementos estimados a partir das Equações 1.67, que consistem de elementos da matriz de rotação divididos pela translação em y, T y : [ m C = 11 m ] [ 12 m11 Ty m 21 m = 1 m 12 Ty 1 ] 22 m 21 Ty 1 m 22 Ty 1 (1.68) Ty 2 = S r [ S 2 r 4(m 11 m 22 m 21 m 12 )2] 1/2 2 (m 11 m 22 m 21 m 12 ) (1.69) na qual: S r = m m m m 2 22 Para determinar o sinal de Ty, Tsai [51] propõe utilizar um ponto de apoio na periferia da imagem. Estabelecendo, inicialmente, o sinal de

58 Métodos de Calibração 47 T y como positivo, são calculados os elementos apresentados nas Equações 1.70, considerando que os valores entre parêntesis foram estimados pela resolução do sistema de Equações 1.67: [ m11 m 12 m 21 m 22 ] = [ (m11 Ty 1 )Ty (m 12 Ty 1 )Ty (m 21 Ty 1 )Ty (m 22 Ty 1 )Ty ] Tx = (TxTy 1 )Ty (1.70) x = m 11 X + m 12 Y + Tx y = m 21 X + m 22 Y + Ty Caso x e X e y e Y tenham o mesmo sinal, então Ty será positivo; caso contrário o sinal de Ty será negativo e os valores das Equações 1.70 devem ser recalculados. Calcula-se, então a matriz de rotação: M = m 11 m 12 (1 m 2 11 m2 12 )1/2 m 21 m 22 s(1 m 2 21 m2 22 )1/2 m 31 m 32 m 33 (1.71) na qual s = sinal(m 11 m 21 + m 12 m 22 ). Usando as propriedades relativas à ortogonalidade da matriz de rotação M pode-se calcular os demais parâmetros m ij por: m 31 = (1 m 2 11 m2 21 ) m 32 = (1 m 2 12 m2 22 ) sinal(m 11m 12 + m 21 m 22 ) (1.72) O segundo estágio envolve a resolução de um sistema de equações lineares para calcular as incógnitas f, K 1, Tz, considerando-se que já foram calculados os 6 parâmetros do primeiro estágio. Cada observação gera duas equações e, quando o sistema for superabundante pode ser aplicado o MMQ. Os valores aproximados para f e Tz são obtidos admitindo-se K 1 = 0 e resolvendo-se um sistema de equações lineares pelo MMQ. Partindo-se da segunda equação do Grupo 1.64, define-se:

59 48 Calibração de Câmaras v = m 21 X + m 22 Y + Ty w = m 31 X + m 32 Y (1.73) Como estes valores são conhecidos, ou foram calculados no primeiro estágio, é possível calculá-los para cada ponto com coordenadas conhecidas. A segunda equação do Grupo 1.64 pode ser, então, escrita como: y d + K 1 r 2 v y d = f w + Tz Considerando K 1 = 0 tem-se: (1.74) y d w + y d Tz + fv = 0. (1.75) A partir desta equação, um sistema de equações pode ser estabelecido para determinar Tz e f, com a ressalva de que o plano que contém os alvos não pode ser paralelo ao plano imagem. Uma vez determinados os valores aproximados para T z e f, pode-se resolver um sistema de equações não lineares, a partir das Equações 1.74, considerando-se também K 1 como incógnita, além de Tz e f, cujos valores aproximados foram determinados no passo anterior. O método de Tsai [51] também pode ser utilizado com conjuntos de pontos não-coplanares ([51], p. 369) ou com várias imagens ([51], p.367). Lenz e Tsai [35] apresentaram uma versão ligeiramente modificada deste segundo estágio, tornando o sistema de equações lineares por meio do agrupamento dos parâmetros f e K 1. Para isto, entretanto, definiram o modelo de distorção de modo diferente daquele apresentado originalmente por Tsai [51] e que seguia o modelo tradicional. As equações apresentadas por Lenz e Tsai ([35], p. 925) para o modelo de distorção, são: x = y = x d ( 1 + K1 r 2 d) y d ( 1 + K1 r 2 d), (1.76) e as inversas:

60 Métodos de Calibração 49 2x x d = 1 + (1 4K 1 r 2 ) 1/2, (1.77) 2y y d = 1 + (1 4K 1 r 2 ) 1/2 nas quais: r 2 d = ( x 2 d + y2 d) e r 2 = ( x 2 + y 2). Com este novo modelo de distorção, Lenz e Tsai [35] fizeram algumas mudanças no desenvolvimento das equações para o segundo estágio. Agrupando-se os valores conhecidos e fazendo-se: H x = m 11 X + m 12 Y + Tx H y = m 21 X + m 22 Y + Ty, (1.78) e considerando os pontos de apoio coplanares, bem como o modelo de distorção definido, as Equações 1.76 e 1.64 podem ser reescritas como: x d (1 + K 1 rd) 2 = f H x m 31 X + m 32 Y + Tz y d (1 + K 1 rd) 2 = f H y m 31 X + m 32 Y + Tz, (1.79) fh x + fk 1 H x r 2 d x d Tz = x d (m 31 X + m 32 Y ) fh y + fk 1 H y r 2 d y d Tz = y d (m 31 X + m 32 Y ), (1.80) no qual as incógnitas serão: [ f fk 1 Tz ]. O sistema de equações resultante é linear e não são necessárias aproximações nem iterações, ao contrário da versão anterior do método, mas o modelo de distorções é diferente do modelo padrão. O método de calibração em duas etapas, proposto por Tsai [51], e que faz uso da injunção de alinhamento radial, utiliza uma correção a priori do fator de escala em x e considera que as coordenadas foram reduzidas ao ponto principal. Para utilizar o método de Tsai devem ser conhecidos a priori as coordenadas do ponto principal (c x e c y ) e o fator de escala em x calibrado. Lenz e Tsai [34] apresentaram técnicas para a calibração do fator de escala em x, para imagens de câmaras eletrônicas digitalizadas, com

61 50 Calibração de Câmaras base na relação entre a frequência de digitalização e a frequência da câmara. Esta mesma técnica permitia detectar o deslocamento relativo entre cada linha, devido aos erros de sincronização. Atualmente, com as câmaras digitais, este fator tende a ser usado para absorver pequenas diferenças entre as dimensões do pixel em x e y e pode ser determinado em conjunto com os demais parâmetros. Calibração do Centro da Imagem (Ponto Principal) Como já foi mencionado, a posição do ponto principal (ou centro da imagem) é definida, conforme mencionado na Seção 1.5.4, como a intersecção do eixo óptico do sistema de lentes da câmara com o plano imagem, e é medido em coordenadas imagem (linha e coluna) ou em relação ao centro geométrico da imagem. Para aplicações de baixa precisão costuma-se adotar o centro geométrico da imagem como coincidente com o ponto principal. Este tipo de aproximação pode causar erros de grande magnitude em problemas de Visão 3D e em Fotogrametria. De acordo com os experimentos de Tsai [51], foram observadas diferenças de 30 pixels entre o ponto principal e o centro geométrico. Estas diferenças provocam um aumento no erro das medidas 3D, de cerca de 10 vezes. Vários métodos têm sido propostos para calibrar o ponto principal isoladamente. Lenz e Tsai [34] dividiram estes métodos em três grupos: Grupo I: Método Óptico Direto: Neste método são usados instrumentos, como o LASER, para realizar a determinação do centro da imagem; Grupo II: Método da Variação da Distância Focal: Este método é bastante simples, embora não produza resultados muito precisos. Quando a distância focal é alterada a imagem sofre um efeito de zoom, mas mantendo o ponto principal estacionário. O ponto principal será calculado através da interseção das retas formadas pelos pontos antes e depois da alteração da distância focal; Grupo III: Método da Restrição de Alinhamento Radial. No método usando a restrição de alinhamento radial Lenz e Tsai [34] desenvolveram uma expressão para o erro residual na restrição de alinhamento radial, mostrando que este erro é uma função quadrática do deslocamento do centro. Com base nesta restrição Lenz e Tsai [34] apresentaram uma maneira de estimar o centro, usando técnicas de otimização. A Equação 1.66 tem

62 Métodos de Calibração 51 erro residual mínimo quando as coordenadas são previamente corrigidas do erro devido ao deslocamento do centro da imagem. Portanto, o problema é calcular as coordenadas do centro que minimizem o erro residual da Equação Considerando as coordenadas já corrigidas do fator de escala horizontal, pode-se reescrever o sistema de equações formado pelas Equações 1.66, considerando agora como incógnitas as coordenadas do ponto principal como: (y c y )m 11 X + (y c y )m 12 Y + (y c y )Tx (x c x )m 21 X (x c x )m 22 Y (x c x )Ty = r s (1.81) O erro residual r s deve ser minimizado para calcular as coordenadas do ponto principal. Isto é um problema de otimização não linear com duas incógnitas. O Método dos Mínimos Quadrados pode ser usado, considerando-se a Equação 1.81 como uma equação de condição e aplicando o método dos correlatos. Esta técnica só funciona na presença de distorção das lentes e para erros observacionais pequenos. Outra técnica apresentada por Lenz e Tsai [34] prevê o uso das Equações 1.80 do segundo estágio, com uma abordagem de minimização análoga à apresentada para o método anterior. Este método deve ser empregado para câmaras cujas lentes possuam pequeno coeficiente de distorção e como uma técnica para verificar os resultados obtidos. O método de Tsai representou um avanço significativo em relação aos métodos de calibração tradicional, que usam o Método dos Mínimos Quadrados para equações linearizadas, com respeito ao tempo de processamento. O método em dois estágios de Tsai é linear, e sistemas de pequena ordem são resolvidos a cada estágio. Contudo, o fato de ser um procedimento sequencial, faz com que os erros se propaguem entre os estágios consecutivos. Isto é visto claramente, uma vez que os parâmetros calculados no primeiro estágio são usados para calcular outros parâmetros ainda no primeiro estágio e, posteriormente, no segundo estágio. Algumas restrições existem no método de Tsai. A mais marcante é a necessidade de um conjunto de pontos de apoio coplanares nos dois primeiros estágios. Para o cálculo do ponto principal exige-se um dispositivo que movimente o conjunto de pontos em planos paralelos

63 52 Calibração de Câmaras (z-stage), além da restrição de que deva existir distorção das lentes para que o método funcione. A restrição de que deva ser usado um conjunto de pontos coplanares pode ser eliminada usando um modelo mais completo, que leve em consideração a coordenada Z de cada ponto de apoio. Neste caso, o sistema de equações no primeiro estágio terá ordem 7 (7 incógnitas). 1.6 Considerações Finais Como foi possível notar, são diversos os modelos e diversas as possibilidades de solução do problema de Calibração de Câmara. Este problema se torna cada vez mais relevante na medida em que as imagens adquiridas a partir de câmaras de diferentes naturezas e características sejam utilizadas em aplicações de natureza métrica, independente do ramo de aplicação, seja em Visão Computacional, Fotogrametria, Sensoriamento Remoto, etc. Uma vez estabelecida a necessidade de calibração deve-se inicialmente escolher o método de solução apropriado, bem com o conjunto de parâmetros que irão compor o modelo de erros, que será responsável pela compensação dos erros sistemáticos. Definidos os parâmetros de OI que farão parte da solução, é importante ter em mente que nem todos são necessariamente significativos para a câmara utilizada. Deste modo recomenda-se que, após o processamento, seja feita alguma análise, com o propósito de avaliar se os parâmetros estimados são significativos. Como exemplo de procedimentos para este tipo de análise sugere-se: Silva [48], Chandler, Fryer e Jack [9], Habib e Morgan [29] e Galo et al [24]. Além da análise da significância dos parâmetros, outros aspectos relevantes também devem ser discutidos, como por exemplo: a geometria da aquisição e o processo de medição de coordenadas no espaço imagem. As imagens a serem utilizadas com este propósito devem ser adquiridas com a distância focal fixa, de modo que os parâmetros de OI sejam únicos para o conjunto de imagens utilizadas. Como mencionado na Seção 1.1.2, quando se tem uma forte convergência entre as imagens a correlação entre alguns parâmetros é reduzida, sendo esta configuração possível no caso de aquisição de imagens a curta

64 Considerações Finais 53 distância. Em aerolevantamentos isso nem sempre pode ser realizado e a aquisição de imagens em terrenos acidentados também contribui com a redução da correlação. Além dessas alternativas, a possibilidade de uso de um receptor GNSS (Global Navigation Satellite System) a bordo do avião contribui de modo efetivo para a solução do problema de correlação, uma vez que a posição do CP pode ser estimada a priori. Para detalhes sobre alguns destes aspectos sugere-se Honkavaara et al [32] e Ruy et al [45], por exemplo. Outro aspecto importante se refere à qualidade das medidas das coordenadas. A qualidade do resultado final depende de vários fatores e um deles se refere à qualidade das medidas realizadas, tanto dos pontos de apoio, quanto dos pontos na imagem. São inúmeras as possibilidade de medição de coordenadas de pontos ou de feições lineares, podendo os métodos serem enquadrados nas categorias: manuais, semi-automáticos e automáticos. Independente da categoria e das feições utilizadas, vários trabalhos indicam que para algumas aplicações, a medida de pontos com qualidade subpixel possibilita a solução com qualidade superior, como pode-se ver em [10], [49] e [53]. Essa afirmação também é válida para o caso de feições retas, como pode-se ver em Bazan, Tommaselli e Galo [7], por exemplo. Embora para alguns seja estranho o termo subpixel, são vários os métodos de medição de pontos e linhas que podem fornecer qualidade neste nível. Na Figura 1.17 são mostrados dois gráficos e dois conjuntos de parâmetros de OI, onde é possível ver o comportamento dos resíduos em duas situações: sem (Figura 1.17a) e com (Figura 1.17b) a utilização de uma técnica com qualidade subpixel. Além dos resíduos visivelmente reduzidos em (b) pode-se observar que os respectivos desvios-padrão também foram menores na situação (b), indicando que houve uma melhoria na solução, no segundo caso. Embora diversos outros aspectos possam ser aprofundados e discutidos, os principais aspectos relacionados à solução da Calibração de Câmaras foram apresentados e analisados, esperando-se que o leitor interessado tenha conseguido, com este material, entender os conceitos básicos, bem como os principais métodos de Calibração de Câmaras.

65 54 Calibração de Câmaras (a) Resíduos e parâmetros para medidas sem qualidade subpixel. (b) Resíduos e parâmetros para medidas com qualidade subpixel. Figura 1.17: Comportamento dos resíduos nas componentes (x, y) no espaço imagem e os POI estimados para medidas com diferentes qualidades. Fonte [23]. Referências Bibliográficas [1] ABDEL-AZIZ, Y. I., and KARARA, H. M. Photogrammetric potential of non-metric cameras. No. 36. University of Illinois at Urbana - Champaign, Civil Eng. Studies, Photogrammetry Series, [2] ANDRADE, J. B. Fotogrametria. SBEE, Curitiba, (2a Edição, ISBN ). [3] ANDRADE, J. B., and OLIVAS, M. A. d. A. Calibração de câmaras aerofotogramétricas. Boletim de Ciências Geodésicas 1, 26 (1981), 39p. [4] ASPRS. Camera calibration panel report. Tech. rep., ASPRS - American Society for Photogrammetry & Remote Sensing, April