Pazo urbano de estilo barroco situado en el núcleo de la Villa de Rianxo, cerca de la iglesia parroquial de Santa Comba. El edificio actual no se corresponde con el original que incluía una torre de tres plantas que fue derribada. Posteriormente se reconstruyó, entre los siglos XVII y XVIII, y presenta una planta casi rectangular ya que una esquina pertenece a otro edificio. La riqueza del conjunto se encuentra en dos de sus fachadas. La que da a la Plaza de la Iglesia (la principal) destaca por la preciosa balconada de piedra que ocupa todo el frente, sostenida por grandes ménsulas de cantería y con balaustrada de traza barroca. Las cuatro gárgolas de piedra que adornan las cornisas y las 6 puertas y dos escudos, uno en cada extremo, rematan el conjunto. La fachada posterior da al Callexón do Xudío y cuenta con cuatro balcones de hierro forjado con elementos decorativos que adornan los arcos de las ventanas y la cornisa. Se puede observar el escudo con corona de marqués de los Varela, Figueroa, Andrade y Soutomaior pero ninguno representa al primer señor de la casa, Don Paio Gómez Chariño de Soutomaior. El edificio fué declarado Monumento Histórico-Artístico en 1973 y rehabilitado por el Ayuntamiento en 1983 para albergar la Biblioteca Pública Castelao.
