[C] Varargs e passando eles adiante

Saindo do mundo C# e voltando para o “metal” C, uma coisa que pode parecer magia para quem nunca usou são as funções variádicas – funções com um número variável de argumentos. Quem nunca se perguntou como uma função como printf é implementada? Em Python (:heart:) nós temos os velhos conhecidos *args e **kwargs, que permitem coletar argumentos extras em uma tupla (posicionais) e um dicionários (argumentos nomeados), respectivamente. Mas em C, o processo é um pouco mais complicado, envolvendo um tipo (va_list) e três macros básicas (va_start, va_arg e va_end), todos disponíveis no header <stdarg.h>.

Exemplo básico:

Abaixo segue um pequeno exemplo de uma função – sum_all – que recebe um inteiro com um contador e uma lista variável de argumentos – que esperamos serem ints –  e retorna a soma desses argumentos variáveis.

#include <stdarg.h>
#include <stdio.h>

int sum_all(int count, ...) {
    va_list args;
    va_start(args, count);
    int acc = 0;

    for (int i=0; i < count; i++) {
        int value = va_arg(args, int);
        acc += value;
    }

    va_end(args);
    return acc;
}

int main() {
    printf("%d\n", sum_all(3, 1, 5, 1000));
}

Uma função variádica é declarada usando “” no final da lista de argumentos – a qual deve conter obrigatoriamente pelo menos um argumento com nome. Dentro do corpo da função por sua vez, você declara uma variável do tipo va_list e passa essa variável para a macro va_start junto com o nome da última variável antes da lista anônima. Esse segundo argumento é importante para o código saber de onde ele deve começar a buscar os argumentos.

Uma vez que temos a va_list inicializada, podemos então passar a pegar os argumentos propriamente ditos. Para isso utilizamos a macro va_arg, que recebe como argumento a va_list inicializada e o tipo esperado do argumento. Essa segunda informação é extremamente importante para o compilador saber qual o tamanho do argumento que ele deve buscar na lista. Ao final, va_end é chamada para limpar a va_list utilizada.

CUIDADO!

Duas observações: O compilador não faz *nenhuma* checagem de tipo entre o tipo passado numa chamada da função e o tipo que va_arg tenta extrair. Nada impede por exemplo de você chamar va_arg(args, double) dentro do loop acima e receber lixo. E diferente de Python onde você recebe uma tratável exceção, em C isso pode significar o programa simplesmente dar um belo segfault na cara do usuário.

A outra observação é quanto ao problema de se descobrir quando chegamos ao final da lista de argumentos. va_arg não dá informação nenhuma a respeito, já que ele apenas extrai da pilha – onde os argumentos são guardados – um valor do tamalho do tipo fornecido. Os dois modelos mais usados para resolver isso são usar um contador/string de formato e usar sentinelas. No primeiro caso, que é como o printf e nossa sum_all acima fazem, à medida que você vai parseando a string/incrementando o contador você sabe quando deve parar ou não. Já com o uso de sentinelas, ao parsear o argumento você determina valores (ex: NULL) que ao serem lidos indicarão que chegamos ao fim da lista.

Passando adiante

Agora digamos que você tenha uma bela função variádica mas você quer “decorar” ela com outra função sua – para fins de debug/log, por exemplo. Como podemos passar esses argumentos anônimos adiante? Passar a va_list diretamente não passaria todos os argumentos diretamente tal como seria uma chamada func(*args) em Python. Na verdade, passar a va_list é equivalente a chamar func(args) – a função recebe um único argumento com a va_list.

E é aproveitando essa última informação que uma boa prática com varargs é fornecer uma variante da função alvo, só que recebendo uma va_list. Por exemplo, temos o par printf e vprintf. A primeira é variádica e na prática é implementada em termos da segunda, que recebe a va_list. Traduzindo para nosso exemplo acima:

int vsum_all(int count, va_list args) {
    int acc = 0;
    for (int i=0; i < count; i++) {
        int value = va_arg(args, int);
        acc += value;
    }
    return acc;
}

int sum_all(int count, ...) {
    va_list args;
    va_start(args, count);

    int acc = vsum_all(count, args);

    va_end(args);
    return acc;
}

E caso você necessite utilizar uma va_list com os argumentos antes de passar eles adiantes, você pode utilizar a va_copy(mylist) para incializar uma nova va_list com uma cópia da va_list original.

o/

Anúncios

C#, COM, OLE e threads

Seguindo as aventuras no mundo dos bindings C# para a EFL, um problema que enfrentei semana passada durante o port dos bindings para o Windows envolvia a famigerada API Win32. Tudo estava correndo bem até tentar mostrar algo na tela, quando os módulos de UI simplesmente se recusavam a carregar, ao contrário de quando tentávamos rodar apenas o código nativo, sem o binding. O culpado: OleInitialize.

A EFL no Windows utiliza por baixo dos panos a Win32, API tradicional para apps nativas do sistema operacional. Entre os componentes utilizados, está o velho OLE (Object Linking and Embedding), responsável por compartilhar itens entre aplicações, como por exemplo os serviços de drag and drop e clipboard, desde o começo dos anos 90. Ao longo do tempo, o OLE acabou gerando o COM (Component Object Model), que serve comunicação interprocessos para outras tecnologias do Windows – numa analogia meio “grosseira”, seria uma espécie de “DBus do Windows”, porém pelo menos 10 anos mais velho.

Para lidar com threading, o COM agrupa os objetos em apartments, que podem ser single thread – todas as chamadas a um objeto saem da mesma thread – e multi thread – cada objeto cuida de sua própria sincronização e chamadas podem vir de múltiplas threads. Entre outras coisas, o Oleinitialize cuida de inicializar o COM caso este já não esteja inicializado, e obrigatoriamente no modo single-thread. Caso a função retorne RPC_E_CHANGED_MODE, significa que o COM já foi inicializado anteriormente em modo multi-thread. E era exatamente isso que estava acontecendo.

Investigando mais um pouco, o principal suspeito era o próprio runtime do .NET. Verificando o número de threads com System.Diagnostics.Process.GetCurrentProcess().Threads.Count, um simples “hello world” indicava 6 threads em execução. E ao inspecionar o código do Mono, realmente o COM era inicializado em modo multithread. E a resposta é dada na documentação do atributo STAThreadAttribute (livre tradução):

A partir da versão 2.0 do framework .NET, o modelo de threading padrão da interoperabilidade COM depende da linguagem em que se está desenvolvendo a aplicação:

  • C++/C#: Multi-thread
  • Visual Basic: Single thread.

Prevendo esse tipo de problema, .NET oferece para C# o já mencionado atributo STAThreadAttribute, que obrigatoriamente deve decorar o Main() da aplicação para indicar que a interoperabilidade COM deve excepcionalmente ser inicializada como single thread. Para aplicações C++, a flag /CLRTHREADATTRIBUTE:STA deve ser fornecida para o linker.

o/

C# – sizeof vs Marshal.SizeOf

Depois do PySide – ainda no INDT como já falei em outros posts antigos – e dos bindings JS para o EFL, no meu trabalho atual estamos fazendo bindings para C#, mais especificamente para o Mono.

A princípio é relativamente simples usar código C a partir de C#. De forma resumida, basta declarar uma função em C# dizendo de que biblioteca ele deve importar a função nativa – pense em dlopen/dlsym – e então invocar a função. O Mono cuida de converter os tipos entre o código gerenciado e a função nativa, tanto os parâmetros como o retorno da função. Por exemplo, direto do guia do Mono para interoperabilidade:

[DllImport ("libc.so")]
private static extern int getpid ();

Lógico que isso é apenas o caso mais simples. Dependendo das peculiaridades do tipo a ser convertido, você pode precisar colocar mais informações para orientar o Mono nessa conversão, como o layout das estruturas, o formato de conversão de strings, ou mesmo uma conversão customizada.

Numa dessas customizações tive problemas durante a chamada de algumas funções, onde misteriosamente a pilha de chamada estava sendo corrompida. Depois de alguns testes, vi que as funções que corrompiam os dados envolviam uma estrutura que era passada por valor como argumento. De forma análoga às funções, onde a assinatura que você declara em C# é uma cópia da assinatura nativa e representa o “layout” daquela função na memória, com as estruturas você também faz o mesmo em C#. No caso, essa estrutura era declarada manualmente em C# da seguinte forma:

struct FooBar {
  IntPtr obj;
  bool something;
  bool another_thing;
  int size;
}

Enquanto que em C a estrutura tinha o seguinte formato:

struct Foo_Bar {
  Obj *obj;
  byte something : 1; // Na pratica é um typedef p/ byte
  byte another_thing : 1;
  int size;
}

A princípio tudo parece correto, já que bool no C# é armazenado no espaço de 1 byte, e apesar do bit field em C, cada field “byte” no C ocupava também 1 byte no final, devido ao packing da estrutura.

Ao realizar mais testes, inicialmente usando sizeof no C# e no C, o tamanho e os offsets dos campos estavam iguais entre o C# e C. Foi então que entrou em cena do Marshal.SizeOf. Marshal é uma classe do C# responsável por cuidar da conversão (marshalling) de tipos entre o código gerenciado e o código nativo.

O problema com sizeof era que ele media o uso de memória gerenciada dos tipos. E, curiosamente, o tipo booleano de C# por padrão difere no espaço utilizado entre a memória gerenciada (1) e memória nativa (4), este último corretamente informado pelo Marshal.SizeOf. A solução então foi indicar para o compilador para usar apenas 1 byte ao converter os campos booleanos, da seguinte forma:

struct FooBar {
  IntPtr obj;
  [MarshalAsAttribute(UnmanagedType.U1)] bool something;
  [MarshalAsAttribute(UnmanagedType.U1)] bool another_thing;
 int size;
}

Feito isso, o problema foi corrigido e todos viveram felizes até o próximo bug. 🙂

matplotlib.pyplot em (menos de) 5 minutos

import matplotlib.pyplot as plt

x_data = [1,2,4,5,6,7]
y_data = [x**2 for x in x_data]

# Cria um gráfico de linha e retorna o "artista" para detalhar aquela
# série de dados
line, = plt.plot(x_data, y_data)

# Adiciona uma descrição à série acima
line.set_label('Wowness vs doge count')

# As duas operações acima podem ser repetidas para criar novas séries de
# dados.

# Mostra a caixa de legenda
plt.legend()

# Ao invés de um fundo branco, mostra as linhas de 'grade'
plt.grid()

# Descrição dos eixos
plt.xlabel("Number of doges")
plt.ylabel("Wow, how wowsome am i?")

# Título do gráfico
plt.title("Wow, so much graph!")

# Salva o gráfico num arquivo
plt.savefig('doge_graph.png')

# Mostra uma janela com o gráfico
plt.show()

# Fecha a 'janela' virtual, destruindo o gráfico e liberando a memória
plt.close()

Resultado:

doge_graph

 

PS: Se receber um erro “SyntaxError: Non-ASCII character…” rodando o script acima, eu diria que a solução recomendada é mudar para o python 3 🙂

Credo! Um linter para elixir?

Continuando no tema de Elixir, hoje René Föhring lançou o Credo, um linter “que ensina”. Linters são programas que leem o código fonte e fazem uma análise mostrando potenciais problemas ou pontos de melhoria nesse código, desde formatação até coisas mais escopo de variáveis, etc.

No post de anúncio, René discorre sobre como as ferramentas do Elixir costumam dar as mensagens de erro de maneira informativa, apontando uma possível solução ao invés de apenas culpar o desenvolvedor. Ok, vez por outra ainda aparecem algumas mensagens criptografadas mas a tendência é melhorar cada vez mais.

Seguindo essa linha, o Credo busca dar mensagens bem didáticas, ainda com a opção de mostrar uma explicação mais detalhada sobre o item. Abaixo, segue um exemplo do que ele reportou num pet project que comecei hoje (por isso tão poucos erros 😀 ):

  Warnings - please take a look                                                                                                                                                                 
┃ 
┃ [W] ↗ Parameter `k` has same name as a function in the same module.
┃       lib/raycifex/vector.ex:34:33 (Raycifex.Vector.scalar_mult)
┃ [W] ↗ There should be no calls to IO.inspect/1.
┃       lib/raycifex.ex:5:5 (Raycifex.main)
┃ [W] ↗ There should be no calls to IO.inspect/1.
┃       lib/raycifex.ex:6:5 (Raycifex.main)

Please report incorrect results: https://github.com/rrrene/credo/issues

Analysis took 0.1 seconds (0.06s to load, 0.04s running checks)
17 mods/funs, found 3 warnings.

Only considering priority objects: ↑ ↗ →  (use `--help` for options).

Dessas, apenas o ‘k’ repetido que assumo que realmente foi um desleixo, já que os inspect foram conscientes. Dado um aviso desses, você pode pegar o id do erro – isto é, o arquivo + linha/coluna – e rodar o credo novamente, para ver a explicação detalhada.

Para ver um exemplo mais abrangente e mais informações sobre o projeto, podem ver o post de anúncio, linkado acima.

o/

PS: Parabéns para René, tanto pela ferramenta como pelo nome escolhido, que permitiu a “piada” do título…

[Elixir] Coisas legais sobre Elixir

Um post rápido sobre algumas coisas legais em relação a Elixir, uma linguagem funcional dinâmica implementada em cima da máquina virtual do Erlang, mas com uma sintaxe muito mais agradável/produtiva.

Pattern Matching é lindo

Quem nunca escreveu um método em que precisou fazer uma série de if/elses/switches/dispatching complicado dependendo dos valores dos argumentos? Por exemplo, ao calcular o fatorial de um número em Python:

def factorial(x):
  if (x == 0 or x == 1):
    return 1
  else:
    return x * factorial(x-1)

E se ao invés disso pudesse ser algo assim:

def factorial(0): return 1
def factorial(1): return 1
def factorial(n): return n * factorial(n-1)

Não só para argumentos simples, mas Elixir também suporta para tipos mais complexos como “dicts” ou tuplas. Por exemplo, num projetinho onde implementava (ainda em progresso) o Conway’s Game of Life, eu tinha a seguinte função:

def neighbors(%{:dimensions=>{width, height}}, pos) do ...

Essa função aceitaria mapas – que parecem dicionários de Python – que possuíssem a chave :dimensions (um átomo) apontando para uma tupla com 2 valores e um argumento “pos”. Além de dar match no dicionário, essa definição já faz “unpack” e atribui os valores às variáveis width e height.

Robusta

Chris McCord, criador do Phoenix – “o django/rails de Elixir”, recentemente fez um teste em que um servidor manteve 2 milhões de conexões simultâneas, e só não conseguiu mais por limitação no sistema operacional (ulimit). Fabio Akita postou uma timeline do exercício.

Suporte da comunidade

Tanto o canal #elixir-lang na Freenode, o Slack elixir-lang.slack.com (inclusive o canal brasileiro, com muita gente) e a lista de emails elixir-lang-talk são bastate movimentadas, com bastante gente disposta a tirar dúvidas, etc. Inclusive o criador da linguagem, José Valim (yep, é brasileiro) é bastante ativo.

“Pegadinha”: Cuidado ao encadear múltiplas chamadas de métodos

Num dos testes antigos do PySide, havia uma inocente linha de código com QFile().metaObject().methodCount(), que na nova versão estava causando uma falha de segmentação dentro da Qt. O que estava acontecendo era que o QMetaObject retornado pelo metaObject() estava sendo apagado pelo QFile() criado, invalidando a área de memória que methodCount() tentava acessar. Agora por que diabos ele estava sendo deletado, já que eu chamava o método direto nele? A resposta está no modo como o CPython é implementado, sendo uma máquina virtual de pilha.

Usando o módulo dis nessa linha, temos o seguinte resultado:

0 LOAD_GLOBAL              0 (QFile)
3 CALL_FUNCTION            0
6 LOAD_ATTR                1 (metaObject)
9 CALL_FUNCTION            0
12 LOAD_ATTR                2 (foo)
15 CALL_FUNCTION            0
18 POP_TOP
19 LOAD_CONST               0 (None)
22 RETURN_VALUE

Dissecando instrução por instrução e seus efeitos na pilha, vamos assumir que esteja inicialmente vazia. Apenas as 4 primeiras instrução são necessárias:

  • LOAD_GLOBAL (QFile) – Topo da pilha é a classe QFile
  • CALL_FUNCTION – Remove QFile do topo e coloca o resultado da chamada, no caso, a nova instância de QFile, com refcount 1
  • LOAD_ATTR(metaObject) – Remove a instância de QFile do topo (decrementa o refcount) e coloca o resultado de getattr(instância, ‘metaObject’) no topo. Nesse caso, o resultado é um “bound method” A chamada a getattr incrementa a referência da instância de QFile, logo ela não morre.
  • CALL_FUNCTION – Remove o metodo metaObject do topo e coloca o resultado, no caso a instância de QMetaObject retornada. Ao remover o método, a referência à instância de QFile é removida, chegando a 0. Então o destrutor do binding chama o destrutor de C++, que por sua vez deleta o objeto C++ do QMetaObject, invalidando o ponteiro usado pelo binding.

Ou seja, devido essas instruções, não se pode garantir que um objeto criado anonimamente numa chamada de metodo e usado imediatamente irá estar “vivo” em chamadas subsequentes.

Vale notar que esse problema aparece em outras implementações de Python baseadas no CPython, como o Stackless e o Unladen Swallow. Implementações que usam outros tipos de máquina virtual como o Jython, IronPython e Pypy não sofrem desse problema.

Lambdas em laços for

Duas vezes num espaço de pouco mais de poucas semana me deparei com duas situações em que o programador era vítima de uma característica pouco conhecida da instrução lambda de python.

Ambas as situações envolviam usar lambda dentro de um laço for para criar funções dinamicamente de acordo com o valor fornecido pelo for naquela iteração. Seria algo mais ou menos assim:

for x in range(10):
algo_assincrono.connect(lambda : foobar(x))

No caso, o programador queria que a funcao foobar fosse chamada para cada x gerado no for, enquanto que na prática a função é sempre chamada com o último valor atribuído a x. Isso acontece porque a instrução lambda de python não é exatamente igual às outras lambdas de outras linguagens.

Em python, lambda é apenas uma mandeira simples de encapsular uma expressão dentro de uma função anônima, sem resolver os nomes das variáveis em tempo de definição. Ou seja, lambdas de python não possuem um escopo (espaço de nomes) próprio, trabalhando no escopo em que foram definidas. E como o laço for também não cria um espaço de nomes próprio, a variável x no caso acima estará com o último valor atribuído a ela até o momento da execução do lambda.

Uma alternativa para esse problema é usar aplicação parcial de funções, disponível como a função partial no módulo functools. Ela trabalha recebendo como primeiro parâmetro a função alvo e em seguida os argumentos que devem ser aplicados parcialmente, retornando uma função que receberá apenas os argumentos restantes. Por exemplo:

>>> def foo(x,y,z):
... return x+y+z
...
>>> foo(3)
Traceback (most recent call last):
File "", line 1, in
TypeError: foo() takes exactly 3 arguments (1 given)
>>> from functools import partial
>>> bar = partial(foo, 3)
>>> bar(4,5)
12
>>> bar(4)
Traceback (most recent call last):
File "", line 1, in
TypeError: foo() takes exactly 3 arguments (2 given)
>>> bar(0,0)
3
>>>

Voltando para o exemplo inicial, utilizando partial, ficaria assim:
for x in range(10):
algo_assincrono.connect(partial(foobar, x))

Zen do Python na prática

– Como é o jeito padrão de implementar árvore em python?

– Rapaz, até onde eu sei cada um implementa do jeito que precisa.

–  Sim, mas não tem um jeito “padrão”?

– Hum, acho que não.

– Então eu vou ter que implementar essa árvore e disponibilizar p/ cara p/ ele herdar dela e…

– Porque você precisa de uma árvore?

– Ah, eu tenho plugins e eles precisam retornar os menus e submenus na forma de uma árvore.

– Por que não diz ao cara apenas que ele precisa ter um atributo ‘children’ com uma lista dos filhos que por sua vez podem ter também o atributo children e assim até chegar na folha da ‘árvore’. Dessa forma ele fica livre para implementar do jeito que quiser.

– É, boa idéia…

É mais fácil pedir desculpa que pedir permissão