Inference at the Edge