あなたが扱っているcv::Matタイプに注意してください。たとえば、 CV_8UC3タイプのcv::Matがあるimage.at<uchar>(r,c)アクセスすると、エラーは発生しませんが、プログラムに予期しない動作が発生します。
cv::Mat
CV_8UC3
image.at<uchar>(r,c)