Ошибка выделения памяти Aborted (core dumped) в Си

Смотрим на вашу:

void decToBin(unsigned short dec, bin *bits, short bits_count)
{
    short i=bits_count;
    ...
    bits[i] = dec % 2;
    ...

И на её вызов:

for (size_t i=0, j=0; i<BYTES_COUNT; i++, j+=8)
{
    decToBin(str[i], &bits[j], 8);
    ...

Чтобы у вас не было выхода за пределы массива, надо чтобы j+8 было меньше BITS_COUNT.

Дописываем:

for (size_t i=0, j=0; i<BYTES_COUNT; i++, j+=8)
{
    assert(j+8 < BITS_COUNT);
    decToBin(str[i], &bits[j], 8);
}

И получаем:

Assertion failed: j+8 < BITS_COUNT

Этого достаточно?

Мне вообще не очень понятно, как вы считаете — уж очень странно... Да и ощущение, что вы считаете, что bool — это один бит, а не unsigned char... Но тут я не разбирался, так что не настаиваю. Но вот выход за пределы массива как минимум в одном месте я вам показал...

Спасибо, @user207200!

Изначально я думал, что проблема в enocder'е, однако мне сказали в комментариях, что проблема была в decToBin(dec, &bits[j], 6);, которая была в decoder'е.

И это было самое главное. Я попробовал закоментировать decoder'ы, и код заработал без ошибок.

По тому же комментарию я понял, что в инициализации BITS_COUNT нужно было просто BASE64_LEN_NO_MOD умножить на 6.

Также я переименовал почти все переменные в decoder'е, чтобы код хоть чуть-чуть был красивее.

Вот конечный код как ответ на мою проблему:

1. base64.c:

#include "base64.h"

// ------- hidden header
#include <stdio.h>
#include <string.h>
#include <stdbool.h>
#include <limits.h>
#include <stdlib.h>
#include <assert.h>

typedef bool bin;
// -------

// ------- hidden logic
unsigned short power(unsigned short base, unsigned short exponent)
{
    if (exponent == 0)
        return 1;

    int out = base;
    for (int i=0; i<exponent-1; i++)
    {
        out *= base;
    }

    return out;
}

// place bits pointer to first bit
void decToBin(unsigned short dec, bin *bits, short bits_count)
{
    short i=bits_count;
    while (dec != 0)
    {
        i--;

        bits[i] = dec % 2;
        dec /= 2;
    }
}

// place bits pointer to first bit
unsigned short binToDec(bin *bits, short bits_count)
{
    unsigned short dec=0;

    for (short i=bits_count-1, j=0; i >= 0; i--, j++)
    {
        dec += bits[i] * power(2, j);
    }

    return dec;
}

unsigned short strfind(const char *str, char sub)
{
    char *str_pos = strchr(str, sub);
    if (str_pos == NULL)
        return -1;
    return str_pos - str;
}
// -------

void b64_encode(const char *str, char *base64)
{
    // ------- part 0: preparation
    const size_t            BYTES_COUNT = strlen(str),
                            BITS_COUNT = BYTES_COUNT * 8,
                            BASE_BYTES_COUNT = BITS_COUNT / 6;
    const unsigned short BASE_BYTES_MOD_COUNT = 6 - BITS_COUNT % 6;

    bin *bits = calloc(BITS_COUNT, sizeof(bin));
    if (bits == NULL)
    {
        printf("Failed memory allocation\n");
        return;
    }

    // ------- part 1: converting bytes to bits
    for (size_t i=0, j=0; i<BYTES_COUNT; i++, j+=8)
    {
        assert(j+7<BITS_COUNT);
        decToBin(str[i], &bits[j], 8);
    }

    // ------- part 2: dividing bits to base-bytes & encoding to base64
    size_t i=0, j=0;
    for (; j<BASE_BYTES_COUNT; i+=6, j++)
    {
        const unsigned short dec = binToDec(&bits[i], 6);
        base64[j] = BASE64_ALPHABET[dec];
    }
    if (BASE_BYTES_MOD_COUNT == 6)
    {
        free(bits);
        return;
    }

    // ------- part X: encoding mod bits to base64
    bin mod_base_byte[6] = {};

    for (unsigned short k=0; k< BASE_BYTES_MOD_COUNT/2; k++, i++)
        mod_base_byte[k] = bits[i];

    unsigned short dec = binToDec(&mod_base_byte[0], 6);
    base64[j] = BASE64_ALPHABET[dec];

    j++;
    for (unsigned short k=0; k< BASE_BYTES_MOD_COUNT/2; k++, j++)
    {
        base64[j] = '=';
    }

    free(bits);
}

void b64_decode(const char *base64, char *str)
{
    // ------- part 0: preparation
    const size_t            B64_LEN = strlen(base64);
    unsigned short          B64_MOD_LEN = 6,
                            B64_EQUALS_COUNT = 0;
    if (base64[B64_LEN-1] == '=') {B64_MOD_LEN -= 2; B64_EQUALS_COUNT++;}
    if (base64[B64_LEN-2] == '=') {B64_MOD_LEN -= 2; B64_EQUALS_COUNT++;}
    if (B64_MOD_LEN == 6)          B64_MOD_LEN  = 0;

    const size_t B64_NO_MOD_LEN = B64_LEN - B64_EQUALS_COUNT,
                 BITS_COUNT = B64_NO_MOD_LEN * 6,
                 BYTES_COUNT = BITS_COUNT / 8;

    bin *bits = calloc(BITS_COUNT, sizeof(bin));
    if (bits == NULL)
    {
        printf("Failed memory allocation\n");
        return;
    }

    // ------- part 1: decoding base64 to bits
    for (size_t i=0, j=0; i<B64_NO_MOD_LEN; i++, j+=6) {
        unsigned short dec = strfind(BASE64_ALPHABET, base64[i]);
        if ((j > BITS_COUNT) && (B64_MOD_LEN == 2))
        {
            decToBin(
                dec & 0b110000,
                &bits[j-4],
                2
            );
            continue;
        }
        else if ((j > BITS_COUNT) && (B64_MOD_LEN == 4))
        {
            decToBin(
                dec & 0b111100,
                &bits[j-2],
                4
            );
            continue;
        }

        decToBin(dec, &bits[j], 6);
    }

    // ------- part 2: dividing bits to bytes
    for (size_t i=0, j=0; i<BYTES_COUNT; i++, j+=8)
    {
        str[i] = (char) binToDec(&bits[j], 8);
    }

    free(bits);
}

2. base64.h:

#ifndef BASE64_H_
#define BASE64_H_

#define BASE64_ALPHABET "ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz0123456789+/"

void b64_encode(const char *str, char *base64);
void b64_decode(const char *base64, char *str);

#endif

3. test.c:

#include <stdio.h>
#include "base64.h"

int main()
{
    char str[14] = "Hello, World!";
    char base64[100] = "";
    char str_out[14] = "";
    b64_encode(str, base64);
    printf("%s\n", base64);
    b64_decode(base64, str_out);
    printf("%s\n", str_out);

    char str2[14] = "Man";
    char base64_2[100] = "";
    char str2_out[14] = "";
    b64_encode(str2, base64_2);
    printf("%s\n", base64_2);
    b64_decode(base64_2, str2_out);
    printf("%s\n", str2_out);

    return 0;
}