]> git.meshlink.io Git - meshlink/blobdiff - src/meshlink.c
Check the return value of node_write_config() while handling invitations.
[meshlink] / src / meshlink.c
index 1b4492d63742d3cc87594b3813b0d72f976ed62d..7a01bd0ffae8f921f7e3b28457e26f6198b7b6b2 100644 (file)
@@ -333,7 +333,7 @@ void remove_duplicate_hostnames(char *host[], char *port[], int n) {
                        break;
                }
 
-               if(found) {
+               if(found || !is_valid_hostname(host[i])) {
                        free(host[i]);
                        free(port[i]);
                        host[i] = NULL;
@@ -417,7 +417,7 @@ static char *get_my_hostname(meshlink_handle_t *mesh, uint32_t flags) {
                        char resolved_port[NI_MAXSERV];
                        err = getnameinfo(ai_in->ai_addr, ai_in->ai_addrlen, resolved_host, sizeof resolved_host, resolved_port, sizeof resolved_port, NI_NUMERICSERV);
 
-                       if(err) {
+                       if(err || !is_valid_hostname(resolved_host)) {
                                freeaddrinfo(ai_in);
                                continue;
                        }
@@ -514,9 +514,9 @@ static bool try_bind(int port) {
        return true;
 }
 
-int check_port(meshlink_handle_t *mesh) {
+static int check_port(meshlink_handle_t *mesh) {
        for(int i = 0; i < 1000; i++) {
-               int port = 0x1000 + (rand() & 0x7fff);
+               int port = 0x1000 + prng(mesh, 0x8000);
 
                if(try_bind(port)) {
                        free(mesh->myport);
@@ -530,6 +530,40 @@ int check_port(meshlink_handle_t *mesh) {
        return 0;
 }
 
+static bool write_main_config_files(meshlink_handle_t *mesh) {
+       if(!mesh->confbase) {
+               return true;
+       }
+
+       uint8_t buf[4096];
+
+       /* Write the main config file */
+       packmsg_output_t out = {buf, sizeof buf};
+
+       packmsg_add_uint32(&out, MESHLINK_CONFIG_VERSION);
+       packmsg_add_str(&out, mesh->name);
+       packmsg_add_bin(&out, ecdsa_get_private_key(mesh->private_key), 96);
+       packmsg_add_bin(&out, ecdsa_get_private_key(mesh->invitation_key), 96);
+       packmsg_add_uint16(&out, atoi(mesh->myport));
+
+       if(!packmsg_output_ok(&out)) {
+               return false;
+       }
+
+       config_t config = {buf, packmsg_output_size(&out, buf)};
+
+       if(!main_config_write(mesh, "current", &config, mesh->config_key)) {
+               return false;
+       }
+
+       /* Write our own host config file */
+       if(!node_write_config(mesh, mesh->self)) {
+               return false;
+       }
+
+       return true;
+}
+
 static bool finalize_join(meshlink_handle_t *mesh, const void *buf, uint16_t len) {
        packmsg_input_t in = {buf, len};
        uint32_t version = packmsg_get_uint32(&in);
@@ -541,7 +575,7 @@ static bool finalize_join(meshlink_handle_t *mesh, const void *buf, uint16_t len
 
        char *name = packmsg_get_str_dup(&in);
        packmsg_skip_element(&in); /* submesh */
-       int32_t devclass = packmsg_get_int32(&in);
+       dev_class_t devclass = packmsg_get_int32(&in);
        uint32_t count = packmsg_get_array(&in);
 
        if(!name) {
@@ -551,48 +585,28 @@ static bool finalize_join(meshlink_handle_t *mesh, const void *buf, uint16_t len
 
        if(!check_id(name)) {
                logger(mesh, MESHLINK_DEBUG, "Invalid Name found in invitation: %s!\n", name);
+               free(name);
                return false;
        }
 
        if(!count) {
                logger(mesh, MESHLINK_ERROR, "Incomplete invitation file!\n");
+               free(name);
                return false;
        }
 
-       // Initialize configuration directory
-       if(!config_init(mesh)) {
-               return false;
-       }
-
-       // Write main config file
-       uint8_t outbuf[4096];
-       packmsg_output_t out = {outbuf, sizeof(outbuf)};
-       packmsg_add_uint32(&out, MESHLINK_CONFIG_VERSION);
-       packmsg_add_str(&out, name);
-       packmsg_add_bin(&out, ecdsa_get_private_key(mesh->private_key), 96);
-       packmsg_add_uint16(&out, atoi(mesh->myport));
-
-       config_t config = {outbuf, packmsg_output_size(&out, outbuf)};
+       free(mesh->name);
+       free(mesh->self->name);
+       mesh->name = name;
+       mesh->self->name = xstrdup(name);
+       mesh->self->devclass = devclass == DEV_CLASS_UNKNOWN ? mesh->devclass : devclass;
 
-       if(!main_config_write(mesh, &config)) {
+       // Initialize configuration directory
+       if(!config_init(mesh, "current")) {
                return false;
        }
 
-       // Write our own host config file
-       out.ptr = outbuf;
-       out.len = sizeof(outbuf);
-       packmsg_add_uint32(&out, MESHLINK_CONFIG_VERSION);
-       packmsg_add_str(&out, name);
-       packmsg_add_str(&out, CORE_MESH);
-       packmsg_add_int32(&out, devclass);
-       packmsg_add_bool(&out, false);
-       packmsg_add_bin(&out, ecdsa_get_public_key(mesh->private_key), 32);
-       packmsg_add_str(&out, ""); // TODO: copy existing canonical address, in case it was added before meshlink_join().
-       packmsg_add_array(&out, 0);
-
-       config.len = packmsg_output_size(&out, outbuf);
-
-       if(!config_write(mesh, name, &config)) {
+       if(!write_main_config_files(mesh)) {
                return false;
        }
 
@@ -608,47 +622,54 @@ static bool finalize_join(meshlink_handle_t *mesh, const void *buf, uint16_t len
 
                packmsg_input_t in2 = {data, len};
                uint32_t version = packmsg_get_uint32(&in2);
+               char *name = packmsg_get_str_dup(&in2);
 
-               if(version != MESHLINK_CONFIG_VERSION) {
-                       logger(mesh, MESHLINK_ERROR, "Invalid host config file in invitation file!\n");
-                       return false;
+               if(!packmsg_input_ok(&in2) || version != MESHLINK_CONFIG_VERSION || !check_id(name)) {
+                       free(name);
+                       packmsg_input_invalidate(&in);
+                       break;
                }
 
-               char *host = packmsg_get_str_dup(&in2);
-
-               if(!check_id(host)) {
-                       logger(mesh, MESHLINK_ERROR, "Invalid node name in invitation file!\n");
-                       free(host);
-                       return false;
+               if(!check_id(name)) {
+                       free(name);
+                       break;
                }
 
-               if(!strcmp(host, name)) {
+               if(!strcmp(name, mesh->name)) {
                        logger(mesh, MESHLINK_DEBUG, "Secondary chunk would overwrite our own host config file.\n");
-                       free(host);
+                       free(name);
+                       meshlink_errno = MESHLINK_EPEER;
                        return false;
                }
 
+               node_t *n = new_node();
+               n->name = name;
+
                config_t config = {data, len};
-               config_write(mesh, host, &config);
 
-               node_t *n = new_node();
-               n->name = host;
-               node_read_full(mesh, n);
-               n->devclass = mesh->devclass;
+               if(!node_read_from_config(mesh, n, &config)) {
+                       free_node(n);
+                       logger(mesh, MESHLINK_ERROR, "Invalid host config file in invitation file!\n");
+                       meshlink_errno = MESHLINK_EPEER;
+                       return false;
+               }
+
                node_add(mesh, n);
+
+               if(!config_write(mesh, "current", n->name, &config, mesh->config_key)) {
+                       return false;
+               }
        }
 
-       sptps_send_record(&(mesh->sptps), 1, ecdsa_get_public_key(mesh->private_key), 32);
+       /* Ensure the configuration directory metadata is on disk */
+       if(!config_sync(mesh, "current")) {
+               return false;
+       }
 
-       free(mesh->name);
-       free(mesh->self->name);
-       mesh->name = xstrdup(name);
-       mesh->self->name = xstrdup(name);
+       sptps_send_record(&(mesh->sptps), 1, ecdsa_get_public_key(mesh->private_key), 32);
 
        logger(mesh, MESHLINK_DEBUG, "Configuration stored in: %s\n", mesh->confbase);
 
-       load_all_nodes(mesh);
-
        return true;
 }
 
@@ -728,8 +749,9 @@ static bool recvline(meshlink_handle_t *mesh, size_t len) {
 
        return true;
 }
+
 static bool sendline(int fd, char *format, ...) {
-       static char buffer[4096];
+       char buffer[4096];
        char *p = buffer;
        int blen = 0;
        va_list ap;
@@ -824,6 +846,7 @@ static struct timeval idle(event_loop_t *loop, void *data) {
 // Get our local address(es) by simulating connecting to an Internet host.
 static void add_local_addresses(meshlink_handle_t *mesh) {
        struct sockaddr_storage sn;
+       sn.ss_family = AF_UNKNOWN;
        socklen_t sl = sizeof(sn);
 
        // IPv4 example.org
@@ -843,27 +866,9 @@ static void add_local_addresses(meshlink_handle_t *mesh) {
        }
 }
 
-#if 0
-static bool meshlink_write_config(meshlink_handle_t *mesh) {
-       uint8_t buf[1024];
-       packmsg_output_t out = {buf, sizeof buf};
-       packmsg_add_str(&out, mesh->name);
-       packmsg_add_uint32(&out, mesh->devclass);
-       packmsg_add_uint16(&out, mesh->port);
-       packmsg_add_bin(&out, ecdsa, sizeof(ecdsa));
-       uint32_t len = packmsg_output_size(&out, buf);
-
-       if(!len) {
-               logger(mesh, MESHLINK_DEBUG, "Could not create configuration data\n",);
-               meshlink_errno = MESHLINK_EINTERNAL;
-               return false;
-       }
-}
-#endif
-
 static bool meshlink_setup(meshlink_handle_t *mesh) {
-       if(!config_init(mesh)) {
-               logger(mesh, MESHLINK_ERROR, "Could not set up configuration in %s: %s\n", mesh->confbase, strerror(errno));
+       if(!config_init(mesh, "current")) {
+               logger(mesh, MESHLINK_ERROR, "Could not set up configuration in %s/current: %s\n", mesh->confbase, strerror(errno));
                meshlink_errno = MESHLINK_ESTORAGE;
                return false;
        }
@@ -885,36 +890,20 @@ static bool meshlink_setup(meshlink_handle_t *mesh) {
        mesh->self->devclass = mesh->devclass;
        mesh->self->ecdsa = ecdsa_set_public_key(ecdsa_get_public_key(mesh->private_key));
 
-       // Write the main config file
-       uint8_t buf[4096];
-       packmsg_output_t out = {buf, sizeof(buf)};
-
-       packmsg_add_uint32(&out, MESHLINK_CONFIG_VERSION);
-       packmsg_add_str(&out, mesh->name);
-       packmsg_add_bin(&out, ecdsa_get_private_key(mesh->private_key), 96);
-       packmsg_add_bin(&out, ecdsa_get_private_key(mesh->invitation_key), 96);
-       packmsg_add_uint16(&out, atoi(mesh->myport));
-
-       config_t config = {buf, packmsg_output_size(&out, buf)};
-
-       if(!main_config_write(mesh, &config)) {
+       if(!write_main_config_files(mesh)) {
+               logger(mesh, MESHLINK_ERROR, "Could not write main config files into %s/current: %s\n", mesh->confbase, strerror(errno));
+               meshlink_errno = MESHLINK_ESTORAGE;
                return false;
        }
 
-       // Write our own host config file
-       out.ptr = buf;
-       out.len = sizeof(buf);
-       packmsg_add_uint32(&out, MESHLINK_CONFIG_VERSION);
-       packmsg_add_str(&out, mesh->name);
-       packmsg_add_int32(&out, mesh->devclass);
-       packmsg_add_bool(&out, false);
-       packmsg_add_bin(&out, ecdsa_get_public_key(mesh->private_key), 32);
-       packmsg_add_str(&out, ""); // TODO: copy existing canonical address, in case it was added before meshlink_join().
-       packmsg_add_array(&out, 0);
-
-       config.len = packmsg_output_size(&out, buf);
+       /* Ensure the configuration directory metadata is on disk */
+       if(!config_sync(mesh, "current")) {
+               return false;
+       }
 
-       if(!config_write(mesh, mesh->name, &config)) {
+       if(!main_config_lock(mesh)) {
+               logger(NULL, MESHLINK_ERROR, "Cannot lock main config file\n");
+               meshlink_errno = MESHLINK_ESTORAGE;
                return false;
        }
 
@@ -931,7 +920,7 @@ static bool meshlink_read_config(meshlink_handle_t *mesh) {
 
        config_t config;
 
-       if(!main_config_read(mesh, &config)) {
+       if(!main_config_read(mesh, "current", &config, mesh->config_key)) {
                logger(NULL, MESHLINK_ERROR, "Could not read main configuration file!");
                return false;
        }
@@ -981,6 +970,7 @@ static bool meshlink_read_config(meshlink_handle_t *mesh) {
 
        if(!node_read_public_key(mesh, mesh->self)) {
                logger(NULL, MESHLINK_ERROR, "Could not read our host configuration file!");
+               meshlink_errno = MESHLINK_ESTORAGE;
                free_node(mesh->self);
                mesh->self = NULL;
                return false;
@@ -1024,16 +1014,17 @@ meshlink_open_params_t *meshlink_open_params_init(const char *confbase, const ch
 
        if(!name || !*name) {
                logger(NULL, MESHLINK_ERROR, "No name given!\n");
-               //return NULL;
-       } else { //check name only if there is a name != NULL
-               if(!check_id(name)) {
-                       logger(NULL, MESHLINK_ERROR, "Invalid name given!\n");
-                       meshlink_errno = MESHLINK_EINVAL;
-                       return NULL;
-               }
+               meshlink_errno = MESHLINK_EINVAL;
+               return NULL;
+       };
+
+       if(!check_id(name)) {
+               logger(NULL, MESHLINK_ERROR, "Invalid name given!\n");
+               meshlink_errno = MESHLINK_EINVAL;
+               return NULL;
        }
 
-       if((int)devclass < 0 || devclass > _DEV_CLASS_MAX) {
+       if(devclass < 0 || devclass >= DEV_CLASS_COUNT) {
                logger(NULL, MESHLINK_ERROR, "Invalid devclass given!\n");
                meshlink_errno = MESHLINK_EINVAL;
                return NULL;
@@ -1079,6 +1070,85 @@ bool meshlink_open_params_set_storage_key(meshlink_open_params_t *params, const
        return true;
 }
 
+bool meshlink_encrypted_key_rotate(meshlink_handle_t *mesh, const void *new_key, size_t new_keylen) {
+       if(!mesh || !new_key || !new_keylen) {
+               logger(mesh, MESHLINK_ERROR, "Invalid arguments given!\n");
+               meshlink_errno = MESHLINK_EINVAL;
+               return false;
+       }
+
+       pthread_mutex_lock(&(mesh->mesh_mutex));
+
+       // Create hash for the new key
+       void *new_config_key;
+       new_config_key = xmalloc(CHACHA_POLY1305_KEYLEN);
+
+       if(!prf(new_key, new_keylen, "MeshLink configuration key", 26, new_config_key, CHACHA_POLY1305_KEYLEN)) {
+               logger(mesh, MESHLINK_ERROR, "Error creating new configuration key!\n");
+               meshlink_errno = MESHLINK_EINTERNAL;
+               pthread_mutex_unlock(&(mesh->mesh_mutex));
+               return false;
+       }
+
+       // Copy contents of the "current" confbase sub-directory to "new" confbase sub-directory with the new key
+
+       if(!config_copy(mesh, "current", mesh->config_key, "new", new_config_key)) {
+               logger(mesh, MESHLINK_ERROR, "Could not set up configuration in %s/old: %s\n", mesh->confbase, strerror(errno));
+               meshlink_errno = MESHLINK_ESTORAGE;
+               pthread_mutex_unlock(&(mesh->mesh_mutex));
+               return false;
+       }
+
+       devtool_keyrotate_probe(1);
+
+       main_config_unlock(mesh);
+
+       // Rename confbase/current/ to confbase/old
+
+       if(!config_rename(mesh, "current", "old")) {
+               logger(mesh, MESHLINK_ERROR, "Cannot rename %s/current to %s/old\n", mesh->confbase, mesh->confbase);
+               meshlink_errno = MESHLINK_ESTORAGE;
+               main_config_lock(mesh);
+               pthread_mutex_unlock(&(mesh->mesh_mutex));
+               return false;
+       }
+
+       devtool_keyrotate_probe(2);
+
+       // Rename confbase/new/ to confbase/current
+
+       if(!config_rename(mesh, "new", "current")) {
+               logger(mesh, MESHLINK_ERROR, "Cannot rename %s/new to %s/current\n", mesh->confbase, mesh->confbase);
+               meshlink_errno = MESHLINK_ESTORAGE;
+               main_config_lock(mesh);
+               pthread_mutex_unlock(&(mesh->mesh_mutex));
+               return false;
+       }
+
+       devtool_keyrotate_probe(3);
+
+       if(!main_config_lock(mesh)) {
+               pthread_mutex_unlock(&(mesh->mesh_mutex));
+               return false;
+       }
+
+       // Cleanup the "old" confbase sub-directory
+
+       if(!config_destroy(mesh->confbase, "old")) {
+               pthread_mutex_unlock(&(mesh->mesh_mutex));
+               return false;
+       }
+
+       // Change the mesh handle key with new key
+
+       free(mesh->config_key);
+       mesh->config_key = new_config_key;
+
+       pthread_mutex_unlock(&(mesh->mesh_mutex));
+
+       return true;
+}
+
 void meshlink_open_params_free(meshlink_open_params_t *params) {
        if(!params) {
                meshlink_errno = MESHLINK_EINVAL;
@@ -1092,7 +1162,21 @@ void meshlink_open_params_free(meshlink_open_params_t *params) {
        free(params);
 }
 
+/// Device class traits
+static const dev_class_traits_t default_class_traits[DEV_CLASS_COUNT] = {
+       { .pingtimeout = 5, .pinginterval = 60, .min_connects = 3, .max_connects = 10000, .edge_weight = 1 }, // DEV_CLASS_BACKBONE
+       { .pingtimeout = 5, .pinginterval = 60, .min_connects = 3, .max_connects = 100, .edge_weight = 3 },   // DEV_CLASS_STATIONARY
+       { .pingtimeout = 5, .pinginterval = 60, .min_connects = 3, .max_connects = 3, .edge_weight = 6 },     // DEV_CLASS_PORTABLE
+       { .pingtimeout = 5, .pinginterval = 60, .min_connects = 1, .max_connects = 1, .edge_weight = 9 },     // DEV_CLASS_UNKNOWN
+};
+
 meshlink_handle_t *meshlink_open(const char *confbase, const char *name, const char *appname, dev_class_t devclass) {
+       if(!confbase || !*confbase) {
+               logger(NULL, MESHLINK_ERROR, "No confbase given!\n");
+               meshlink_errno = MESHLINK_EINVAL;
+               return NULL;
+       }
+
        /* Create a temporary struct on the stack, to avoid allocating and freeing one. */
        meshlink_open_params_t params;
        memset(&params, 0, sizeof(params));
@@ -1107,8 +1191,15 @@ meshlink_handle_t *meshlink_open(const char *confbase, const char *name, const c
 }
 
 meshlink_handle_t *meshlink_open_encrypted(const char *confbase, const char *name, const char *appname, dev_class_t devclass, const void *key, size_t keylen) {
+       if(!confbase || !*confbase) {
+               logger(NULL, MESHLINK_ERROR, "No confbase given!\n");
+               meshlink_errno = MESHLINK_EINVAL;
+               return NULL;
+       }
+
        /* Create a temporary struct on the stack, to avoid allocating and freeing one. */
-       meshlink_open_params_t params = {NULL};
+       meshlink_open_params_t params;
+       memset(&params, 0, sizeof(params));
 
        params.confbase = (char *)confbase;
        params.name = (char *)name;
@@ -1123,18 +1214,25 @@ meshlink_handle_t *meshlink_open_encrypted(const char *confbase, const char *nam
        return meshlink_open_ex(&params);
 }
 
+meshlink_handle_t *meshlink_open_ephemeral(const char *name, const char *appname, dev_class_t devclass) {
+       /* Create a temporary struct on the stack, to avoid allocating and freeing one. */
+       meshlink_open_params_t params;
+       memset(&params, 0, sizeof(params));
+
+       params.name = (char *)name;
+       params.appname = (char *)appname;
+       params.devclass = devclass;
+       params.netns = -1;
+
+       return meshlink_open_ex(&params);
+}
+
 meshlink_handle_t *meshlink_open_ex(const meshlink_open_params_t *params) {
        // Validate arguments provided by the application
        bool usingname = false;
 
        logger(NULL, MESHLINK_DEBUG, "meshlink_open called\n");
 
-       if(!params->confbase || !*params->confbase) {
-               logger(NULL, MESHLINK_ERROR, "No confbase given!\n");
-               meshlink_errno = MESHLINK_EINVAL;
-               return NULL;
-       }
-
        if(!params->appname || !*params->appname) {
                logger(NULL, MESHLINK_ERROR, "No appname given!\n");
                meshlink_errno = MESHLINK_EINVAL;
@@ -1161,7 +1259,7 @@ meshlink_handle_t *meshlink_open_ex(const meshlink_open_params_t *params) {
                }
        }
 
-       if((int)params->devclass < 0 || params->devclass > _DEV_CLASS_MAX) {
+       if(params->devclass < 0 || params->devclass >= DEV_CLASS_COUNT) {
                logger(NULL, MESHLINK_ERROR, "Invalid devclass given!\n");
                meshlink_errno = MESHLINK_EINVAL;
                return NULL;
@@ -1174,13 +1272,23 @@ meshlink_handle_t *meshlink_open_ex(const meshlink_open_params_t *params) {
        }
 
        meshlink_handle_t *mesh = xzalloc(sizeof(meshlink_handle_t));
-       mesh->confbase = xstrdup(params->confbase);
+
+       if(params->confbase) {
+               mesh->confbase = xstrdup(params->confbase);
+       }
+
        mesh->appname = xstrdup(params->appname);
        mesh->devclass = params->devclass;
        mesh->discovery = true;
        mesh->invitation_timeout = 604800; // 1 week
        mesh->netns = params->netns;
        mesh->submeshes = NULL;
+       mesh->log_cb = global_log_cb;
+       mesh->log_level = global_log_level;
+
+       randomize(&mesh->prng_state, sizeof(mesh->prng_state));
+
+       memcpy(mesh->dev_class_traits, default_class_traits, sizeof(default_class_traits));
 
        if(usingname) {
                mesh->name = xstrdup(params->name);
@@ -1192,6 +1300,7 @@ meshlink_handle_t *meshlink_open_ex(const meshlink_open_params_t *params) {
 
                if(!prf(params->key, params->keylen, "MeshLink configuration key", 26, mesh->config_key, CHACHA_POLY1305_KEYLEN)) {
                        logger(NULL, MESHLINK_ERROR, "Error creating configuration key!\n");
+                       meshlink_close(mesh);
                        meshlink_errno = MESHLINK_EINTERNAL;
                        return NULL;
                }
@@ -1211,7 +1320,7 @@ meshlink_handle_t *meshlink_open_ex(const meshlink_open_params_t *params) {
 
        // If no configuration exists yet, create it.
 
-       if(!main_config_exists(mesh)) {
+       if(!meshlink_confbase_exists(mesh)) {
                if(!meshlink_setup(mesh)) {
                        logger(NULL, MESHLINK_ERROR, "Cannot create initial configuration\n");
                        meshlink_close(mesh);
@@ -1301,21 +1410,42 @@ static void *meshlink_main_loop(void *arg) {
 #ifdef HAVE_SETNS
 
                if(setns(mesh->netns, CLONE_NEWNET) != 0) {
+                       pthread_cond_signal(&mesh->cond);
                        return NULL;
                }
 
 #else
+               pthread_cond_signal(&mesh->cond);
                return NULL;
 #endif // HAVE_SETNS
        }
 
+#if HAVE_CATTA
+
+       if(mesh->discovery) {
+               discovery_start(mesh);
+       }
+
+#endif
+
        pthread_mutex_lock(&(mesh->mesh_mutex));
 
        logger(mesh, MESHLINK_DEBUG, "Starting main_loop...\n");
+       pthread_cond_broadcast(&mesh->cond);
        main_loop(mesh);
        logger(mesh, MESHLINK_DEBUG, "main_loop returned.\n");
 
        pthread_mutex_unlock(&(mesh->mesh_mutex));
+
+#if HAVE_CATTA
+
+       // Stop discovery
+       if(mesh->discovery) {
+               discovery_stop(mesh);
+       }
+
+#endif
+
        return NULL;
 }
 
@@ -1332,6 +1462,9 @@ bool meshlink_start(meshlink_handle_t *mesh) {
 
        pthread_mutex_lock(&(mesh->mesh_mutex));
 
+       assert(mesh->self->ecdsa);
+       assert(!memcmp((uint8_t *)mesh->self->ecdsa + 64, (uint8_t *)mesh->private_key + 64, 32));
+
        if(mesh->threadstarted) {
                logger(mesh, MESHLINK_DEBUG, "thread was already running\n");
                pthread_mutex_unlock(&(mesh->mesh_mutex));
@@ -1371,42 +1504,22 @@ bool meshlink_start(meshlink_handle_t *mesh) {
                return false;
        }
 
+       pthread_cond_wait(&mesh->cond, &mesh->mesh_mutex);
        mesh->threadstarted = true;
 
-#if HAVE_CATTA
+       pthread_mutex_unlock(&(mesh->mesh_mutex));
+       return true;
+}
 
-       if(mesh->discovery) {
-               discovery_start(mesh);
-       }
-
-#endif
-
-       assert(mesh->self->ecdsa);
-       assert(!memcmp((uint8_t *)mesh->self->ecdsa + 64, (uint8_t *)mesh->private_key + 64, 32));
-
-
-       pthread_mutex_unlock(&(mesh->mesh_mutex));
-       return true;
-}
-
-void meshlink_stop(meshlink_handle_t *mesh) {
-       if(!mesh) {
-               meshlink_errno = MESHLINK_EINVAL;
-               return;
+void meshlink_stop(meshlink_handle_t *mesh) {
+       if(!mesh) {
+               meshlink_errno = MESHLINK_EINVAL;
+               return;
        }
 
        pthread_mutex_lock(&(mesh->mesh_mutex));
        logger(mesh, MESHLINK_DEBUG, "meshlink_stop called\n");
 
-#if HAVE_CATTA
-
-       // Stop discovery
-       if(mesh->discovery) {
-               discovery_stop(mesh);
-       }
-
-#endif
-
        // Shut down the main thread
        event_loop_stop(&mesh->loop);
 
@@ -1446,11 +1559,21 @@ void meshlink_stop(meshlink_handle_t *mesh) {
 
        exit_outgoings(mesh);
 
+       // Write out any changed node config files
+       if(mesh->nodes) {
+               for splay_each(node_t, n, mesh->nodes) {
+                       if(n->status.dirty) {
+                               node_write_config(mesh, n);
+                               n->status.dirty = false;
+                       }
+               }
+       }
+
        pthread_mutex_unlock(&(mesh->mesh_mutex));
 }
 
 void meshlink_close(meshlink_handle_t *mesh) {
-       if(!mesh || !mesh->confbase) {
+       if(!mesh) {
                meshlink_errno = MESHLINK_EINVAL;
                return;
        }
@@ -1483,13 +1606,23 @@ void meshlink_close(meshlink_handle_t *mesh) {
                close(mesh->netns);
        }
 
+       for(vpn_packet_t *packet; (packet = meshlink_queue_pop(&mesh->outpacketqueue));) {
+               free(packet);
+       }
+
+       meshlink_queue_exit(&mesh->outpacketqueue);
+
        free(mesh->name);
        free(mesh->appname);
        free(mesh->confbase);
-       pthread_mutex_destroy(&(mesh->mesh_mutex));
+       free(mesh->config_key);
+       ecdsa_free(mesh->private_key);
 
        main_config_unlock(mesh);
 
+       pthread_mutex_unlock(&mesh->mesh_mutex);
+       pthread_mutex_destroy(&mesh->mesh_mutex);
+
        memset(mesh, 0, sizeof(*mesh));
 
        free(mesh);
@@ -1501,7 +1634,21 @@ bool meshlink_destroy(const char *confbase) {
                return false;
        }
 
-       return config_destroy(confbase);
+       if(!config_destroy(confbase, "current")) {
+               logger(NULL, MESHLINK_ERROR, "Cannot remove confbase sub-directories %s: %s\n", confbase, strerror(errno));
+               return false;
+       }
+
+       config_destroy(confbase, "new");
+       config_destroy(confbase, "old");
+
+       if(rmdir(confbase) && errno != ENOENT) {
+               logger(NULL, MESHLINK_ERROR, "Cannot remove directory %s: %s\n", confbase, strerror(errno));
+               meshlink_errno = MESHLINK_ESTORAGE;
+               return false;
+       }
+
+       return true;
 }
 
 void meshlink_set_receive_cb(meshlink_handle_t *mesh, meshlink_receive_cb_t cb) {
@@ -1537,6 +1684,17 @@ void meshlink_set_node_status_cb(meshlink_handle_t *mesh, meshlink_node_status_c
        pthread_mutex_unlock(&(mesh->mesh_mutex));
 }
 
+void meshlink_set_node_pmtu_cb(meshlink_handle_t *mesh, meshlink_node_pmtu_cb_t cb) {
+       if(!mesh) {
+               meshlink_errno = MESHLINK_EINVAL;
+               return;
+       }
+
+       pthread_mutex_lock(&(mesh->mesh_mutex));
+       mesh->node_pmtu_cb = cb;
+       pthread_mutex_unlock(&(mesh->mesh_mutex));
+}
+
 void meshlink_set_node_duplicate_cb(meshlink_handle_t *mesh, meshlink_node_duplicate_cb_t cb) {
        if(!mesh) {
                meshlink_errno = MESHLINK_EINVAL;
@@ -1560,6 +1718,17 @@ void meshlink_set_log_cb(meshlink_handle_t *mesh, meshlink_log_level_t level, me
        }
 }
 
+void meshlink_set_error_cb(struct meshlink_handle *mesh, meshlink_error_cb_t cb) {
+       if(!mesh) {
+               meshlink_errno = MESHLINK_EINVAL;
+               return;
+       }
+
+       pthread_mutex_lock(&(mesh->mesh_mutex));
+       mesh->error_cb = cb;
+       pthread_mutex_unlock(&(mesh->mesh_mutex));
+}
+
 bool meshlink_send(meshlink_handle_t *mesh, meshlink_node_t *destination, const void *data, size_t len) {
        meshlink_packethdr_t *hdr;
 
@@ -1619,8 +1788,9 @@ bool meshlink_send(meshlink_handle_t *mesh, meshlink_node_t *destination, const
        return true;
 }
 
-void meshlink_send_from_queue(event_loop_t *loop, meshlink_handle_t *mesh) {
+void meshlink_send_from_queue(event_loop_t *loop, void *data) {
        (void)loop;
+       meshlink_handle_t *mesh = data;
        vpn_packet_t *packet = meshlink_queue_pop(&mesh->outpacketqueue);
 
        if(!packet) {
@@ -1630,6 +1800,8 @@ void meshlink_send_from_queue(event_loop_t *loop, meshlink_handle_t *mesh) {
        mesh->self->in_packets++;
        mesh->self->in_bytes += packet->len;
        route(mesh, mesh->self, packet);
+
+       free(packet);
 }
 
 ssize_t meshlink_get_pmtu(meshlink_handle_t *mesh, meshlink_node_t *destination) {
@@ -1701,6 +1873,11 @@ meshlink_node_t *meshlink_get_node(meshlink_handle_t *mesh, const char *name) {
        pthread_mutex_lock(&(mesh->mesh_mutex));
        node = (meshlink_node_t *)lookup_node(mesh, (char *)name); // TODO: make lookup_node() use const
        pthread_mutex_unlock(&(mesh->mesh_mutex));
+
+       if(!node) {
+               meshlink_errno = MESHLINK_ENOENT;
+       }
+
        return node;
 }
 
@@ -1715,6 +1892,11 @@ meshlink_submesh_t *meshlink_get_submesh(meshlink_handle_t *mesh, const char *na
        pthread_mutex_lock(&(mesh->mesh_mutex));
        submesh = (meshlink_submesh_t *)lookup_submesh(mesh, name);
        pthread_mutex_unlock(&(mesh->mesh_mutex));
+
+       if(!submesh) {
+               meshlink_errno = MESHLINK_ENOENT;
+       }
+
        return submesh;
 }
 
@@ -1792,7 +1974,7 @@ static meshlink_node_t **meshlink_get_all_nodes_by_condition(meshlink_handle_t *
 static bool search_node_by_dev_class(const node_t *node, const void *condition) {
        dev_class_t *devclass = (dev_class_t *)condition;
 
-       if(*devclass == node->devclass) {
+       if(*devclass == (dev_class_t)node->devclass) {
                return true;
        }
 
@@ -1808,7 +1990,7 @@ static bool search_node_by_submesh(const node_t *node, const void *condition) {
 }
 
 meshlink_node_t **meshlink_get_all_nodes_by_dev_class(meshlink_handle_t *mesh, dev_class_t devclass, meshlink_node_t **nodes, size_t *nmemb) {
-       if(!mesh || ((int)devclass < 0) || (devclass > _DEV_CLASS_MAX) || !nmemb) {
+       if(!mesh || devclass < 0 || devclass >= DEV_CLASS_COUNT || !nmemb) {
                meshlink_errno = MESHLINK_EINVAL;
                return NULL;
        }
@@ -1954,7 +2136,7 @@ bool meshlink_set_canonical_address(meshlink_handle_t *mesh, meshlink_node_t *no
        node_t *n = (node_t *)node;
        free(n->canonical_address);
        n->canonical_address = canonical_address;
-       n->status.dirty = true;
+       node_write_config(mesh, n);
 
        pthread_mutex_unlock(&(mesh->mesh_mutex));
 
@@ -1994,7 +2176,13 @@ int meshlink_get_port(meshlink_handle_t *mesh) {
                return -1;
        }
 
-       return atoi(mesh->myport);
+       int port;
+
+       pthread_mutex_lock(&(mesh->mesh_mutex));
+       port = atoi(mesh->myport);
+       pthread_mutex_unlock(&(mesh->mesh_mutex));
+
+       return port;
 }
 
 bool meshlink_set_port(meshlink_handle_t *mesh, int port) {
@@ -2023,16 +2211,38 @@ bool meshlink_set_port(meshlink_handle_t *mesh, int port) {
                goto done;
        }
 
+       free(mesh->myport);
+       xasprintf(&mesh->myport, "%d", port);
+
+       /* Close down the network. This also deletes mesh->self. */
        close_network_connections(mesh);
 
-       // TODO: write meshlink.conf again
+       /* Recreate mesh->self. */
+       mesh->self = new_node();
+       mesh->self->name = xstrdup(mesh->name);
+       mesh->self->devclass = mesh->devclass;
+       xasprintf(&mesh->myport, "%d", port);
 
-       if(!setup_network(mesh)) {
+       if(!node_read_public_key(mesh, mesh->self)) {
+               logger(NULL, MESHLINK_ERROR, "Could not read our host configuration file!");
+               meshlink_errno = MESHLINK_ESTORAGE;
+               free_node(mesh->self);
+               mesh->self = NULL;
+               goto done;
+       } else if(!setup_network(mesh)) {
                meshlink_errno = MESHLINK_ENETWORK;
-       } else {
-               rval = true;
+               goto done;
        }
 
+       /* Rebuild our own list of recent addresses */
+       memset(mesh->self->recent, 0, sizeof(mesh->self->recent));
+       add_local_addresses(mesh);
+
+       /* Write meshlink.conf with the updated port number */
+       write_main_config_files(mesh);
+
+       rval = config_sync(mesh, "current");
+
 done:
        pthread_mutex_unlock(&(mesh->mesh_mutex));
 
@@ -2074,7 +2284,7 @@ char *meshlink_invite_ex(meshlink_handle_t *mesh, meshlink_submesh_t *submesh, c
        }
 
        // Ensure no host configuration file with that name exists
-       if(config_exists(mesh, name)) {
+       if(config_exists(mesh, "current", name)) {
                logger(mesh, MESHLINK_DEBUG, "A host config file for %s already exists!\n", name);
                meshlink_errno = MESHLINK_EEXIST;
                pthread_mutex_unlock(&(mesh->mesh_mutex));
@@ -2137,11 +2347,15 @@ char *meshlink_invite_ex(meshlink_handle_t *mesh, meshlink_submesh_t *submesh, c
        packmsg_add_str(&inv, s ? s->name : CORE_MESH);
        packmsg_add_int32(&inv, DEV_CLASS_UNKNOWN); /* TODO: allow this to be set by inviter? */
 
-       /* TODO: Add several host config files to bootstrap connections */
-       config_t configs[5] = {NULL};
+       /* TODO: Add several host config files to bootstrap connections.
+        * Note: make sure we only add config files of nodes that are in the core mesh or the same submesh,
+        * and are not blacklisted.
+        */
+       config_t configs[5];
+       memset(configs, 0, sizeof(configs));
        int count = 0;
 
-       if(config_read(mesh, mesh->self->name, &configs[count])) {
+       if(config_read(mesh, "current", mesh->self->name, &configs[count], mesh->config_key)) {
                count++;
        }
 
@@ -2155,7 +2369,7 @@ char *meshlink_invite_ex(meshlink_handle_t *mesh, meshlink_submesh_t *submesh, c
 
        config_t config = {outbuf, packmsg_output_size(&inv, outbuf)};
 
-       if(!invitation_write(mesh, cookiehash, &config)) {
+       if(!invitation_write(mesh, "current", cookiehash, &config, mesh->config_key)) {
                logger(mesh, MESHLINK_DEBUG, "Could not create invitation file %s: %s\n", cookiehash, strerror(errno));
                meshlink_errno = MESHLINK_ESTORAGE;
                pthread_mutex_unlock(&(mesh->mesh_mutex));
@@ -2185,7 +2399,15 @@ bool meshlink_join(meshlink_handle_t *mesh, const char *invitation) {
 
        //Before doing meshlink_join make sure we are not connected to another mesh
        if(mesh->threadstarted) {
-               logger(mesh, MESHLINK_DEBUG, "Already connected to a mesh\n");
+               logger(mesh, MESHLINK_ERROR, "Cannot join while started\n");
+               meshlink_errno = MESHLINK_EINVAL;
+               pthread_mutex_unlock(&(mesh->mesh_mutex));
+               return false;
+       }
+
+       // Refuse to join a mesh if we are already part of one. We are part of one if we know at least one other node.
+       if(mesh->nodes->count > 1) {
+               logger(mesh, MESHLINK_ERROR, "Already part of an existing mesh\n");
                meshlink_errno = MESHLINK_EINVAL;
                pthread_mutex_unlock(&(mesh->mesh_mutex));
                return false;
@@ -2309,7 +2531,7 @@ bool meshlink_join(meshlink_handle_t *mesh, const char *invitation) {
 
        mesh->blen = 0;
 
-       if(!sendline(mesh->sock, "0 ?%s %d.%d %s", b64key, PROT_MAJOR, 1, mesh->appname)) {
+       if(!sendline(mesh->sock, "0 ?%s %d.%d %s", b64key, PROT_MAJOR, PROT_MINOR, mesh->appname)) {
                logger(mesh, MESHLINK_DEBUG, "Error sending request to %s port %s: %s\n", address, port, strerror(errno));
                closesocket(mesh->sock);
                meshlink_errno = MESHLINK_ENETWORK;
@@ -2420,38 +2642,64 @@ char *meshlink_export(meshlink_handle_t *mesh) {
                return NULL;
        }
 
-       config_t config;
+       // Create a config file on the fly.
 
-       // Get our config file
+       uint8_t buf[4096];
+       packmsg_output_t out = {buf, sizeof(buf)};
+       packmsg_add_uint32(&out, MESHLINK_CONFIG_VERSION);
+       packmsg_add_str(&out, mesh->name);
+       packmsg_add_str(&out, CORE_MESH);
 
        pthread_mutex_lock(&(mesh->mesh_mutex));
 
-       if(!config_read(mesh, mesh->self->name, &config)) {
-               meshlink_errno = MESHLINK_ESTORAGE;
-               pthread_mutex_unlock(&mesh->mesh_mutex);
-               return NULL;
+       packmsg_add_int32(&out, mesh->self->devclass);
+       packmsg_add_bool(&out, mesh->self->status.blacklisted);
+       packmsg_add_bin(&out, ecdsa_get_public_key(mesh->private_key), 32);
+       packmsg_add_str(&out, mesh->self->canonical_address ? mesh->self->canonical_address : "");
+
+       uint32_t count = 0;
+
+       for(uint32_t i = 0; i < 5; i++) {
+               if(mesh->self->recent[i].sa.sa_family) {
+                       count++;
+               } else {
+                       break;
+               }
+       }
+
+       packmsg_add_array(&out, count);
+
+       for(uint32_t i = 0; i < count; i++) {
+               packmsg_add_sockaddr(&out, &mesh->self->recent[i]);
        }
 
        pthread_mutex_unlock(&(mesh->mesh_mutex));
 
+       if(!packmsg_output_ok(&out)) {
+               logger(mesh, MESHLINK_DEBUG, "Error creating export data\n");
+               meshlink_errno = MESHLINK_EINTERNAL;
+               return NULL;
+       }
+
        // Prepare a base64-encoded packmsg array containing our config file
 
-       uint8_t *buf = xmalloc(((config.len + 4) * 4) / 3 + 4);
-       packmsg_output_t out = {buf, config.len + 4};
-       packmsg_add_array(&out, 1);
-       packmsg_add_bin(&out, config.buf, config.len);
-       config_free(&config);
+       uint32_t len = packmsg_output_size(&out, buf);
+       uint32_t len2 = ((len + 4) * 4) / 3 + 4;
+       uint8_t *buf2 = xmalloc(len2);
+       packmsg_output_t out2 = {buf2, len2};
+       packmsg_add_array(&out2, 1);
+       packmsg_add_bin(&out2, buf, packmsg_output_size(&out, buf));
 
-       if(!packmsg_output_ok(&out)) {
+       if(!packmsg_output_ok(&out2)) {
                logger(mesh, MESHLINK_DEBUG, "Error creating export data\n");
                meshlink_errno = MESHLINK_EINTERNAL;
-               free(buf);
+               free(buf2);
                return NULL;
        }
 
-       b64encode_urlsafe(buf, (char *)buf, packmsg_output_size(&out, buf));
+       b64encode_urlsafe(buf2, (char *)buf2, packmsg_output_size(&out2, buf2));
 
-       return (char *)buf;
+       return (char *)buf2;
 }
 
 bool meshlink_import(meshlink_handle_t *mesh, const char *data) {
@@ -2495,7 +2743,7 @@ bool meshlink_import(meshlink_handle_t *mesh, const char *data) {
 
                if(!packmsg_input_ok(&in2) || version != MESHLINK_CONFIG_VERSION || !check_id(name)) {
                        free(name);
-                       packmsg_input_invalidate(&in2);
+                       packmsg_input_invalidate(&in);
                        break;
                }
 
@@ -2507,67 +2755,40 @@ bool meshlink_import(meshlink_handle_t *mesh, const char *data) {
                node_t *n = lookup_node(mesh, name);
 
                if(n) {
-                       free(name);
                        logger(mesh, MESHLINK_DEBUG, "Node %s already exists, not importing\n", name);
+                       free(name);
                        continue;
                }
 
                n = new_node();
                n->name = name;
-               char *submesh_name = packmsg_get_str_dup(&in2);
 
-               if(submesh_name) {
-                       if(!strcmp(submesh_name, CORE_MESH)) {
-                               n->submesh = NULL;
-                       } else {
-                               n->submesh = lookup_or_create_submesh(mesh, submesh_name);
-
-                               if(!n->submesh) {
-                                       packmsg_input_invalidate(&in2);
-                               }
-                       }
-
-                       free(submesh_name);
-               }
-
-               n->devclass = packmsg_get_int32(&in2);
-               n->status.blacklisted = packmsg_get_bool(&in2);
-               const void *key;
-               uint32_t keylen = packmsg_get_bin_raw(&in2, &key);
-
-               if(keylen == 32) {
-                       n->ecdsa = ecdsa_set_public_key(key);
-               }
-
-               n->canonical_address = packmsg_get_str_dup(&in2);
-               uint32_t count = packmsg_get_array(&in2);
-
-               if(count > 5) {
-                       count = 5;
-               }
-
-               for(uint32_t i = 0; i < count; i++) {
-                       n->recent[i] = packmsg_get_sockaddr(&in2);
-               }
+               config_t config = {data, len};
 
-               if(!packmsg_done(&in2) || keylen != 32) {
-                       packmsg_input_invalidate(&in2);
+               if(!node_read_from_config(mesh, n, &config)) {
                        free_node(n);
-               } else {
-                       config_t config = {data, len};
-                       config_write(mesh, n->name, &config);
-                       node_add(mesh, n);
+                       packmsg_input_invalidate(&in);
+                       break;
                }
+
+               config_write(mesh, "current", n->name, &config, mesh->config_key);
+               node_add(mesh, n);
        }
 
        pthread_mutex_unlock(&(mesh->mesh_mutex));
 
+       free(buf);
+
        if(!packmsg_done(&in)) {
                logger(mesh, MESHLINK_ERROR, "Invalid data\n");
                meshlink_errno = MESHLINK_EPEER;
                return false;
        }
 
+       if(!config_sync(mesh, "current")) {
+               return false;
+       }
+
        return true;
 }
 
@@ -2596,7 +2817,9 @@ void meshlink_blacklist(meshlink_handle_t *mesh, meshlink_node_t *node) {
        }
 
        n->status.blacklisted = true;
-       n->status.dirty = true;
+       node_write_config(mesh, n);
+       config_sync(mesh, "current");
+
        logger(mesh, MESHLINK_DEBUG, "Blacklisted %s.\n", node->name);
 
        //Immediately terminate any connections we have with the blacklisted node
@@ -2639,7 +2862,12 @@ void meshlink_whitelist(meshlink_handle_t *mesh, meshlink_node_t *node) {
        }
 
        n->status.blacklisted = false;
-       n->status.dirty = true;
+       node_write_config(mesh, n);
+       config_sync(mesh, "current");
+
+       if(n->status.reachable) {
+               update_node_status(mesh, n);
+       }
 
        pthread_mutex_unlock(&(mesh->mesh_mutex));
        return;
@@ -2663,7 +2891,7 @@ void meshlink_hint_address(meshlink_handle_t *mesh, meshlink_node_t *node, const
        node_t *n = (node_t *)node;
        memmove(n->recent + 1, n->recent, 4 * sizeof(*n->recent));
        memcpy(n->recent, addr, SALEN(*addr));
-       n->status.dirty = true;
+       node_write_config(mesh, n);
 
        pthread_mutex_unlock(&(mesh->mesh_mutex));
        // @TODO do we want to fire off a connection attempt right away?
@@ -2676,6 +2904,18 @@ static bool channel_pre_accept(struct utcp *utcp, uint16_t port) {
        return mesh->channel_accept_cb;
 }
 
+static void aio_signal(meshlink_handle_t *mesh, meshlink_channel_t *channel, meshlink_aio_buffer_t *aio) {
+       if(aio->data) {
+               if(aio->cb.buffer) {
+                       aio->cb.buffer(mesh, channel, aio->data, aio->len, aio->priv);
+               }
+       } else {
+               if(aio->cb.fd) {
+                       aio->cb.fd(mesh, channel, aio->fd, aio->done, aio->priv);
+               }
+       }
+}
+
 static ssize_t channel_recv(struct utcp_connection *connection, const void *data, size_t len) {
        meshlink_channel_t *channel = connection->priv;
 
@@ -2688,8 +2928,48 @@ static ssize_t channel_recv(struct utcp_connection *connection, const void *data
 
        if(n->status.destroyed) {
                meshlink_channel_close(mesh, channel);
-       } else if(channel->receive_cb) {
-               channel->receive_cb(mesh, channel, data, len);
+               return len;
+       }
+
+       const char *p = data;
+       size_t left = len;
+
+       while(channel->aio_receive) {
+               meshlink_aio_buffer_t *aio = channel->aio_receive;
+               size_t todo = aio->len - aio->done;
+
+               if(todo > left) {
+                       todo = left;
+               }
+
+               if(aio->data) {
+                       memcpy((char *)aio->data + aio->done, p, todo);
+               } else {
+                       ssize_t result = write(aio->fd, p, todo);
+
+                       if(result > 0) {
+                               todo = result;
+                       }
+               }
+
+               aio->done += todo;
+
+               if(aio->done == aio->len) {
+                       channel->aio_receive = aio->next;
+                       aio_signal(mesh, channel, aio);
+                       free(aio);
+               }
+
+               p += todo;
+               left -= todo;
+
+               if(!left && len) {
+                       return len;
+               }
+       }
+
+       if(channel->receive_cb) {
+               channel->receive_cb(mesh, channel, p, left);
        }
 
        return len;
@@ -2759,16 +3039,69 @@ static void channel_poll(struct utcp_connection *connection, size_t len) {
 
        node_t *n = channel->node;
        meshlink_handle_t *mesh = n->mesh;
+       meshlink_aio_buffer_t *aio = channel->aio_send;
+
+       if(aio) {
+               /* We at least one AIO buffer. Send as much as possible form the first buffer. */
+               size_t left = aio->len - aio->done;
+               ssize_t sent;
+
+               if(len > left) {
+                       len = left;
+               }
+
+               if(aio->data) {
+                       sent = utcp_send(connection, (char *)aio->data + aio->done, len);
+               } else {
+                       char buf[65536];
+                       size_t todo = utcp_get_sndbuf_free(connection);
+
+                       if(todo > left) {
+                               todo = left;
+                       }
+
+                       if(todo > sizeof(buf)) {
+                               todo = sizeof(buf);
+                       }
+
+                       ssize_t result = read(aio->fd, buf, todo);
+
+                       if(result > 0) {
+                               sent = utcp_send(connection, buf, result);
+                       } else {
+                               sent = result;
+                       }
+               }
 
-       if(channel->poll_cb) {
-               channel->poll_cb(mesh, channel, len);
+               if(sent >= 0) {
+                       aio->done += sent;
+               }
+
+               /* If the buffer is now completely sent, call the callback and dispose of it. */
+               if(aio->done >= aio->len) {
+                       channel->aio_send = aio->next;
+                       aio_signal(mesh, channel, aio);
+                       free(aio);
+               }
+       } else {
+               if(channel->poll_cb) {
+                       channel->poll_cb(mesh, channel, len);
+               } else {
+                       utcp_set_poll_cb(connection, NULL);
+               }
        }
 }
 
 void meshlink_set_channel_poll_cb(meshlink_handle_t *mesh, meshlink_channel_t *channel, meshlink_channel_poll_cb_t cb) {
-       (void)mesh;
+       if(!mesh || !channel) {
+               meshlink_errno = MESHLINK_EINVAL;
+               return;
+       }
+
+       pthread_mutex_lock(&mesh->mesh_mutex);
        channel->poll_cb = cb;
-       utcp_set_poll_cb(channel->c, cb ? channel_poll : NULL);
+       utcp_set_poll_cb(channel->c, (cb || channel->aio_send) ? channel_poll : NULL);
+       pthread_mutex_unlock(&mesh->mesh_mutex);
 }
 
 void meshlink_set_channel_accept_cb(meshlink_handle_t *mesh, meshlink_channel_accept_cb_t cb) {
@@ -2790,6 +3123,32 @@ void meshlink_set_channel_accept_cb(meshlink_handle_t *mesh, meshlink_channel_ac
        pthread_mutex_unlock(&mesh->mesh_mutex);
 }
 
+void meshlink_set_channel_sndbuf(meshlink_handle_t *mesh, meshlink_channel_t *channel, size_t size) {
+       (void)mesh;
+
+       if(!channel) {
+               meshlink_errno = MESHLINK_EINVAL;
+               return;
+       }
+
+       pthread_mutex_lock(&mesh->mesh_mutex);
+       utcp_set_sndbuf(channel->c, size);
+       pthread_mutex_unlock(&mesh->mesh_mutex);
+}
+
+void meshlink_set_channel_rcvbuf(meshlink_handle_t *mesh, meshlink_channel_t *channel, size_t size) {
+       (void)mesh;
+
+       if(!channel) {
+               meshlink_errno = MESHLINK_EINVAL;
+               return;
+       }
+
+       pthread_mutex_lock(&mesh->mesh_mutex);
+       utcp_set_rcvbuf(channel->c, size);
+       pthread_mutex_unlock(&mesh->mesh_mutex);
+}
+
 meshlink_channel_t *meshlink_channel_open_ex(meshlink_handle_t *mesh, meshlink_node_t *node, uint16_t port, meshlink_channel_receive_cb_t cb, const void *data, size_t len, uint32_t flags) {
        if(data || len) {
                abort();        // TODO: handle non-NULL data
@@ -2800,6 +3159,8 @@ meshlink_channel_t *meshlink_channel_open_ex(meshlink_handle_t *mesh, meshlink_n
                return NULL;
        }
 
+       pthread_mutex_lock(&mesh->mesh_mutex);
+
        node_t *n = (node_t *)node;
 
        if(!n->utcp) {
@@ -2808,12 +3169,14 @@ meshlink_channel_t *meshlink_channel_open_ex(meshlink_handle_t *mesh, meshlink_n
 
                if(!n->utcp) {
                        meshlink_errno = errno == ENOMEM ? MESHLINK_ENOMEM : MESHLINK_EINTERNAL;
+                       pthread_mutex_unlock(&mesh->mesh_mutex);
                        return NULL;
                }
        }
 
        if(n->status.blacklisted) {
                logger(mesh, MESHLINK_ERROR, "Cannot open a channel with blacklisted node\n");
+               pthread_mutex_unlock(&mesh->mesh_mutex);
                return NULL;
        }
 
@@ -2822,6 +3185,8 @@ meshlink_channel_t *meshlink_channel_open_ex(meshlink_handle_t *mesh, meshlink_n
        channel->receive_cb = cb;
        channel->c = utcp_connect_ex(n->utcp, port, channel_recv, channel, flags);
 
+       pthread_mutex_unlock(&mesh->mesh_mutex);
+
        if(!channel->c) {
                meshlink_errno = errno == ENOMEM ? MESHLINK_ENOMEM : MESHLINK_EINTERNAL;
                free(channel);
@@ -2841,7 +3206,9 @@ void meshlink_channel_shutdown(meshlink_handle_t *mesh, meshlink_channel_t *chan
                return;
        }
 
+       pthread_mutex_lock(&mesh->mesh_mutex);
        utcp_shutdown(channel->c, direction);
+       pthread_mutex_unlock(&mesh->mesh_mutex);
 }
 
 void meshlink_channel_close(meshlink_handle_t *mesh, meshlink_channel_t *channel) {
@@ -2850,7 +3217,25 @@ void meshlink_channel_close(meshlink_handle_t *mesh, meshlink_channel_t *channel
                return;
        }
 
+       pthread_mutex_lock(&mesh->mesh_mutex);
+
        utcp_close(channel->c);
+
+       /* Clean up any outstanding AIO buffers. */
+       for(meshlink_aio_buffer_t *aio = channel->aio_send, *next; aio; aio = next) {
+               next = aio->next;
+               aio_signal(mesh, channel, aio);
+               free(aio);
+       }
+
+       for(meshlink_aio_buffer_t *aio = channel->aio_receive, *next; aio; aio = next) {
+               next = aio->next;
+               aio_signal(mesh, channel, aio);
+               free(aio);
+       }
+
+       pthread_mutex_unlock(&mesh->mesh_mutex);
+
        free(channel);
 }
 
@@ -2874,8 +3259,17 @@ ssize_t meshlink_channel_send(meshlink_handle_t *mesh, meshlink_channel_t *chann
        // Then, preferably only if there is room in the receiver window,
        // kick the meshlink thread to go send packets.
 
+       ssize_t retval;
+
        pthread_mutex_lock(&mesh->mesh_mutex);
-       ssize_t retval = utcp_send(channel->c, data, len);
+
+       /* Disallow direct calls to utcp_send() while we still have AIO active. */
+       if(channel->aio_send) {
+               retval = 0;
+       } else {
+               retval = utcp_send(channel->c, data, len);
+       }
+
        pthread_mutex_unlock(&mesh->mesh_mutex);
 
        if(retval < 0) {
@@ -2885,6 +3279,146 @@ ssize_t meshlink_channel_send(meshlink_handle_t *mesh, meshlink_channel_t *chann
        return retval;
 }
 
+bool meshlink_channel_aio_send(meshlink_handle_t *mesh, meshlink_channel_t *channel, const void *data, size_t len, meshlink_aio_cb_t cb, void *priv) {
+       if(!mesh || !channel) {
+               meshlink_errno = MESHLINK_EINVAL;
+               return false;
+       }
+
+       if(!len || !data) {
+               meshlink_errno = MESHLINK_EINVAL;
+               return false;
+       }
+
+       meshlink_aio_buffer_t *aio = xzalloc(sizeof(*aio));
+       aio->data = data;
+       aio->len = len;
+       aio->cb.buffer = cb;
+       aio->priv = priv;
+
+       pthread_mutex_lock(&mesh->mesh_mutex);
+
+       /* Append the AIO buffer descriptor to the end of the chain */
+       meshlink_aio_buffer_t **p = &channel->aio_send;
+
+       while(*p) {
+               p = &(*p)->next;
+       }
+
+       *p = aio;
+
+       /* Ensure the poll callback is set, and call it right now to push data if possible */
+       utcp_set_poll_cb(channel->c, channel_poll);
+       channel_poll(channel->c, len);
+
+       pthread_mutex_unlock(&mesh->mesh_mutex);
+
+       return true;
+}
+
+bool meshlink_channel_aio_fd_send(meshlink_handle_t *mesh, meshlink_channel_t *channel, int fd, size_t len, meshlink_aio_fd_cb_t cb, void *priv) {
+       if(!mesh || !channel) {
+               meshlink_errno = MESHLINK_EINVAL;
+               return false;
+       }
+
+       if(!len || fd == -1) {
+               meshlink_errno = MESHLINK_EINVAL;
+               return false;
+       }
+
+       meshlink_aio_buffer_t *aio = xzalloc(sizeof(*aio));
+       aio->fd = fd;
+       aio->len = len;
+       aio->cb.fd = cb;
+       aio->priv = priv;
+
+       pthread_mutex_lock(&mesh->mesh_mutex);
+
+       /* Append the AIO buffer descriptor to the end of the chain */
+       meshlink_aio_buffer_t **p = &channel->aio_send;
+
+       while(*p) {
+               p = &(*p)->next;
+       }
+
+       *p = aio;
+
+       /* Ensure the poll callback is set, and call it right now to push data if possible */
+       utcp_set_poll_cb(channel->c, channel_poll);
+       channel_poll(channel->c, len);
+
+       pthread_mutex_unlock(&mesh->mesh_mutex);
+
+       return true;
+}
+
+bool meshlink_channel_aio_receive(meshlink_handle_t *mesh, meshlink_channel_t *channel, const void *data, size_t len, meshlink_aio_cb_t cb, void *priv) {
+       if(!mesh || !channel) {
+               meshlink_errno = MESHLINK_EINVAL;
+               return false;
+       }
+
+       if(!len || !data) {
+               meshlink_errno = MESHLINK_EINVAL;
+               return false;
+       }
+
+       meshlink_aio_buffer_t *aio = xzalloc(sizeof(*aio));
+       aio->data = data;
+       aio->len = len;
+       aio->cb.buffer = cb;
+       aio->priv = priv;
+
+       pthread_mutex_lock(&mesh->mesh_mutex);
+
+       /* Append the AIO buffer descriptor to the end of the chain */
+       meshlink_aio_buffer_t **p = &channel->aio_receive;
+
+       while(*p) {
+               p = &(*p)->next;
+       }
+
+       *p = aio;
+
+       pthread_mutex_unlock(&mesh->mesh_mutex);
+
+       return true;
+}
+
+bool meshlink_channel_aio_fd_receive(meshlink_handle_t *mesh, meshlink_channel_t *channel, int fd, size_t len, meshlink_aio_fd_cb_t cb, void *priv) {
+       if(!mesh || !channel) {
+               meshlink_errno = MESHLINK_EINVAL;
+               return false;
+       }
+
+       if(!len || fd == -1) {
+               meshlink_errno = MESHLINK_EINVAL;
+               return false;
+       }
+
+       meshlink_aio_buffer_t *aio = xzalloc(sizeof(*aio));
+       aio->fd = fd;
+       aio->len = len;
+       aio->cb.fd = cb;
+       aio->priv = priv;
+
+       pthread_mutex_lock(&mesh->mesh_mutex);
+
+       /* Append the AIO buffer descriptor to the end of the chain */
+       meshlink_aio_buffer_t **p = &channel->aio_receive;
+
+       while(*p) {
+               p = &(*p)->next;
+       }
+
+       *p = aio;
+
+       pthread_mutex_unlock(&mesh->mesh_mutex);
+
+       return true;
+}
+
 uint32_t meshlink_channel_get_flags(meshlink_handle_t *mesh, meshlink_channel_t *channel) {
        if(!mesh || !channel) {
                meshlink_errno = MESHLINK_EINVAL;
@@ -2920,6 +3454,16 @@ void update_node_status(meshlink_handle_t *mesh, node_t *n) {
        if(mesh->node_status_cb) {
                mesh->node_status_cb(mesh, (meshlink_node_t *)n, n->status.reachable && !n->status.blacklisted);
        }
+
+       if(mesh->node_pmtu_cb) {
+               mesh->node_pmtu_cb(mesh, (meshlink_node_t *)n, n->minmtu);
+       }
+}
+
+void update_node_pmtu(meshlink_handle_t *mesh, node_t *n) {
+       if(mesh->node_pmtu_cb && !n->status.blacklisted) {
+               mesh->node_pmtu_cb(mesh, (meshlink_node_t *)n, n->minmtu);
+       }
 }
 
 void handle_duplicate_node(meshlink_handle_t *mesh, node_t *n) {
@@ -2964,21 +3508,53 @@ end:
 #endif
 }
 
+void meshlink_set_dev_class_timeouts(meshlink_handle_t *mesh, dev_class_t devclass, int pinginterval, int pingtimeout) {
+       if(!mesh || devclass < 0 || devclass >= DEV_CLASS_COUNT) {
+               meshlink_errno = EINVAL;
+               return;
+       }
+
+       if(pinginterval < 1 || pingtimeout < 1 || pingtimeout > pinginterval) {
+               meshlink_errno = EINVAL;
+               return;
+       }
+
+       pthread_mutex_lock(&mesh->mesh_mutex);
+       mesh->dev_class_traits[devclass].pinginterval = pinginterval;
+       mesh->dev_class_traits[devclass].pingtimeout = pingtimeout;
+       pthread_mutex_unlock(&mesh->mesh_mutex);
+}
+
+void handle_network_change(meshlink_handle_t *mesh, bool online) {
+       (void)online;
+
+       if(!mesh->connections || !mesh->loop.running) {
+               return;
+       }
+
+       retry(mesh);
+}
+
+void call_error_cb(meshlink_handle_t *mesh, meshlink_errno_t meshlink_errno) {
+       // We should only call the callback function if we are in the background thread.
+       if(!mesh->error_cb) {
+               return;
+       }
+
+       if(!mesh->threadstarted) {
+               return;
+       }
+
+       if(mesh->thread == pthread_self()) {
+               mesh->error_cb(mesh, meshlink_errno);
+       }
+}
+
+
 static void __attribute__((constructor)) meshlink_init(void) {
        crypto_init();
-       unsigned int seed;
-       randomize(&seed, sizeof(seed));
-       srand(seed);
 }
 
 static void __attribute__((destructor)) meshlink_exit(void) {
        crypto_exit();
 }
-
-/// Device class traits
-dev_class_traits_t dev_class_traits[_DEV_CLASS_MAX + 1] = {
-       { .min_connects = 3, .max_connects = 10000, .edge_weight = 1 }, // DEV_CLASS_BACKBONE
-       { .min_connects = 3, .max_connects = 100, .edge_weight = 3 },   // DEV_CLASS_STATIONARY
-       { .min_connects = 3, .max_connects = 3, .edge_weight = 6 },             // DEV_CLASS_PORTABLE
-       { .min_connects = 1, .max_connects = 1, .edge_weight = 9 },             // DEV_CLASS_UNKNOWN
-};