從內核看文件描述符傳遞的實現
作者： theanarkh
文件描述符是內核提供的一個非常有用的技術，典型的在服務器中，主進程負責接收請求，然后把請求傳遞給子進程處理。本文分析在內核中，文件描述符傳遞是如何實現的。
文件描述符是內核提供的一個非常有用的技術，典型的在服務器中，主進程負責接收請求，然后把請求傳遞給子進程處理。本文分析在內核中，文件描述符傳遞是如何實現的。
我們先看一下文件描述符傳遞到底是什么概念。假設主進程打開了一個文件，我們看看進程和文件系統的關系。
如果這時候主進程fork出一個子進程，那么架構如下。
我們看到主進程和子進程都指向同一個文件。那么如果這時候住進程又打開了一個文件。架構如下。
我們看到新打開的文件，子進程是不會再指向了的。假設文件底層的資源是TCP連接，而主進程想把這個關系同步到子進程中，即交給子進程處理，那怎么辦呢?這時候就需要用到文件描述符傳遞。下面是我們期待的架構。
通常主進程會close掉對應的文件描述符，即解除引用關系。不過這里我們可以不關注這個。文件描述符這種能力不是天然，需要內核支持，如果我們單純把fd(文件描述符)當作數據傳給子進程，子進程無法指向對應的文件的。下面我們如何使用這個技術并通過內核來看看如何實現這個技術。下面使用代碼摘自Libuv。
- int fd_to_send;
- // 核心數據結構
- struct msghdr msg;
- struct cmsghdr *cmsg;
- union {
- char data[64];
- struct cmsghdr alias;
- } scratch;
- // 獲取需要發送的文件描述符
- fd_to_send = uv__handle_fd((uv_handle_t*) req->send_handle);
- memset(&scratch, 0, sizeof(scratch));
- msg.msg_name = NULL;
- msg.msg_namelen = 0;
- msg.msg_iov = iov;
- msg.msg_iovlen = iovcnt;
- msg.msg_flags = 0;
- msg.msg_control = &scratch.alias;
- msg.msg_controllen = CMSG_SPACE(sizeof(fd_to_send));
- cmsg = CMSG_FIRSTHDR(&msg);
- cmsg->cmsg_level = SOL_SOCKET;
- cmsg->cmsg_type = SCM_RIGHTS;
- cmsg->cmsg_len = CMSG_LEN(sizeof(fd_to_send));
- /* silence aliasing warning */
- {
- void* pv = CMSG_DATA(cmsg);
- int* pi = pv;
- *pi = fd_to_send;
- }
- // fd是Unix域對應的文件描述符
- int fd = uv__stream_fd(stream);
- // 發送文件描述符
- sendmsg(fd, &msg, 0);
我們看到發送文件描述符是比較復雜的，使用的主要數據結構是msghdr。把需要發送的文件描述符保存到msghdr中，并設置一些標記。然后通過Unix域發送(Unix是唯一一種支持文件描述符傳遞的進程間通信方式)。我們下來主要來分析內核對sendmsg的實現。
- case SYS_SENDMSG:
- err = __sys_sendmsg(a0, (struct user_msghdr __user *)a1,
- a[2], true);
該系統調用對應的是__sys_sendmsg。
- long __sys_sendmsg(int fd, struct user_msghdr __user *msg, unsigned int flags,
- bool forbid_cmsg_compat){
- int fput_needed, err;
- struct msghdr msg_sys;
- struct socket *sock;
- // 根據fd找到socket
- sock = sockfd_lookup_light(fd, &err, &fput_needed);
- ___sys_sendmsg(sock, msg, &msg_sys, flags, NULL, 0);
- }
后面的鏈路很長syssendmsg->__sys_sendmsg->sock_sendmsg->sock_sendmsg_nosec。
- static inline int sock_sendmsg_nosec(struct socket *sock, struct msghdr *msg){
- int ret = INDIRECT_CALL_INET(sock->ops->sendmsg, inet6_sendmsg,
- inet_sendmsg, sock, msg,
- msg_data_left(msg));
- BUG_ON(ret == -EIOCBQUEUED);
- return ret;
- }
我們看到最后調用sock->ops->sendmsg，我們看看Unix域對sendmsg的實現。Unix域有SOCK_STREAM和SOCK_DGRAM兩種模式，我們選第一個分析就可以。
- static int unix_stream_sendmsg(struct socket *sock, struct msghdr *msg,
- size_t len){
- struct sock *sk = sock->sk;
- struct sock *other = NULL;
- int err, size;
- struct sk_buff *skb;
- int sent = 0;
- struct scm_cookie scm;
- bool fds_sent = false;
- int data_len;
- // 把文件描述符信息復制到scm
- scm_send(sock, msg, &scm, false);
- // 通信的對端
- other = unix_peer(sk);
- // 不斷構建數據包skbuff發送，直到發送完畢
- while (sent < len) {
- // 分配一個sdk承載消息
- skb = sock_alloc_send_pskb(sk, size - data_len, data_len,
- msg->msg_flags & MSG_DONTWAIT, &err,
- get_order(UNIX_SKB_FRAGS_SZ));
- // 把scm復制到skb
- err = unix_scm_to_skb(&scm, skb, !fds_sent);
- // 把數據寫到skb
- err = skb_copy_datagram_from_iter(skb, 0, &msg->msg_iter, size);
- // 插入對端的消息隊列
- skb_queue_tail(&other->sk_receive_queue, skb);
- // 通知對端有數據可讀
- other->sk_data_ready(other);
- sent += size;
- }
- // ...
- }
我們看到，整體的邏輯不負責，主要是根據數據構造skb結構體，然后插入對端消息隊列，最后通知對端有消息可讀，我們這里只關注文件描述符的處理。首先我們看看scm_send。
- static __inline__ int scm_send(struct socket *sock, struct msghdr *msg,
- struct scm_cookie *scm, bool forcecreds){
- memset(scm, 0, sizeof(*scm));
- scm->creds.uid = INVALID_UID;
- scm->creds.gid = INVALID_GID;
- unix_get_peersec_dgram(sock, scm);
- if (msg->msg_controllen <= 0)
- return 0;
- return __scm_send(sock, msg, scm);}int __scm_send(struct socket *sock, struct msghdr *msg, struct scm_cookie *p){
- struct cmsghdr *cmsg;
- int err;
- for_each_cmsghdr(cmsg, msg) {
- switch (cmsg->cmsg_type)
- {
- case SCM_RIGHTS:
- err=scm_fp_copy(cmsg, &p->fp);
- if (err<0)
- goto error;
- break;
- }
- }
- }
我們看到__scm_send遍歷待發送的數據，然后判斷cmsg->cmsg_type的值，我們這里是SCM_RIGHTS(見最開始的使用代碼)，接著調用scm_fp_copy。
- static int scm_fp_copy(struct cmsghdr *cmsg, struct scm_fp_list **fplp){
- int *fdp = (int*)CMSG_DATA(cmsg);
- struct scm_fp_list *fpl = *fplp;
- struct file **fpp;
- int i, num;
- num = (cmsg->cmsg_len - sizeof(struct cmsghdr))/sizeof(int);
- if (!fpl)
- {
- fpl = kmalloc(sizeof(struct scm_fp_list), GFP_KERNEL);
- *fplp = fpl;
- fpl->count = 0;
- fpl->max = SCM_MAX_FD;
- fpl->user = NULL;
- }
- fpp = &fpl->fp[fpl->count];
- // 遍歷然后把fd對應的file保存到fpp中。
- for (i=0; i< num; i++)
- {
- int fd = fdp[i];
- struct file *file;
- if (fd < 0 || !(file = fget_raw(fd)))
- return -EBADF;
- *fpp++ = file;
- fpl->count++;
- }
- if (!fpl->user)
- fpl->user = get_uid(current_user());
- return num;
- }
我們看到scm_fp_copy遍歷然后把fd對應的file保存到fpp中。而fpp屬于fpl屬于fplp屬于最開始的struct scm_cookie scm(unix_stream_sendmsg函數)，即最后把fd對應的file保存到了scm中。接著我們回到unix_stream_sendmsg看unix_scm_to_skb。
- static int unix_scm_to_skb(struct scm_cookie *scm, struct sk_buff *skb, bool send_fds){
- int err = 0;
- UNIXCB(skb).pid = get_pid(scm->pid);
- UNIXCB(skb).uid = scm->creds.uid;
- UNIXCB(skb).gid = scm->creds.gid;
- UNIXCB(skb).fp = NULL;
- unix_get_secdata(scm, skb);
- if (scm->fp && send_fds)
- // 寫到skb
- err = unix_attach_fds(scm, skb);
- skb->destructor = unix_destruct_scm;
- return err;
- }
接著看unix_attach_fds。
- int unix_attach_fds(struct scm_cookie *scm, struct sk_buff *skb){
- int i;
- // 復制到skb
- UNIXCB(skb).fp = scm_fp_dup(scm->fp);
- return 0;}struct scm_fp_list *scm_fp_dup(struct scm_fp_list *fpl){
- struct scm_fp_list *new_fpl;
- int i;
- new_fpl = kmemdup(fpl, offsetof(struct scm_fp_list, fp[fpl->count]),
- GFP_KERNEL);
- if (new_fpl) {
- for (i = 0; i < fpl->count; i++)
- get_file(fpl->fp[i]);
- new_fpl->max = new_fpl->count;
- new_fpl->user = get_uid(fpl->user);
- }
- return new_fpl;
- }
至此我們看到數據和文件描述符都寫到了skb中，并插入了對端的消息隊列。我們接著分析對端時如何處理的。我們從recvmsg函數開始，對應Uinix域的實現時unix_stream_recvmsg。
- static int unix_stream_recvmsg(struct socket *sock, struct msghdr *msg,
- size_t size, int flags){
- struct unix_stream_read_state state = {
- .recv_actor = unix_stream_read_actor,
- .socket = sock,
- .msg = msg,
- .size = size,
- .flags = flags
- };
- return unix_stream_read_generic(&state, true);
- }
接著看
- static int unix_stream_read_generic(struct unix_stream_read_state *state,
- bool freezable){
- struct scm_cookie scm;
- struct socket *sock = state->socket;
- struct sock *sk = sock->sk;
- struct unix_sock *u = unix_sk(sk);
- // 拿到一個skb
- skb = skb_peek(&sk->sk_receive_queue);
- // 出隊
- skb_unlink(skb, &sk->sk_receive_queue);
- // 復制skb數據到state->msg
- state->recv_actor(skb, skip, chunk, state);
- // 處理文件描述符
- if (UNIXCB(skb).fp) {
- scm_stat_del(sk, skb);
- // 復制skb的文件描述符信息到scm
- unix_detach_fds(&scm, skb);
- }
- if (state->msg)
- scm_recv(sock, state->msg, &scm, flags);
- }
內核首先通過鉤子函數recv_actor把skb數據數據復制到state->msg，recv_actor對應函數是unix_stream_read_actor。
- static int unix_stream_read_actor(struct sk_buff *skb,
- int skip, int chunk,
- struct unix_stream_read_state *state){
- int ret;
- ret = skb_copy_datagram_msg(skb, UNIXCB(skb).consumed + skip,
- state->msg, chunk);
- return ret ?: chunk;
- }
接著看unix_detach_fds。
- void unix_detach_fds(struct scm_cookie *scm, struct sk_buff *skb){
- int i;
- // 寫到scm中
- scm->fp = UNIXCB(skb).fp;
- UNIXCB(skb).fp = NULL;
- }
unix_detach_fds把文件描述符信息寫到scm。最后調用scm_recv處理文件描述符。
- static __inline__ void scm_recv(struct socket *sock, struct msghdr *msg,
- struct scm_cookie *scm, int flags){
- scm_detach_fds(msg, scm);}void scm_detach_fds(struct msghdr *msg, struct scm_cookie *scm){
- int fdmax = min_t(int, scm_max_fds(msg), scm->fp->count);
- int i;
- for (i = 0; i < fdmax; i++) {
- err = receive_fd_user(scm->fp->fp[i], cmsg_data + i, o_flags);
- if (err < 0)
- break;
- }
- }
scm_detach_fds中調用了receive_fd_user處理一個文件描述符。其中第一個入參scm->fp->fp[i]是file結構體，即需傳遞到文件描述符對應的file。我們看看怎么處理的。
- static inline int receive_fd_user(struct file *file, int __user *ufd,
- unsigned int o_flags){
- return __receive_fd(-1, file, ufd, o_flags);}int __receive_fd(int fd, struct file *file, int __user *ufd, unsigned int o_flags){
- int new_fd;
- // fd是-1，申請一個新的
- if (fd < 0) {
- new_fd = get_unused_fd_flags(o_flags);
- } else {
- new_fd = fd;
- }
- if (fd < 0) {
- fd_install(new_fd, get_file(file));
- } else {
- // ...
- }
- return new_fd;
- }
我們看到首先申請了當前進程的一個新的文件描述符。然后調用fd_install關聯到file。
- void fd_install(unsigned int fd, struct file *file){
- // current->files是當前進程打開的文件描述符列表
- __fd_install(current->files, fd, file);}void __fd_install(struct files_struct *files, unsigned int fd,
- struct file *file){
- struct fdtable *fdt;
- // 拿到管理文件描述符的數據結構
- fdt = rcu_dereference_sched(files->fdt);
- // 給某個元素賦值指向file
- rcu_assign_pointer(fdt->fd[fd], file);
- }
最后形成下圖所示的架構。
后記，我們看到文件描述符傳遞的核心就是在發送的數據中記錄要傳遞的文件描述符對應的file結構體，然后發送做好標記，接著接收的過程中，重新建立新的fd到傳遞的file的關聯關系。
責任編輯：武曉燕
來源：
編程雜技
