tiktok背后的AI怎样运作的?
TikTok架构
TikTok的推荐系统由三个主要部分组成：大数据框架、机器学习以及微服务架构。
大数据框架是整个系统的起点，它提供了实时的数据流处理、数据计算和存储功能；
机器学习则是推荐系统的核心大脑，运用了一系列机器学习和深度学习算法来构建模型并生成实用结果。
机器学习
TikTok之所以能拥有广为人知的超个性化且令人上瘾的算法，关键在于其机器学习机制。
当海量数据涌入后，接下来是对内容、用户行为以及上下文的深入分析。TensorFlow等神经网络深度学习框架被用来执行计算机视觉和自然语言处理NLP任务。计算机视觉负责解读图像，而NLP则涵盖分类、标注和评价等方面。
为了实现这一目标，TikTok采用了多种经典机器学习算法，如逻辑回归LR、卷积神经网络CNN、递归神经网络RNN以及梯度提升决策树GBDT。此外，还应用了常见的推荐技术，包括基于内容的过滤CBF、协同过滤CF，以及更为先进的矩阵分解MF方法。
TikTok的秘密武器
1. 算法实验平台：工程师通过实验不同类型的机器学习算法组合，比如逻辑回归LR和深度神经网络DNN，之后进行A/B测试并调整优化。
2. 广泛的分类与标签体系：该模型根据用户的互动情况，如观看时长、滑动频率以及点赞或分享次数来判断偏好。用户特征、向量及其类别数量远超其他大多数推荐系统，并且仍在持续增长。
3. 用户反馈引擎：经过多次迭代后收集到的用户反馈会被用来更新模型。体验管理平台正是基于此引擎构建，并最终改善了灾难恢复能力和建议质量。
为了解决推荐初期的新手难题，即所谓的“冷启动”问题，采用了召回策略。这种方法可以从数千万个视频中筛选出成千上万候选作品，这些视频已经被证实受到欢迎且具有较高品质。
另外，部分人工智能相关的工作已经转移到客户端端侧执行，从而实现更快响应速度。这其中包括在设备上完成实时训练、建模以及推理操作。客户端所使用的机器学习框架有TensorFlow Lite或者ByteNN等选项。
微服务架构
TikTok已经采纳了云原生基础架构设计。推荐模块中的各个子部分，例如用户分析、预测、冷启动处理、召回机制以及用户反馈引擎都被设计为API形式对外提供服务。这些服务部署在亚马逊AWS和微软Azure这样的公共云平台上。由此一来，视频内容可以借助云端直接推送给终端用户。
TikTok利用基于Kubernetes的技术实现了容器化部署。Kubernetes被称为容器编排器，是一套用于自动管理应用程序生命周期的工具集。Kubeflow专注于在Kubernetes环境中部署机器学习工作流。
作为云原生解决方案的一部分，Service Mesh是一种专门用于处理服务间通信的技术。它负责协调应用的不同模块如何共享数据，并且能够在平台层面插入新功能或服务，而非直接嵌入到应用程序代码里。
考虑到高并发访问的需求，服务端采用了Go语言编写，并且结合了gRPC框架。Go语言凭借其出色的网络支持和并发处理能力，在TikTok的服务开发中占据了主导地位。gRPC是一个高效的远程过程调用框架，用于快速搭建和连接各类服务接口。
TikTok的成功之处在于始终致力于提供最佳用户体验。为此，公司内部开发了许多专用工具，旨在提升底层系统的性能表现。例如，ByteMesh是对Service Mesh的改进版本，KiteX是针对Go语言优化的高性能gRPC框架，而Sonic则是增强版的Go语言JSON解析库。除此之外，还有参数服务器、ByteNN以及abase等一系列内部研发的工具或系统。
正如TikTok机器学习团队负责人Xiang Liang所强调的那样，有时候支撑系统的基础建设比表面上的算法更加重要。
字节跳动于2017年在美国推出TikTok后迅速走红，不仅吸引了大批忠实用户，同时也引起了美国方面的高度关注。这种现象级成功无需赘述。
TikTok账号购买平台：https://shop.youxiaohao.top/
