科技部落

  • 元数据管理系统设计漫谈

    前言 随着技术的发展和时间的推移,企业数据将会越来越多。怎么整理这些数据,如何让这些数据流起来,实现数据的价值,将会是未来困扰企业最大的问题。 一、大数据,微接口,轻应用 对于未来…

    2020年11月27日 110 0
  • 信也科技标准化数据研发解决方案揭秘

     背景 随着信也科技业务的不断发展以及数据库规模的日趋增大,传统的数据库操作上线方式暴露出许多缺点,主要的问题总结如下: 自动化程度相对比较低,运维成本偏高 难以落实统一的标准和规…

    2020年11月27日 118 0
  • 信也科技持续集成解决方案

    背景 随着信也科技业务的不断发展,公司的应用越来越多,产品的迭代也越来越频繁。过去,一个团队的开发人员可能会孤立地工作很长一段时间,只有在他们的工作完成后,才会将他们的更改合并到主…

    2020年11月25日 144 0
  • 让机器人听听你的方言,就能识别你是哪里人!

    语言是文化的载体,也是交流的工具。互联网将全球连接得越来越紧密,各种语种之间的交流越来越频繁。作为语种间交流的基础,自动语种辨识的需求越来越广泛。即使在中国国内,同是汉语,不同方言…

    2020年11月23日 166 0
  • 数据高效处理的秘诀——Kudu实战

    背景 使用Kudu之前,我们的Online Report采用都HDFS/Parquet on Impala的架构,数据每隔一小时通过MapReduce从生产db增量同步到HDFS,…

    2020年11月20日 192 0
  • 反爬虫攻防实战——字体篇

    自从互联网大数据开始崭露头角之际,爬虫与反爬虫就成了业界永恒的话题,在这个资讯爆炸的时代占有一席之地。 有道是“道高一尺,魔高一丈”。你有动态验证,我有请求伪装。你有动态渲染,我有…

    2020年11月19日 109 0
  • Spark成长日记-从小白到通吃

    为什么选择Spark 随着业务的发展, 现行数仓的一些工作模式已经无法满足新的业务场景, 这些问题促使我们开始尝试使用一些新的技术和工具。 Apache Spark是专为大规模数据…

    2020年11月18日 111 0
  • 浅谈社区发现算法

    导语 本文简单介绍了一些社区发现算法,希望各位读者能够对于关系网络的人群切分有一些初步的了解。 首先我们解释一下什么是社区发现。举个简单的例子,一个班级中有些同学喜欢数学,有些同学…

    2020年11月18日 108 0
  • 拒绝调包!且看MTCNN人脸检测推断过程详解!

    背景介绍: 人脸检测,解决两个问题:1)识别图片中有没有人脸?2)如果有,人脸在哪?因此,许多人脸应用(人脸识别、面向分析)的基础是人脸检测。 大多数人脸检测采用的流程为两阶段: …

    2020年11月17日 109 0
  • ALV模型在用户估值和信用决策中的应用

    ALV模型是什么,应用在哪? Account Level Valuation (ALV)模型,是广泛应用于美国银行业信用风险管理的一套模型,通过估计信用贷款在贷款周期内的价值,进行…

    2020年11月13日 106 0