VicroCode
让代码创造价值
VicroCode是一个轻量级代码在线发布、交易平台,开箱即用,免部署、免服务器、免备案,支持接入智能体、通用管理系统、游戏等多种项目
稍候片刻,您可先学习AI编程手册
正在加载中...

市场信息

[程序员] 今晚一个值得高兴的小事情

下午发现某个表数据有问题,从源头开始查起,发现很古怪,某些列出现 null 值,而 s3 里的 csv 看起来是好的。 心想可能是数据读入之后发生了改变,于是重启了某天的任务,发现照旧。于是决定仔细看看源数据。从 s3 上拉了一天的数据,导入到 duckdb ,发现的确没问题。更诡异的是,数据库里的数据我在 s3 里用 id 来查询,其实找不到。

www.v2ex.com · 2026-09-17T02:39:19+00:00

下午发现某个表数据有问题,从源头开始查起,发现很古怪,某些列出现 null 值,而 s3 里的 csv 看起来是好的。心想可能是数据读入之后发生了改变,于是重启了某天的任务,发现照旧。

于是决定仔细看看源数据。从 s3 上拉了一天的数据,导入到 duckdb ,发现的确没问题。

更诡异的是,数据库里的数据我在 s3 里用 id 来查询,其实找不到。于是决定去看看代码,一看是 Scala ,得这玩意我不熟悉,看了下发现就是个很简单的读入 csv 然后加了两列时间戳数据,没啥变化。

百思不得其解之下,决定仔细对比一下两个数据。因为这玩意有一百多列,所以之前偷懒没全看。

这下每个列都列出来,一下子就发现问题,怎么数据偏移到其他列去了?当时就觉得大概是分离符是不是有点问题,毕竟是外头的数据,没洗干净是正常。

但是首先 duckdb 没问题,Excel 也没啥问题,那就只好从头一列列对起。最终发现是有一列断成了两列,于是这一列之后的数据全都偏移了。

看了下,这列数据有""这种两个双引号的,心想大概是 escape 的问题,一查果然是,然后再查为啥 Scala 的代码不对呢?因为这看起来是个蛮普遍的问题--原来 Spark 下读入默认是用\来做 escape 。

发现原因了,其实最后加一行代码就完了。然后搭建本地的 Spark 环境,写了一小段 Scala 代码,用两种方式读入不同不同一个 csv 文件,做了个验证。

搞定了之后明天提交补丁。其实这应该是比较简单的问题,但是我不熟悉,就花了不少时间。

我不喜欢写业务的 SQL ,但是很喜欢调试代码找错误,这下是过瘾了。

返回 AI 市场导读

来源:v2ex.com